Explanation of logistic regression cost function
2022/3/29 23:26:23
本文主要是介绍Explanation of logistic regression cost function,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
Explanation of logistic regression cost function
\[\begin{array}{c} \hat{y} = \sigma(w^Tx+b)\quad where\;\sigma(z) = \frac{1}{1+e^{-z}}\\ interpret \quad\hat{y} =P(y=1\mid x)\\ if\quad y=1:P(y\mid x)=\hat{y}\\ if\quad y=0:P(y\mid x)=1-\hat{y}\\ y=0,1\;because\;of\;binary\;cost\;equation.\\ and\;we\;can\;such\;equation\;to\;maintain\;its\;contunity\\ P(y\mid x)=\hat{y}^y\cdot(1-\hat{y})^{1-y}\\ log(P(y\mid x))=y\cdot log(\hat{y})+(1-y)\cdot log(1-\hat{y})\\ and\;our\;single\;loss\;function=-log(P(y\mid x))\\ because\;minimize\;loss\;is\;equivalent\;to\;maximize\;P(y\mid x) \end{array} \]对于m个独立样例的数据集时
\[P(labels\;in\;training\;set)=\prod^{m}_{i=1}P(y^{(i)}\mid x^{(i)}) \]我们希望通过寻找一组参数使得上式概率最大(maximun likelihood estimation),则
\[\begin{align} log\;P(\cdots)&=\sum^{m}_{i=1}log(P(y^{(i)}\mid x^{(i)}))\\ &=\sum^{m}_{i=1}(- \mathcal{L}(\hat{y}^{(i)},y^{i}))\\ &=-\sum^{m}_{i=1}( \mathcal{L}(\hat{y}^{(i)},y^{i})) \end{align} \]所以我们定义了成本函数
\[Cost:\quad J(w,b)=\frac{1}{m}\sum^{m}_{i=1} \mathcal{L}(\hat{y}^{(i)},y^{(i)}) \]这篇关于Explanation of logistic regression cost function的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-25Elevate Your Lead Generation Game with Maps Scraper AI
- 2024-05-15PingCAP 黄东旭参与 CCF 秀湖会议,共探开源教育未来
- 2024-05-13PingCAP 戴涛:构建面向未来的金融核心系统
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能