李宏毅《机器学习》学习笔记5.2
2021/7/22 6:09:41
本文主要是介绍李宏毅《机器学习》学习笔记5.2,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
4.classification
分类模型的输出
若是将不同分类编号作为真值,可能让模型误认为相邻的分类是相近的,因此使用向量表示不同类别。
模型最后的输出值需要softmax处理,使得输出值落在0-1区间。softmax和标准化类似。
分类模型loss function
分类模型的loss通过cross-entropy计算,因为传统的均方根方法在loss大值区斜率过于平坦,训练时容易卡住。
5.feature normalization
让不同维度的特征标准化,更利于loss的收敛。
各layer的输出也要进行标准化,与输入时各个feature在各自维度上标准化不同,layer的输出需要一起标准化。
这种将所有input共同标准化的方法,使得除了本身的网络,还有另一个“巨大的网络”来计算\(\mu\)和\(\sigma\)。另外为了避免各输出平均值为0带来的限制,在训练后期可以引入参数\(\beta\)和\(\gamma\)。
在实际testing过程中,我们可能等不到样本够一个batch就运行,那该如何计算\(\mu\)和\(\sigma\)呢?在训练过程中,我们可以使用先前计算好的\(\mu\)和\(\sigma\)的平均值。
这篇关于李宏毅《机器学习》学习笔记5.2的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-01-24手把手教你使用MDK仿真调试
- 2024-01-10基于“小数据”的机器学习
- 2024-01-08扩展卡尔曼滤波:提高机器学习性能的利器
- 2023-12-26各种二端口滤波器网络仿真遇到的问题
- 2023-12-14机器学习-搜索技术:从技术发展到应用实战的全面指南
- 2023-12-12机器学习 - 决策树:技术全解与案例实战
- 2023-12-05机器学习-学习率:从理论到实战,探索学习率的调整策略
- 2023-12-04解锁机器学习-梯度下降:从技术到实战的全面指南
- 2023-11-30回归算法全解析!一文读懂机器学习中的回归模型
- 2023-11-30机器学习 - 似然函数:概念、应用与代码实例