SRTP_Log_20220808
2022/8/8 23:24:36
本文主要是介绍SRTP_Log_20220808,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
Working Content:
1.测试了原来的函数模型是否使得梯度无法回传
2.重新使用原来框架建立了关于一个简单函数y=-2x+1的模型,并进行拟合
Acquisition:
1.初步认为梯度是没有问题的(理由:使用同一组数据进行操作,发现在用optimizer更新完网络参数之后,输入同一组数据返回的结果不一样(神经网络的输出不一样),这说明网络是在更新的,更换学习率之后更加明显在更新)。
2.如果使用的数据集中x的范围是1到100(比较小),那么网络训练可以顺利进行,并且不管做不做normalization都可以顺利进行。由于我们用的TDTR也是单调递减函数,这个一次函数也是单调递减函数,那么normalization之后得到的结果也是一样的,如果没有出现其他问题,那么我们的函数也应当训练成功。
Problem:
1.不是很确定如果梯度无法回传,网络是否会更新?我认为是不会更新的,因此我们的梯度应该是可以回传的
2.数据集的问题:思考一下如何调整梯度的问题,对于y=-2x+1来说,是loss太大的问题,导致出现inf和nan。那对于自己的函数又是什么情况,需要思考
这篇关于SRTP_Log_20220808的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-01为什么公共事业机构会偏爱 TiDB :TiDB 数据库在某省妇幼健康管理系统的应用
- 2024-04-26敏捷开发:想要快速交付就必须舍弃产品质量?
- 2024-04-26静态代码分析的这些好处,我竟然都不知道?
- 2024-04-26你在测试金字塔的哪一层?(下)
- 2024-04-26快刀斩乱麻,DevOps让代码评审也自动起来
- 2024-04-262024年最好用的10款ER图神器!
- 2024-04-2203-为啥大模型LLM还没能完全替代你?
- 2024-04-2101-大语言模型发展
- 2024-04-17基于SpringWeb MultipartFile文件上传、下载功能
- 2024-04-14个人开发者,Spring Boot 项目如何部署