小记named_modules(),named_parameters(),state_dict();以及如何部分初始化网络
2022/3/25 6:24:30
本文主要是介绍小记named_modules(),named_parameters(),state_dict();以及如何部分初始化网络,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
- name_modules()
首先搞清楚modules()是DFS策略遍历返回网络所有的类(即只返回param),
named_modules()则是DFS返回(name, param)
- named_parameters()
首先搞清楚parameters()是遍历返回所有的含有weight和bias等参数的(val, requires_grad)(weight和bias各一个(val, requires_grad)),
named_parameters()则是返回(name, (val, requires_grad))
- state_dict()
前面二者都是迭代器类型,需要使用for语句进行访问,而state_dict()为字典类型(其为named_parameters()的字典),使用for name, param in xx.items()即可访问
- 部分初始化网络
首先根据name确定seq,然后根据isinstance确定param,示例代码如下:
for name, param in self.named_modules(): if 'cls' in name: if isinstance(param, nn.Linear): param.weight.data.normal_(0.0, 0.01) param.bias.data.normal_(0.0, 0.01) if isinstance(param, nn.BatchNorm1d): param.weight.data.normal_(1.0, 0.01) param.bias.data.fill_(0)
这篇关于小记named_modules(),named_parameters(),state_dict();以及如何部分初始化网络的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-15PingCAP 黄东旭参与 CCF 秀湖会议,共探开源教育未来
- 2024-05-13PingCAP 戴涛:构建面向未来的金融核心系统
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升