Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记
2022/9/8 23:56:12
本文主要是介绍Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记
摘要
当需要增量学习新任务时,由于灾难性的遗忘,深度学习架构表现出严重的性能下降。 之前增量学习框架专注于图像分类和对象检测,本文正式提出了语义分割的增量学习任务。作者设计了方法提取先前模型的知识以保留有关先前学习的类的信息,同时更新当前模型以学习新的模型。 与最近的一些框架相反,本文方法不存储来自先前学习的类的任何图像,并且只需要最后一个模型来保持这些类的高精度。
方法
在输出层进行蒸馏
仅使用该损失函数的模型作为baseline,一个改进是针对模型的Encoder:
即训练时冻结Encoder,只训练Decoder以保持在之前steps中学习到的特征提取能力。上一个step的模型参数也进行冻结,仅用于知识蒸馏。(这里有一个疑问是如果当前这一步一直冻结Encoder,那么Encoder在什么时候训练当前这一步的提取能力呢?等有时间看看代码!)
在中间特征空间进行蒸馏
作者指出在中间特征空间进行蒸馏时不应用交叉熵损失而是应该用L2损失,这是因为这些层并非分类层而仅仅是中间的阶段,参数应该紧靠上一个step的参数。蒸馏项计算如下:
模型\(M_k\)可以被解耦为编码器\(E_k\)和解码器,上式中是用编码器的输出计算蒸馏损失。其中\(D_k^{tr}\)是第k步的数据集。
这篇关于Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升
- 2024-05-08代码报错不用愁,CodeGeeX一键完成代码修复、错误解释的功能上线了!
- 2024-05-08今天开始程序员不用再发愁写commit message了,全部由CodeGeeX自动完成!