开发效率提升60%,详解在极市平台上进行的全流程线上算法开发

2022/2/7 12:43:34

本文主要是介绍开发效率提升60%,详解在极市平台上进行的全流程线上算法开发,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

在我们实际算法开发的过程中,常常会遇到一些问题,例如算力不够用、资源利用率不高,真实场景数据集难以获取等。如果能有一套逻辑完整、资源全面又好上手的一站式开发工具,这些问题都能得到很好的解决。

极市平台便是面向这些AI算法开发问题所提出的解决方案。作为一个包含算法开发全流程的AI平台,极市平台可以实现从数据生产到算法落地一站式在线开发,包括编码、训练和测试,同时开发效率相比线下可提升60%以上。

不论是在极市平台参加竞赛、算法打榜还是项目,都需要在极市平台进行在线算法开发。极市平台的功能模块十分完整,不仅有开箱即用的开发环境,还有随时保存的云端编码、算力充足的智能训练以及规范快捷的自动测试。通过这些全面的算法开发基建支撑,在极市平台进行算法开发可以更专注于开发工作,从而大大提升开发效率。

今天我们就来简单的为大家介绍一下极市AI算法开发平台的几大主要的功能板块以及它们的工作方式,之后我们还会带来每一个功能板块的详细技术原理和使用技巧,欢迎大家关注。

在线算法开发

极市AI算法开发平台包含编码、训练和测试三个相互隔离的环境,其中编码环境是进行算法开发的环境,训练环境用于算法模型训练及模型生成,测试环境则用于评估算法模型的质量和性能表现。

2.png

编码

极市平台开发效率的提升主要得益于这几点功能:

  1. 配置了所有必要工具和主流深度学习框架的开发环境
  2. 根据习惯创建自定义镜像,并支持在所有开发任务中使用
  3. 提供云端IDE,并实时保存代码和数据备份
  4. 高质量的真实场景数据集

极市平台提供开箱即用的开发环境,它的编码环境安装配置了所有必要工具的云服务器实例(Linux),并且配备了主流的深度学习框架,包括TensorFlow、PyTorch、MXNet、DarkNet等,不需要进行繁琐的前置配置。

3.png

如果基础组件不满足开发需求,还可以通过 apt、pip 等工具来安装额外的软件。值得一提的是,极市平台还可以根据开发习惯来创建自定义的镜像,配置好自定义镜像后,可以在所有的开发任务中使用,这样便能明显提升开发效率。

4.png

此外,极市平台的编码环境还提供 JupyterLab、Visual Studio Code 这两个云端 IDE,可以按照习惯进行选择或随时切换。编码环境所有代码都是实时保存的,也有完备的数据备份机制。只要有网络,就可以继续开发,完全不受时间和空间的限制。

5.png

6.png

高质量的数据是高质量模型的前提,在极市平台进行算法开发基本不用担心数据集的问题,因为极市平台会提供来自真实场景的数据集,并且已经做好相应数据标注。

PS:因为数据集来自真实业务场景,所以其有较强的保密性要求,这也是编码环境、训练环境和测试环境相互隔离的原因之一。开发者无法在编码环境中直接接触完整的数据集,但可以在路径/home/data/ 下查看样例数据集。

训练

在编码环境中完成算法代码开发后,即可创建发起训练。训练任务成功启动后,平台会将编码环境及环境中的所有文件完整克隆为正式的训练环境,然后使用预置的训练数据集开始模型训练。

7.png

模型训练过程中,可以随时登录极市平台查看实时训练日志。训练任务结束后,平台还会提供训练日志、终端日志和结果曲线。

极市平台还有模型管理功能,每次训练得到的模型都会自动保存在模型列表当中,并支持选择当中任意版本再次训练或发起自动测试。当然,模型训练不一定需要从零开始,极市平台还支持上传加载本地预训练的模型进行训练。

测试

为了规范评估标准以及加速算法迭代,极市平台内置了自动测试框架JiTest,它由极视角独家首创,能快速、多维度自动评估模型质量,评估指标包括F1-score、FPS、硬件能耗值等。

8.png

进行模型自动测试的方法很简单,只需要按照极市平台的说明文档封装成标准测试SDK,就可以快速发起任务。与训练任务类似,极市平台支持查看实时日志,并在任务结束后提供完整的测试报告,根据报告内容便可以对当前的模型进行准确的评估。

最后,极市平台还预置了模型转换工具,能够快速的完成算法移植,并实现算法在不同架构的硬件平台上的推理与发布。


以上就是极市AI算法开发平台的基本功能介绍,在接下来的文章我们会更详细地解码这些功能。另外,极市平台已经上线了包括算法打榜、算法竞赛、深度学习课程以及公开数据集等多个模块,如果你还没有使用过极市平台,可以在这些板块进行尝试。(PS:极市平台还提供免费算力哦!

9.png
10.png
11.png
12.png

点击下方链接可进入极市开发者平台进行体验:极市平台



这篇关于开发效率提升60%,详解在极市平台上进行的全流程线上算法开发的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程