flink调优_yarn动态分配cpu资源
2022/3/31 23:20:04
本文主要是介绍flink调优_yarn动态分配cpu资源,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
由于yarn默认容器资源为最小核心数,即一个cpu,
所以我们要根据并行度去调整分配的cpu资源
程序如下:指定并行度为5,指定每个TM的slot数为2
-p 5 \
-Dtaskmanager.numberOfTaskSlots=2 \
所以虽然配置了2个slot(并发度为2),但是两个task不能同时运行,因为只有一个cpu
查看yarn的ui,可以看到只用到了4个cpu。
因为我们是5个并行度,所以需要至少3个tm才能运行(3个tm有6个slot)。所以用到的cpu=tm的数量*tm分配的核心数+一个jm使用的cpu=3*1+1=4
打开配置文件capacity-scheduler.xml,将defaultResourceCalculator注释掉,将下面的DominantResourceCalculator的注释去掉。yarn将动态调整容器内的cpu资源,由于我们设置了slot为2,yarn会调整成2个
重启程序,打开ui查看,使用的cpu核心数变成了7个 ,因为是 3*2+1
我们还可以强行指定yarn的核心数,这里指定为3
-Dyarn.containers.vcores=3 \
ui如下:
使用的cpu变成了10个,因为每个tm被分配了3个核心,3*3+1=10
这篇关于flink调优_yarn动态分配cpu资源的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升
- 2024-05-08代码报错不用愁,CodeGeeX一键完成代码修复、错误解释的功能上线了!
- 2024-05-08今天开始程序员不用再发愁写commit message了,全部由CodeGeeX自动完成!