vm-storage在新metric占整体1%情况下的写入性能测试
2022/7/12 23:30:56
本文主要是介绍vm-storage在新metric占整体1%情况下的写入性能测试,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢!
- cnblogs博客
- zhihu
- Github
- 公众号:一本正经的瞎扯
根据正式环境实际的数据统计,全新的metric占整体的metric数据不到1%。
于是压测客户端每次发送1000条time series数据,990条曾经出现过的metric, 10条全新的metric。
测试在这个量级下,vm-storage的性能表现。
1.基础信息
- CPU 1核
- 内存 8GB
- 本地磁盘(应该是SATA盘)
- metric的平均长度:745字节
- vm-storage版本:v1.78.0-cluster
- 压测方法:使用remote write协议写入完全不同的metric数据,每次发送1000条(990条旧的metric, 10条全新的metric),每核100个并发,一共10核。
- vm-insert 6 实例,共24核,资源充足
- vm-insert的关键参数如下:
-maxConcurrentInserts=默认值
:默认每个核四个并发。-sortLabels
: 开启label的排序。-insert.maxQueueDuration=3s
: 客户端请求在队列里的最大等待时间。-dropSamplesOnOverload
: 在vm-storage变慢后,立即丢弃数据。
2.vm-storage性能表现
- CPU占用:0.88核~0.94核 (相当于CPU资源已经到瓶颈了)
- 内存:4.71GB, 占58.9%
- 网络入流量:2.94mb/s
- 磁盘读:3.28MB,最高延迟 124ms
- 磁盘写:6.18MB,最高延迟 150ms
- 新的metric的占比 1%(2049条/s), slow insert的2460条/s , tsid cache的miss率 1%
- 每秒写入的新metric数量:2460/s
- 每秒总的time series写入量:24.6万/s
- 新metric与索引数量的倍数关系:25.4 (平均每条metric创建将近25条索引)
- vm-insert端:
- 请求量:26.3万/s
- 丢弃量:2.29万/s
3.总结
- 当1%的metric是全新的时候,总体写入性能 24.6万/s,其中新metric写入性能 2460/s
- CPU是主要瓶颈
这篇关于vm-storage在新metric占整体1%情况下的写入性能测试的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-13PingCAP 戴涛:构建面向未来的金融核心系统
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升
- 2024-05-08代码报错不用愁,CodeGeeX一键完成代码修复、错误解释的功能上线了!