【大数据面试】【框架】kafka
2021/12/11 23:23:30
本文主要是介绍【大数据面试】【框架】kafka,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、基本信息
1、组成
生产者
broker
消费者
zookeeper:brokerid、consumer信息(不包含生产者的信息)
2、需要安装多少台
2 * (生产者的峰值生产速率 * 副本 / 100) + 1 = 3
生产环境下,配置副本的数量为2-3个,2个居多
3、副本的优势和劣势
副本越多,越能提高可靠性
增加了网络IO传输
4、峰值生产速率,一般在百兆左右每秒
需要使用压力测试
如,10T数据,多长时间可以传输完
消费速率也是百兆每秒
5、监控器用的什么
kafka egale、monitor、manager,都是开源的
我们都是自己研发的,怎么回答,仰视大佬
6、kafka数据保存多久
默认保存7天,生产环境下建议保存3天
原因:当天把数据消费完,才能做到T+1模式,消费完数据
没有必要保存7天
其他原因:
日志服务器已经保存了30天☆(logfile)
7、数据量
二、挂了
三、丢失数据
四、重复数据
五、数据积压
六、优化
七、其他
这篇关于【大数据面试】【框架】kafka的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-08见鬼了!我家的 WiFi 只有下雨天才能正常使用...
- 2024-05-081名工程师轻松管理20个工作流,创业企业用Serverless 让数据处理流程提效
- 2024-05-08如何从架构层面降低公有云多可用区同时故障的概率
- 2024-05-08网络隔离的最小配置
- 2024-05-08云原生周刊:Terraform 1.8 发布 | 2024.5.6
- 2024-05-08开源电子邮件营销平台 listmonk 使用教程
- 2024-04-07答网友24个有关DBA课程的问题
- 2024-04-07夯实智慧新能源数据底座,TiDB Serverless 在 Sandisolar+ 的应用实践
- 2024-03-2303-Spark SQL入门
- 2024-03-16离线数仓建设之数据导出