合并文件解决HiveServer2内存溢出方法
2022/5/6 7:13:24
本文主要是介绍合并文件解决HiveServer2内存溢出方法,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、 背景
客户现场的CDH6.x版本的集群执行一个大分区表时hiveserver2发生了内存溢出。下面针对该问题进行了复现并深入了解了hiveserver2内存加载使用原理;提出了解决此类问题的方案,具体内容如下。
二、HiveServer2内存溢出
2.1查看表文件个数
desc formatted yanyu.tmp
表文件数量为6522102
2.2 查看表文件信息
hadoop fs -ls warehouse/yanyu.db/tmp
分区为string 类型的time字段,分了2001个区。
2.3 查看某个分区下的文件个数为10000个
hadoop fs -ls warehouse/yanyu.db/tmp/time=45
2.4 执行select count(*) 是否内存溢出
可以看到Jvm内存使用明显增大,Hiveserver2内存溢出,进程挂掉了;查看HiveServer2状态标红。
详细日志如下
三、合并小文件以解决HiveServer2内存溢出
3.1小文件合并
将每个分区里的若干个小文件合并成一个文件,最终文件个数为分区数。
合并流程如下:
3.1.1 创建表结构一致的临时表
查看原始表信息
desc formatted yanyu.tmp
然后创建一个数据结构与原表完全一样的临时表用来存储数据。
create table yanyu.tmp_bak like yanyu.tmp;
查看表属性
show create table yanyu.tmp_bak;
3.1.2 将原始数据导入到临时表
配置合并小文件的参数
SET hive.merge.mapfiles = true;
SET hive.merge.mapredfiles = true;
--输出时合并小文件大小为256M
SET hive.merge.size.per.task = 256000000;
--输出文件平均大小小于该值,则开启小文件合并
SET hive.merge.smallfiles.avgsize = 134217728;
SET hive.exec.compress.output = true;
SET parquet.compression = snappy;
SET hive.exec.dynamic.partition.mode = nonstrict;
SET hive.exec.dynamic.partition = true;
查询原表数据并使用insert overwrite 将原表数据插入到临时表中
insert overwrite table yanyu.tmp_bak partition(time) select * from yanyu.tmp;
查看合并小文件后的表文件个数(2000个):
desc formatted yanyu.tmp_bak;
3.1.3 查看hdfs里原始表和合并后任意分区中文件数量
查看合并后的文件数量:
hadoop fs -ls warehouse/yanyu.db/tmp_bak/time=0
对比查看原始表分区下的文件数量:
hadoop fs -ls warehouse/yanyu.db/tmp/time=0
说明:小文件合并操作后原始表的分区下的大量小文件合并为一个文件。
3.1.4 压缩小文件进行合并后是否查看数据
- 查看原始文件数据,正常显示
- 查看合并后的文件内容为乱码。
- 使用sql检查临时表数据是否和原表数据一致。
- 查看hdfs文件系统表格路径下文件个数是否与分区数一致。
hadoop fs -ls warehouse/yanyu.db/tmp_bak
查看合并小文件后分区最大值为1999即有2000个分区(分区类型为string,以字符串排序)
3.1.5 删除原始表
确认表数据一致后,删除原表,使用alert修改临时表名为原表名。
alter table yanyu.tmp_bak rename to yanyu.tmp
四、总结
使用HiveServer2查询数据时,会将元数据都加载到内存中,如果一个表格的分区很大,每个分区中又有很多的小文件,就会导致将元数据加载到内存中时使用的内存比较大。因此,Cloudera公司推荐表格的分区数最好不要超过1000个;同时分区中的也不要存储过多的为小文件,要定期对数据进行治理以合并小文件。
同时配置多个Hiveservr2实例并配置HiveServer2负责均衡,以实现Hiveserver2的高可用。并根据Connection的数据提升HiveServer2的内存大小。推荐值如下:
这篇关于合并文件解决HiveServer2内存溢出方法的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-15鸿蒙生态设备数量超8亿台
- 2024-05-13TiDB + ES:转转业财系统亿级数据存储优化实践
- 2024-05-09“2024鸿蒙零基础快速实战-仿抖音App开发(ArkTS版)”实战课程已上线
- 2024-05-09聊聊如何通过arthas-tunnel-server来远程管理所有需要arthas监控的应用
- 2024-05-09log4j2这么配就对了
- 2024-05-09nginx修改Content-Type
- 2024-05-09Redis多数据源,看这篇就够了
- 2024-05-09Google Chrome驱动程序 124.0.6367.62(正式版本)去哪下载?
- 2024-05-09有没有大佬知道这种数据应该怎么抓取呀?
- 2024-05-09这种运行结果里的10.100000001,怎么能最快改成10.1?