Hudi初始
2022/2/16 23:45:06
本文主要是介绍Hudi初始,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一、Hudi是什么
Hudi(Hadoop Upserts anD Incrementals):用于管理分布式文件系统DFS上大型分析数据集存储。 Hudi是一种针对分析型业务的、扫描优化的数据存储抽象,它能够使DFS数据集在分钟级的时延内支持变更,也支持下游系统对这个数据集的增量处理。二、Hudi功能
Hudi是在大数据存储上的一个数据集,可以将Change Logs通过upsert的方式合并进Hudi Hudi对上可以暴露成一个普通Hive或spark表,通过API或命令行可以获取到增量修改的信息,继续供下游消费 Hudi保管修改历史,可以做时间旅行或回退 Hudi内部有主键到文件级的索引,默认是记录到文件的布隆过滤器。三、Hudi特性
Hudi使得用户能在Hadoop兼容的存储之上存储大量数据,同事它还提供两种原语,不仅可以批处理,还可以在数据湖上进行流处理 update/delete记录:Hudi使用细粒度的文件/记录级别索引来支持update/delete记录,同时还提供写操作的事务保证。查询会处理最后一个提交的快照,并基于此输出结果。 变更流:Hudi对获取数据变更提供了一流的支持:可以从给定的时间点获取给定表中已updated/inserted/deleted的所有记录的增量流,并解锁新的查询类别。四、Hudi基础架构
1.通过DeltaStreammer、Flink、Spark等工具,将数据读取到数据湖存储,可使用HDFS作为数据湖的数据存储 2.基于HDFS可以构建Hudi的数据湖 3.Hudi提供统一的访问spark数据源和flink数据源 4.外部通过不同引擎,如:spark、flink、presto、hive、impala、Aliyun DLA、AWS Redshit访问接口四、历史节点
五、新架构:湖仓一体
Hudi对于flink友好支持以后,可以使用Flink+Hudi构建实时湖仓一体架构,数据的时效性可以到分钟级,能很好的满足业务准实时数仓的需求 通过湖仓一体、流批一体,准实时场景做到了:数据同源、同计算引擎、同存储、同计算口径这篇关于Hudi初始的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-09“2024鸿蒙零基础快速实战-仿抖音App开发(ArkTS版)”实战课程已上线
- 2024-05-09聊聊如何通过arthas-tunnel-server来远程管理所有需要arthas监控的应用
- 2024-05-09log4j2这么配就对了
- 2024-05-09nginx修改Content-Type
- 2024-05-09Redis多数据源,看这篇就够了
- 2024-05-09Google Chrome驱动程序 124.0.6367.62(正式版本)去哪下载?
- 2024-05-09有没有大佬知道这种数据应该怎么抓取呀?
- 2024-05-09这种运行结果里的10.100000001,怎么能最快改成10.1?
- 2024-05-09企业src漏洞挖掘-有意思的命令执行
- 2024-05-08阿里云域名注册流程,分享给第一次购买域名的新手站长!