大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022
2022/3/1 11:21:59
本文主要是介绍大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取,
然后transformation这个是转换的意思对吧,是对数据流的转换,然后再看sink这个是对数据流的输出
对吧.
transformation这个步跟spark不一样,不会区分转换算子和启动算子.
然后我们再看,把上面的 程序代码分成了3个部分以后,再去看可以看成一个数据流图了,
其实就是数据流的流动对吧,流动的各个阶段做了各种处理,这里要注意,可以看到输入source,这里
可以有多个,源数据的流也可以有多个,然后sink,也可以有多个对吧,因为这里输出sink,可以输出到
mysql,也可以输出到redis,csv等等,可以有多个输出.
然后上面的这个数据流图可以看到他是一个有向无环图对吧.
这篇关于大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-08见鬼了!我家的 WiFi 只有下雨天才能正常使用...
- 2024-05-081名工程师轻松管理20个工作流,创业企业用Serverless 让数据处理流程提效
- 2024-05-08如何从架构层面降低公有云多可用区同时故障的概率
- 2024-05-08网络隔离的最小配置
- 2024-05-08云原生周刊:Terraform 1.8 发布 | 2024.5.6
- 2024-05-08开源电子邮件营销平台 listmonk 使用教程
- 2024-04-07答网友24个有关DBA课程的问题
- 2024-04-07夯实智慧新能源数据底座,TiDB Serverless 在 Sandisolar+ 的应用实践
- 2024-03-2303-Spark SQL入门
- 2024-03-16离线数仓建设之数据导出