搜索结果
查询Tags标签： DataStream，共有 19条记录-
畅游Flink之API-Part1(Java版)
1.Transform 1.1.基本转换算子map/flatMap/filtermap把数组流中的每一个值，使用所提供的函数执行一遍，一一对应。得到元素个数相同的数组流flatmapflat是扁平的意思。它把数组流中的每一个值，使用所提供的函数执行一遍，一一对应。得到元素相同的数组流。只不过，里面的…
2022/5/6 9:12:54 人评论 次浏览 -
【大数据面试】Flink 02 基本操作：入门案例、Env、Source、Transform、数据类型、UDF、Sink
二、基本操作 1、入门案例 （1）批处理wordcount--DataSetval env = ExecutionEnvironment.getExecutionEnvironment// 从文件中读取数据val inputPath = "D:\\Projects\\BigData\\TestWC1\\src\\main\\resources\\hello.txt"val inputDS: DataSet[String] = en…
2022/2/7 23:49:40 人评论 次浏览 -
Flink 流处理 API
Flink 流处理 API 1. EnvironmentgetExecutionEnvironmentcreateLocalEnvironmentcreateRemoteEnvironment 2. Source从集合读取数据从文件读取数据从 kafka 读取数据自定义 Source 3. TransformmapflatMapFliterkeyBy滚动聚合算子 Reducesplit 和 selectconnect 和 coMap…
2021/11/14 23:40:23 人评论 次浏览 -
Flink 流处理 API
Flink 流处理 API 1. EnvironmentgetExecutionEnvironmentcreateLocalEnvironmentcreateRemoteEnvironment 2. Source从集合读取数据从文件读取数据从 kafka 读取数据自定义 Source 3. TransformmapflatMapFliterkeyBy滚动聚合算子 Reducesplit 和 selectconnect 和 coMap…
2021/11/14 23:40:23 人评论 次浏览 -
flink调用toRetractStream方法发生各种java.lang.ClassCastException问题解决方法
背景：本菜鸟在造了一个extends了RichSinkFunction<ItemCountSum2>的mysqlsink class，想把Table中数据转换成指定对象的流，再sink入mysql当中，又遇到一个当时难整的bug。出现问题：经排除，问题出现在这段代码块中解决思路：检查代码中是否有转换问题出错，然而并…
2021/10/13 17:16:33 人评论 次浏览 -
flink调用toRetractStream方法发生各种java.lang.ClassCastException问题解决方法
背景：本菜鸟在造了一个extends了RichSinkFunction<ItemCountSum2>的mysqlsink class，想把Table中数据转换成指定对象的流，再sink入mysql当中，又遇到一个当时难整的bug。出现问题：经排除，问题出现在这段代码块中解决思路：检查代码中是否有转换问题出错，然而并…
2021/10/13 17:16:33 人评论 次浏览 -
大数据~面试~Flink
Index Flink面试题1. Flink 与Spark区别？2. Flink组件栈3. Flink架构中的角色4. Flink程序执行流程图5. Flink几个双流join算子6. Flink分区7. Flink窗口函数种类8. 对于滚动窗口的超时数据，如何处理9. Flink如何实现exactly-once10. Flink内存管理11. Flink序列化如何实…
2021/10/10 23:46:36 人评论 次浏览 -
大数据~面试~Flink
Index Flink面试题1. Flink 与Spark区别？2. Flink组件栈3. Flink架构中的角色4. Flink程序执行流程图5. Flink几个双流join算子6. Flink分区7. Flink窗口函数种类8. 对于滚动窗口的超时数据，如何处理9. Flink如何实现exactly-once10. Flink内存管理11. Flink序列化如何实…
2021/10/10 23:46:36 人评论 次浏览 -
FLINK基础（141）：DS流与表转换(7) Handling of Changelog Streams(2) fromChangelogStream
The following code shows how to use fromChangelogStream for different scenarios.import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.table.api.Schema; import org.apache.flink.table.api.Table; import org.apache.flink.tab…
2021/8/30 6:06:41 人评论 次浏览 -
FLINK基础（141）：DS流与表转换(7) Handling of Changelog Streams(2) fromChangelogStream
The following code shows how to use fromChangelogStream for different scenarios.import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.table.api.Schema; import org.apache.flink.table.api.Table; import org.apache.flink.tab…
2021/8/30 6:06:41 人评论 次浏览 -
FLINK基础（140）：DS流与表转换(6) Handling of Changelog Streams(1)简介
Internally, Flink’s table runtime is a changelog processor. The concepts page describes how dynamic tables and streams relate to each other. A StreamTableEnvironment offers the following methods to expose these change data capture (CDC) functionaliti…
2021/8/30 6:06:41 人评论 次浏览 -
FLINK基础（140）：DS流与表转换(6) Handling of Changelog Streams(1)简介
Internally, Flink’s table runtime is a changelog processor. The concepts page describes how dynamic tables and streams relate to each other. A StreamTableEnvironment offers the following methods to expose these change data capture (CDC) functionaliti…
2021/8/30 6:06:41 人评论 次浏览 -
FLINK基础（139）：DS流与表转换(5) Handling of (Insert-Only) Streams（4）toDataStream
The following code shows how to use toDataStream for different scenarios.import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.table.api.DataTypes; import org.apache.flink.table.api.Table; import org.apache.flink.types.R…
2021/8/29 23:36:31 人评论 次浏览 -
FLINK基础（139）：DS流与表转换(5) Handling of (Insert-Only) Streams（4）toDataStream
The following code shows how to use toDataStream for different scenarios.import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.table.api.DataTypes; import org.apache.flink.table.api.Table; import org.apache.flink.types.R…
2021/8/29 23:36:31 人评论 次浏览 -
FLINK基础（116）: DS侧输出 Side Outputs
When using side outputs, you first need to define an OutputTag that will be used to identify a side output stream:// this needs to be an anonymous inner class, so that we can analyze the type OutputTag<String> outputTag = new OutputTag<String…
2021/8/24 23:36:13 人评论 次浏览
