搜索结果
查询Tags标签： sink，共有 30条记录-
聊聊Flink必知必会(二)
Checkpoint与Barrier Flink是一个有状态的流处理框架，因此需要对状态做持久化，Flink定期保存状态数据到存储空间上，故障发生后从之前的备份中恢复，这个过程被称为Checkpoint机制。而Checkpoint为Flink提供了Exactly-Once的投递保障。 流处理是一个数据不断输入的过程，…
2023/6/13 14:23:45 人评论 次浏览 -
Miracast技术详解（二）：RTSP协议
目录RTSP概述抓包准备WFD能力协商（Capability Negotiation）RTSP M1 MessagesRTSP M2 MessagesRTSP M3 MessagesRTSP M4 Messageswfd_video_formats格式解析Native Resolutions/Refresh Rates BitmapCEA Resolutions/Refresh Rates BitmapProfiles BitmapLevels Bitmap例…
2022/7/13 23:21:45 人评论 次浏览 -
flume连接加密MongoDB
现网部署需要MongoDB添加密码验证，一开始以为无法做到。 看了flume-mongodb-sink插件源码， 看到是有权限验证和用户名密码的。 几经波折找到相关配置在flume/conf下面找到conf文件加上如下配置，重启flume即可连上加密后的flumelog.sinks.sink1.authenticationEnabled =…
2022/6/22 2:21:16 人评论 次浏览 -
练习 : 自定义sink mysql hbase
mysql1 package sink;2 3 //import com.util.Propss;4 //import com.bean.Sku;5 import org.apache.flink.configuration.Configuration;6 import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;7 import org.apache.kafka.clients.producer.KafkaProd…
2022/4/9 2:19:28 人评论 次浏览 -
从0到1成为Flink源码Contributor之Flink编程模型(3)
前置要求Java技术体系 Junit单元测试 Idea软件使用 Flink自建版本custom-test带有Transformation的HelloWorld程序 我们在上一篇文章的基础上增加一个MapFunction的算子操作，并运行起来 @Test public void testFlinkHelloWorld2() throws Exception {DataStreamSource<…
2022/3/20 22:58:07 人评论 次浏览 -
练习： Flink Sink 将数据 保存 到 HDFS MySQL
1 import lombok.AllArgsConstructor;2 import lombok.Data;3 import lombok.NoArgsConstructor;4 5 @Data6 @NoArgsConstructor7 @AllArgsConstructor8 public class Sensor {9 private String sensor_id; 10 private Long sensor_timeStamp; 11 private Dou…
2022/3/5 2:15:18 人评论 次浏览 -
大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取, 然后transformation这个是转换的意思对吧,是对数据流的转换,然后再看sink这个是对数据流的输出 对吧. …
2022/3/1 11:21:59 人评论 次浏览 -
FlinkSQL报错--jdbc java.net.ConnectException: Connection refused (Connection refused)
背景FlinkSql 通过jdbc连接 Mysql解决方案需要仔细检查以下连接信息 连接驱动版本(mysql8.x、mysql5.x)，连接的数据库地址、端口，连接的用户名密码等CREATE TABLE sink_demo ( id INT primary key, name STRING, description STRING ) with(connector = jdbc,driver = …
2022/2/10 19:20:32 人评论 次浏览 -
FlinkSQL实践记录2
1. 背景 昨天《FlinkSQL实践记录1》对FlinkSql做了简单的使用insert into .. select ..，今天对聚合运算做一些实践。 2. 代码实践String mysql_sql = "CREATE TABLE mysql_sink (" +" name STRING," +" cnt BIGINT…
2022/1/23 19:06:23 人评论 次浏览 -
Flink学习笔记——读写Hbase
1.如果是csa(Cloudera Streaming Analytics)版本的Hbase，可以参考Cloudera官方例子，通过引入flink-hbase来实现<dependency><groupId>org.apache.flink</groupId><artifactId>flink-hbase_2.11</artifactId><version>1.9.0-csa1.0.…
2022/1/12 23:05:46 人评论 次浏览 -
Flink学习笔记——读写Hbase
1.如果是csa(Cloudera Streaming Analytics)版本的Hbase，可以参考Cloudera官方例子，通过引入flink-hbase来实现<dependency><groupId>org.apache.flink</groupId><artifactId>flink-hbase_2.11</artifactId><version>1.9.0-csa1.0.…
2022/1/12 23:05:46 人评论 次浏览 -
ASP.NET Core引入第三方日志框架及简单实现日志策略配置
引言 在我们项目开发的过程中，使用.NET 6自带的日志系统有时是不能满足实际需求的，比如有的时候我们需要将日志输出到第三方平台上，最典型的应用就是在各种云平台上，为了集中管理日志和查询日志，通常会选择对应平台的日志SDK进行集成。比如微软Azure提供的Azure App …
2022/1/11 1:04:03 人评论 次浏览 -
ASP.NET Core引入第三方日志框架及简单实现日志策略配置
引言 在我们项目开发的过程中，使用.NET 6自带的日志系统有时是不能满足实际需求的，比如有的时候我们需要将日志输出到第三方平台上，最典型的应用就是在各种云平台上，为了集中管理日志和查询日志，通常会选择对应平台的日志SDK进行集成。比如微软Azure提供的Azure App …
2022/1/11 1:04:03 人评论 次浏览 -
Java性能优化：Stream如何提高遍历集合效率？
什么是Stream？ 现在很多大数据量系统中都存在分表分库的情况。 例如，电商系统中的订单表，常常使用用户ID的Hash值来实现分表分库，这样是为了减少单个表的数据量，优化用户查询订单的速度。 但在后台管理员审核订单时，他们需要将各个数据源的数据查询到应用层之后进行…
2021/11/28 14:40:28 人评论 次浏览 -
Java性能优化：Stream如何提高遍历集合效率？
什么是Stream？ 现在很多大数据量系统中都存在分表分库的情况。 例如，电商系统中的订单表，常常使用用户ID的Hash值来实现分表分库，这样是为了减少单个表的数据量，优化用户查询订单的速度。 但在后台管理员审核订单时，他们需要将各个数据源的数据查询到应用层之后进行…
2021/11/28 14:40:28 人评论 次浏览
