搜索结果
查询Tags标签： flinksql，共有 19条记录-
Apache Dolphinscheduler3.0.0-beta-1 版本发布，新增FlinkSQL、Zeppelin任务类型
导读：近日，Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复，并引入了部分的功能，如支持 FlinkSQL 任务类型，新增 Zeppelin 任务类型，新增 Kubernetes namespace 管理功能，以及通过 bash 传参功能…
2022/6/16 2:20:19 人评论 次浏览 -
FlinkSQL 之乱序问题
乱序问题 在业务编写 FlinkSQL 时， 非常常见的就是乱序相关问题， 在出现问题时，非常难以排查，且无法稳定复现，这样无论是业务方，还是平台方，都处于一种非常尴尬的地步。 在实时 join 中， 如果是 Regular Join， 则使用的是 Hash Join 方式， 左表和右表根据 Join …
2022/6/10 2:19:38 人评论 次浏览 -
新一代 FlinkSQL 平台，重新定义 Apache Flink 开发
新一代 FlinkSQL 平台，重新定义 Apache Flink 开发 前言 Dinky 0.5.1 已发布，它将重新定义 Apache Flink 的开发运维，让其如虎添翼，降本增效。 现状 Flink Forward Asia 2021 刚刚结束，从 Apache Flink 中文社区发起人、阿里巴巴开源大数据平台负责人王峰（花名莫问）…
2022/1/26 19:34:33 人评论 次浏览 -
FlinkSQL实践 -- 时态表/版本表
1. 背景 在FlinkSQL关联时，必然会涉及到维表，维表又可能是不断变化的（aka 时态表 或 版本表）。 版本表: 如果时态表中的记录可以追踪和并访问它的历史版本，这种表我们称之为版本表，来自数据库的 changelog 可以定义成版本表。 普通表: 如果时态表中的记录仅仅可以追…
2022/1/24 19:04:47 人评论 次浏览 -
FlinkSQL实践记录2
1. 背景 昨天《FlinkSQL实践记录1》对FlinkSql做了简单的使用insert into .. select ..，今天对聚合运算做一些实践。 2. 代码实践String mysql_sql = "CREATE TABLE mysql_sink (" +" name STRING," +" cnt BIGINT…
2022/1/23 19:06:23 人评论 次浏览 -
flinksql 解析学习
Flink sql 之sql 解析篇： 1.主要是为了实现 利用flink 原生引擎去解析sql 生成语法树，打印日志信息便于去维护。 2.flink解析之Calcite和sql 解析过程 sql 解析阶段：calcite parser 解析（sql -> AST，AST 即 SqlNode Tree） SqlNode 验证阶段：calcite validator 校…
2022/1/23 19:04:54 人评论 次浏览 -
FlinkSQL实践记录
1.背景 Flink目前在国内发展的火热，笔者在2018首次接触了flink之后，总是在官网/公众号各个地方追踪它的新动态，但一直没机会在生产上使用，近期有流式计算的需求，且目前企业对计算的实时性也要求越来越高，今天先在本地环境测试一把。测试把kafka中数据通过flink处理后…
2022/1/23 2:06:33 人评论 次浏览 -
Day79_Flink(五） FlinkSQL和CEP
课程大纲 课程内容 学习效果 掌握目标 FlinkSQL FlinkTable 掌握 FlinkSQL 掌握 FlinkCEP FlinkCEP 掌握 任务性能优化 operator chain 掌握 slot sharing 掌握 Flink异步IO 掌握 Checkpoint 优化 掌握 一、Table&SQL （一）概述 T…
2021/11/9 2:11:37 人评论 次浏览 -
Day79_Flink(五） FlinkSQL和CEP
课程大纲 课程内容 学习效果 掌握目标 FlinkSQL FlinkTable 掌握 FlinkSQL 掌握 FlinkCEP FlinkCEP 掌握 任务性能优化 operator chain 掌握 slot sharing 掌握 Flink异步IO 掌握 Checkpoint 优化 掌握 一、Table&SQL （一）概述 T…
2021/11/9 2:11:37 人评论 次浏览 -
95-910-332-源码-FlinkSQL-Calcite-Flink SQL 整体执行框架
文章目录1.美图 2.概述 3.背景知识 4.可插拔的 SQL Runner4.1 `Planner` 接口 4.2 `Executor` 接口 4.3 Blink Runner4.3.1 SQL 解析 4.3.2 SQL 转换及优化 4.3.3 SQL 执行1.美图2.概述 在数据处理领域，无论是实时数据处理还是离线数据处理，使用 SQL 简化开发将会是未…
2021/10/13 2:15:36 人评论 次浏览 -
95-910-332-源码-FlinkSQL-Calcite-Flink SQL 整体执行框架
文章目录1.美图 2.概述 3.背景知识 4.可插拔的 SQL Runner4.1 `Planner` 接口 4.2 `Executor` 接口 4.3 Blink Runner4.3.1 SQL 解析 4.3.2 SQL 转换及优化 4.3.3 SQL 执行1.美图2.概述 在数据处理领域，无论是实时数据处理还是离线数据处理，使用 SQL 简化开发将会是未…
2021/10/13 2:15:36 人评论 次浏览 -
FlinkSQL自定义函数（UDF）维表转换
前言 Table和SQL的关系：SQL是Table的继承封装（这点在Flink的概念有所体现），比如说：StreamTableEnvironment继承自TableEnvironment便可体现出来。故官文中Table的使用均可在SQL中体现出来，比如说自定义函数，Table API & SQL下的自定义函数中只给出了Table方式的…
2021/9/7 19:07:42 人评论 次浏览 -
FlinkSQL自定义函数（UDF）维表转换
前言 Table和SQL的关系：SQL是Table的继承封装（这点在Flink的概念有所体现），比如说：StreamTableEnvironment继承自TableEnvironment便可体现出来。故官文中Table的使用均可在SQL中体现出来，比如说自定义函数，Table API & SQL下的自定义函数中只给出了Table方式的…
2021/9/7 19:07:42 人评论 次浏览 -
修改flinksql已经定义表的表结构
flink版本：1.13.1方案一：使用sql-client Flink SQL> set table.sql-dialect=default; Flink SQL> alter table `hive`.`default`.ods_dsp_kafka set(flink.connector.startup-mode=timestamp); 如果要新增字段，必须同时添加name和data-type，不然会导致表损坏，这…
2021/7/7 2:07:25 人评论 次浏览 -
Flink通过Catalog连接hive，使用FlinkSQL进行读写
一、Flink1.13安装 1、官网下载链接 https://flink.apache.org/zh/downloads.html#apache-flink-1131 2、拷贝压缩包到服务器里解压 tar -xvf flink-1.13.1-bin-scala_2.12.tgz 3、进入flink的conf目录，对flink-conf.xml进行配置(本次测试以单机standalone部署) rest.add…
2021/7/2 19:26:39 人评论 次浏览
