搜索结果
查询Tags标签: hive,共有 381条记录-
Hive/HiveSQL常用优化方法全面总结
Hive作为大数据领域常用的数据仓库组件,在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveSQL语句本身的优化,也包含Hive配置项和MR方面的调整。 《20…
2021/6/11 19:21:40 人评论 次浏览 -
面试必备技能-HiveSQL优化
Hive SQL基本上适用大数据领域离线数据处理的大部分场景。Hive SQL的优化也是我们必须掌握的技能,而且,面试一定会问。那么,我希望面试者能答出其中的80%优化点,在这个问题上才算过关。Hive优化目标在有限的资源下,执行效率更高常见问题数据倾斜map数设置reduce数设置…
2021/6/11 19:21:03 人评论 次浏览 -
一个小知识点-Hive行转列实现Pivot
前言传统关系型数据库中,无论是Oracle(11g之后)还是SQLserver(2005之后),都自带了Pivot函数实现行转列功能,本文主要讲述在Hive中实现行转列的两种方式。传统数据库方式这种方式是借鉴在Oracle或者SQLserver在支持Pivot函数之前实现行转列的方式,实际上语法没有什…
2021/6/11 18:44:35 人评论 次浏览 -
Flink实战(八十):flink-sql使用(七)Flink SQL Clien读取Kafka数据流式写入Hive(用hive 管理kafka元数据)
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 版本说明: Flink 1.11.2 Kafka 2.4.0 Hive 3.1.2Hadoop 3.1.3 1 hive 安装hive,使用mysql做为元数据存储 1.2 hive-site.xml 配置 (版本3.1.2)<?xml…
2021/6/11 2:29:34 人评论 次浏览 -
Flink实战(八十):flink-sql使用(七)Flink SQL Clien读取Kafka数据流式写入Hive(用hive 管理kafka元数据)
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 版本说明: Flink 1.11.2 Kafka 2.4.0 Hive 3.1.2Hadoop 3.1.3 1 hive 安装hive,使用mysql做为元数据存储 1.2 hive-site.xml 配置 (版本3.1.2)<?xml…
2021/6/11 2:29:12 人评论 次浏览 -
Flink实战(八十):flink-sql使用(七)Flink SQL Clien读取Kafka数据流式写入Hive(用hive 管理kafka元数据)
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 版本说明: Flink 1.11.2 Kafka 2.4.0 Hive 3.1.2Hadoop 3.1.3 1 hive 安装hive,使用mysql做为元数据存储 1.2 hive-site.xml 配置 (版本3.1.2)<?xml…
2021/6/11 2:28:23 人评论 次浏览 -
Flink实战(八十):flink-sql使用(七)Flink SQL Clien读取Kafka数据流式写入Hive(用hive 管理kafka元数据)
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 版本说明: Flink 1.11.2 Kafka 2.4.0 Hive 3.1.2Hadoop 3.1.3 1 hive 安装hive,使用mysql做为元数据存储 1.2 hive-site.xml 配置 (版本3.1.2)<?xml…
2021/6/11 2:28:02 人评论 次浏览 -
Flink实战(八十一):flink-sql使用(八)Flink 与 hive 结合使用(二)打包运行
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 注意 1. Flink使用1.11.0版本、HIVE使用3.1.2版本、Hadoop使用3.1.3版本 注意 2. 将hive-site.xml文件放在maven项目的resource目录下。 注意 3. 不编写脚本的…
2021/6/11 2:27:56 人评论 次浏览 -
Flink实战(八十一):flink-sql使用(八)Flink 与 hive 结合使用(二)打包运行
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 注意 1. Flink使用1.11.0版本、HIVE使用3.1.2版本、Hadoop使用3.1.3版本 注意 2. 将hive-site.xml文件放在maven项目的resource目录下。 注意 3. 不编写脚本的…
2021/6/11 2:27:49 人评论 次浏览 -
Flink实战(八十四):flink-sql使用(十一)Flink 与 hive 结合使用(三)Hive Dialect
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 Hive Dialect Starting from 1.11.0, Flink allows users to write SQL statements in Hive syntax when Hive dialect is used. By providing compatibili…
2021/6/11 2:27:43 人评论 次浏览 -
Flink实战(八十四):flink-sql使用(十一)Flink 与 hive 结合使用(三)Hive Dialect
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 Hive Dialect Starting from 1.11.0, Flink allows users to write SQL statements in Hive syntax when Hive dialect is used. By providing compatibili…
2021/6/11 2:27:41 人评论 次浏览 -
Flink实战(八十五):flink-sql使用(十二)Flink 与 hive 结合使用(四)Hive Read & Write
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 简介 Using the HiveCatalog and Flink’s connector to Hive, Flink can read and write from Hive data as an alternative to Hive’s batch engine. Be…
2021/6/11 2:27:38 人评论 次浏览 -
Flink实战(八十五):flink-sql使用(十二)Flink 与 hive 结合使用(四)Hive Read & Write
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 简介 Using the HiveCatalog and Flink’s connector to Hive, Flink can read and write from Hive data as an alternative to Hive’s batch engine. Be…
2021/6/11 2:27:35 人评论 次浏览 -
Flink实战(八十六):flink-sql使用(十三)Flink 与 hive 结合使用(五)Hive Streaming
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 Hive Streaming A typical hive job is scheduled periodically to execute, so there will be a large delay. Flink supports to write, read and join t…
2021/6/11 2:27:32 人评论 次浏览 -
Flink实战(八十六):flink-sql使用(十三)Flink 与 hive 结合使用(五)Hive Streaming
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 0 Hive Streaming A typical hive job is scheduled periodically to execute, so there will be a large delay. Flink supports to write, read and join t…
2021/6/11 2:27:31 人评论 次浏览