搜索结果
查询Tags标签： HiveSQL，共有 30条记录-
HiveSQL 常用函数说明
NVL：给值为NULL的数据赋值，它的格式是NVL( value，default_value)。CONCAT(col, col2…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余…
2022/7/3 2:21:54 人评论 次浏览 -
充分吸收这十题，hivesql面试没问题（上）
第一题 需求： 我们有如下的用户访问数据：userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 U02 2017/1/23 6 U01 2017/2/22 4要求使用SQL统计出每个用户的累积访问次数，如下表所示： 用…
2022/2/22 19:25:00 人评论 次浏览 -
HiveSQL高级进阶10大技巧
直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升，达到一个较高的层次！ 1.删除： insert overwrite tmp select * from tmp where id != 666; 复制代码 2.更新： 直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握…
2022/2/16 2:13:00 人评论 次浏览 -
HiveSQL_添加数据load
创建表 create table person( id int comment "唯一标识", name string comment "名称", likes array<string> comment "爱好", address map<string,string> comment "地址" ) row format delimited fields terminat…
2022/1/15 2:03:47 人评论 次浏览 -
HiveSQL_添加数据load
创建表 create table person( id int comment "唯一标识", name string comment "名称", likes array<string> comment "爱好", address map<string,string> comment "地址" ) row format delimited fields terminat…
2022/1/15 2:03:47 人评论 次浏览 -
使用hiveSQL分离字符串中的字符和数字
目录 0-需求1-数据分析2-总结0-需求 如果数据中存在字符和数字混在一起的情况且放在一列中，此时需要将其中的数字数据和字符数据分开，分别单独成为一列，应该怎么做？ 如下数据： FLINK434354 HADOOP67889 HBASE500019 KAFKA15999 SQOOP13332 HELLO57000 SPARK13000需要…
2022/1/12 19:05:54 人评论 次浏览 -
使用hiveSQL分离字符串中的字符和数字
目录 0-需求1-数据分析2-总结0-需求 如果数据中存在字符和数字混在一起的情况且放在一列中，此时需要将其中的数字数据和字符数据分开，分别单独成为一列，应该怎么做？ 如下数据： FLINK434354 HADOOP67889 HBASE500019 KAFKA15999 SQOOP13332 HELLO57000 SPARK13000需要…
2022/1/12 19:05:54 人评论 次浏览 -
在HiveSQL执行过程中，报错Exception: Too many counters: 121 max=120
报错信息如下：INFO : Exception: Too many counters: 121 max=120 at org.apache.tez.common.counters.Limits.checkCounters(Limits.java:86) at org.apache.tez.common.counters.Limits.incrCounters(Limits.java:93) at org.apache.tez.common.counters.AbstractCoun…
2022/1/9 19:07:06 人评论 次浏览 -
在HiveSQL执行过程中，报错Exception: Too many counters: 121 max=120
报错信息如下：INFO : Exception: Too many counters: 121 max=120 at org.apache.tez.common.counters.Limits.checkCounters(Limits.java:86) at org.apache.tez.common.counters.Limits.incrCounters(Limits.java:93) at org.apache.tez.common.counters.AbstractCoun…
2022/1/9 19:07:06 人评论 次浏览 -
hivesql优化-FileInputFormat中切片的大小的参数
hive.exec.parallel可以控制一个sql中多个可并行执行的job的运行方式.当hive.exec.parallel为true的时候,同一个sql中可以并行执行的job会并发的执行. 而参数hive.exec.parallel.thread.number就是控制对于同一个sql来说同时可以运行的job的最大值,该参数默认为8.此时最大…
2021/11/21 19:42:31 人评论 次浏览 -
hivesql优化-FileInputFormat中切片的大小的参数
hive.exec.parallel可以控制一个sql中多个可并行执行的job的运行方式.当hive.exec.parallel为true的时候,同一个sql中可以并行执行的job会并发的执行. 而参数hive.exec.parallel.thread.number就是控制对于同一个sql来说同时可以运行的job的最大值,该参数默认为8.此时最大…
2021/11/21 19:42:31 人评论 次浏览 -
hiveSql 执行计划
大致流程： 1、客户端连接hiveserver2（目前大叔多通过beeline连接，hive cli模式相对较重，且直接略过元数据）建立回话 2、提交sql，通过driver进行编译，解析，优化逻辑计划，生成物理计划 3、对物理计划执行优化，并提交到计算引擎 4、返回结果详细流程 1、 客户端提交…
2021/11/15 19:13:59 人评论 次浏览 -
hiveSql 执行计划
大致流程： 1、客户端连接hiveserver2（目前大叔多通过beeline连接，hive cli模式相对较重，且直接略过元数据）建立回话 2、提交sql，通过driver进行编译，解析，优化逻辑计划，生成物理计划 3、对物理计划执行优化，并提交到计算引擎 4、返回结果详细流程 1、 客户端提交…
2021/11/15 19:13:59 人评论 次浏览 -
hivesql笔记
一、常用聚合函数 count():计数 count(distinct 字段) 去重统计 sum():求合 avg():平均 max():最大值 min():最小值二、hivesql执行顺序 from --> where --> group by --> having --> select--> order by--> limit三、常用函数 1.毫秒时间戳转日期精确到…
2021/11/12 2:14:09 人评论 次浏览 -
hivesql笔记
一、常用聚合函数 count():计数 count(distinct 字段) 去重统计 sum():求合 avg():平均 max():最大值 min():最小值二、hivesql执行顺序 from --> where --> group by --> having --> select--> order by--> limit三、常用函数 1.毫秒时间戳转日期精确到…
2021/11/12 2:14:09 人评论 次浏览
