Hive里使用SQL语句创建复杂数据类型
2022/2/23 2:21:36
本文主要是介绍Hive里使用SQL语句创建复杂数据类型,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
前言
在Hive使用过程中,有时需要通过sql语句来创建复杂数据类型,例如ARRAY、MAP、STRUCT等,甚至还有嵌套的复杂数据类型例如ARRAY[STRUCT],有必要了解一下sql语句中复杂数据类型的创建。
一、Map类型的创建
函数名称 | 函数参数 | 函数说明 |
---|---|---|
map | (key1,value1,key2,value2,…) | 创建了一个map结构数据,函数参数依次是它的key和value |
二、Struct类型的创建
有两种方式,如下表:
函数名称 | 函数参数 | 函数说明 |
---|---|---|
struct | (val1,val2,val3,…) | 创建了一个struct数据字段,它里面的字段的名称依次为col1,col2,col3…,它的值依次为val1,val2,val3 |
named_struct | (name1,val1,name2,val2,…) | 创建了一个struct字段,函数中的参数依次为key和value |
三、Array类型的创建
函数名称 | 函数参数 | 函数说明 |
---|---|---|
array | (val1,val2,val3,…) | 创建了一个array结构数据,里面的数据依次是val1,val2,val3… |
在实际操作中可以使用collect_set+group by的方式生成一个array,如下图:
sql语句:select username, collect_set(video_name) from t_visit_video group by username;
结果如下:
四、Array[Struct]类型的创建
代码如下:
select sku_id, collect_set(named_struct('sale_attr_id',sale_attr_id,'sale_attr_value_id',sale_attr_value_id,'sale_attr_name',sale_attr_name,'sale_attr_value_name',sale_attr_value_name)) sale_attrs from ods_sku_sale_attr_value_full group by sku_id
先把一行里的数据转换成一个struct再group by使用collect_set,生成了一个array[struct]
这篇关于Hive里使用SQL语句创建复杂数据类型的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-13TiDB + ES:转转业财系统亿级数据存储优化实践
- 2024-05-09“2024鸿蒙零基础快速实战-仿抖音App开发(ArkTS版)”实战课程已上线
- 2024-05-09聊聊如何通过arthas-tunnel-server来远程管理所有需要arthas监控的应用
- 2024-05-09log4j2这么配就对了
- 2024-05-09nginx修改Content-Type
- 2024-05-09Redis多数据源,看这篇就够了
- 2024-05-09Google Chrome驱动程序 124.0.6367.62(正式版本)去哪下载?
- 2024-05-09有没有大佬知道这种数据应该怎么抓取呀?
- 2024-05-09这种运行结果里的10.100000001,怎么能最快改成10.1?
- 2024-05-09企业src漏洞挖掘-有意思的命令执行