7.Spark SQL
2022/4/27 2:12:51
本文主要是介绍7.Spark SQL,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。
Shark提供了类似于Hive的功能,与Hive不同的是,Shark把SQL语句转换成Spark作业,而不是MAPreduce作业。为了实现Hive的兼容,Shark重用了Hive中的Hive SQL解析、逻辑执行计划翻译、执行计划优化等逻辑。可以近似的认为,Sark仅仅将物理执行计划从Map Reduce作业替换成了Spark作业,也就是通过Hive的HiveSQL解析功能,把Hive SQL翻译成Spark上的RDD操作。Shark的出现,使得SQL-on-Hadoop的性能比Hive有了10~100倍的提高。
2.简述RDD 和DataFrame的联系与区别?
Rdd是分布式的Java对象的集合,但是,对象内部的结构对于RDD来说是不可知的。Data Frame是一种以RDD为基础的分布式数据集,提供详细的结构信息,就相当于关系数据库的一张表。
3.DataFrame的创建
spark.read.text(url)
spark.read.json(url)
spark.read.format("text").load("people.txt")
spark.read.format("json").load("people.json")
描述从不同文件类型生成DataFrame的区别。
用相同的txt或json文件,同时创建RDD,比较RDD与DataFrame的区别。
区别:RDD是直接输出对象,DataFrame是以对象里面的的详细结构进行输出
4.PySpark-DataFrame各种常用操作
4.1基于df的操作:
打印数据 df.show()默认打印前20条数据
打印概要 df.printSchema()
查询总行数 df.count()
df.head(3) #list类型,list中每个元素是Row类
输出全部行 df.collect() #list类型,list中每个元素是Row类
查询概况 df.describe().show()
取列 的三种方式 df[‘name’], df.name, df[1]
4.2基于spark.sql的操作:
创建临时表虚拟表 df.registerTempTable('people')
spark.sql执行SQL语句 spark.sql('select name from people').show()
这篇关于7.Spark SQL的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-29DataGrip使用ssh连接数据库的操作流程
- 2024-05-28SpringBoot3.2更新声明!
- 2024-05-28中外程序员到底有啥区别?
- 2024-05-25外企也半夜发布上线吗?
- 2024-05-24鸿蒙原生应用再新丁!芒果TV 入局鸿蒙
- 2024-05-22基本概念
- 2024-05-22检索数据
- 2024-05-22排序数据
- 2024-05-22基础过滤数据
- 2024-05-22通过逻辑操作符过滤数据