Spark快速上手(6)Spark核心编程-RDD行动算子Action
2022/7/8 14:24:09
本文主要是介绍Spark快速上手(6)Spark核心编程-RDD行动算子Action,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
RDD(3)
RDD行动算子
所谓行动算子,就是触发Job执行的方法
reduce
函数签名
def reduce(f: (T, T) => T): T
函数说明
聚集RDD中的所有元素,先聚合分区内数据,再聚合分区间数据
e.g.
code:
def main(args: Array[String]): Unit = { val source: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4)) // 聚合数据 val reduceResult: Int = source.reduce(_ + _) println(reduceResult) }
result:
10
collect
函数签名
def collect(): Array[T]
函数说明
在驱动程序中,以数组Array形式返回数据集中的所有元素
e.g.
code:
@Test def testCollect(): Unit = { // 收集数据到driver source.collect().foreach(println) }
count
函数签名
def count(): Long
函数说明
返回RDD中的元素的个数
e.g.
code:
@Test def testCount(): Unit = { // 返回 RDD 中元素的个数 println(source.count()) }
first
函数签名
def first(): T
函数说明
返回RDD中的第一个元素
e.g.
code:
@Test def testFirst(): Unit ={ // 返回 RDD 中的第一个元素 println(source.first()) }
这篇关于Spark快速上手(6)Spark核心编程-RDD行动算子Action的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-15PingCAP 黄东旭参与 CCF 秀湖会议,共探开源教育未来
- 2024-05-13PingCAP 戴涛:构建面向未来的金融核心系统
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升