Spark学习笔记-Day3 Mac-Spark运行环境(Local)
2021/4/12 10:27:19
本文主要是介绍Spark学习笔记-Day3 Mac-Spark运行环境(Local),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
Spark 运行环境
local 模式
- 在Day2中我们下载了spark-hadoop包,在本次我们将继续使用这个压缩包,首先解压到当前位置,更改文件夹名称为sparkLocal,进入该文件夹,输入下面指令可以开启spark-shell
bin/spark-shell
我们可以在解压后的data文件夹内创建word.txt 文件,
cd data vi word.txt # 输入你想放入word.txt的内容 然后按esc,输入:wq, 按下Enter。
然后再命令行工具下执行如下代码。
scala> sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect res0: Array[(String, Int)] = Array((scala,1), (hello,3), (world,2))
在运行scala代码的时候,因为collect()会连接到本地,所以mac需要在系统偏好设置的共享里面将远程登陆勾选上。
你可以通过 http://localhost:8080/ 来访问你的WebUI监控主页。
之后一般是使用local模式提交应用,可以使用本地的应用SparkPI来测试是否可以成功提交作业, 需要注意的是examples后面的版本号,找到对应的examples文件进行修改。
bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local[2] \ ./examples/jars/spark-examples_2.12-3.1.1.jar \ 10
这篇关于Spark学习笔记-Day3 Mac-Spark运行环境(Local)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-15PingCAP 黄东旭参与 CCF 秀湖会议,共探开源教育未来
- 2024-05-13PingCAP 戴涛:构建面向未来的金融核心系统
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升