Spark在shell中调试

本文主要是介绍Spark在shell中调试，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

将要调试的程序打包，上传到服务器目录，/home/hadoop/test/test.jar

然后在脚本中指定--jars参数为该目录。

spark-shell --master yarn \
--queue prod \
--driver-memory 10G --executor-memory 10G --num-executors 50 --executor-cores 2  \
--jars /home/hadoop/test/test.jar \
--conf spark.driver.maxResultSize=20G \
--conf spark.port.maxRetries=16 \
--conf spark.executor.memoryOverhead=5120 \
--conf spark.dynamicAllocation.enabled=false \
--conf spark.executor.extraClassPath=$HADOOP_PATH/lib/native \
--conf spark.driver.extraClassPath=$HADOOP_PATH/lib/native \
--name testSparkShell

这篇关于Spark在shell中调试的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！