Spark应用提交和日志查看

本文主要讲述Spark的各种部署模式的启动命令,以及日志的查看

本文测试代码见:https://github.com/wpeace1212/sparkCode

1、本地运行:

     提交命令: spark-submit --master local[2] --name test_johnn --class cn.wpeace.wordcount.WordCount spark-exemple-1.0-SNAPSHOT.jar hdfs://bdphdp02/johnnwang/wordcount.txt      日志查看:      看log4j配置的输出路径

2、Spark Standalone模式:

     提交命令: spark-submit --master spark://10.255.8.43:7077 --name test_johnn --class cn.wpeace.wordcount.WordCount spark-exemple-1.0-SNAPSHOT.jar hdfs://bdphdp02/johnnwang/wordcount.txt      日志查看:      MasterUI和work节点上相应的log4j的日志目录

3、Spark on Yarn模式:

3.1 client模式

     提交命令: spark-submit --master yarn --name test_johnn --class cn.wpeace.wordcount.WordCount spark-exemple-1.0-SNAPSHOT.jar hdfs://bdphdp02/johnnwang/wordcount.txt

3.2 cluster模式:

     提交命令: spark-submit --master yarn --deploy-mode cluster --name test_johnn --class cn.wpeace.wordcount.WordCount spark-exemple-1.0-SNAPSHOT.jar hdfs://bdphdp02/johnnwang/wordcount.txt

3.3 日志查看:
  • 通过Yarn的界面进行查看
  • 通过yarn logs -applicationId application_1495127050021_56817 | less查看

4、Streaming结合Kafka应用提交

4.1 Kafka 提交

     需要先建立topic;启动Producer命令: export SCALA_HOME=/nemo/scala-2.11.2/
$SCALA_HOME/bin/scala -cp .:./* cn.wpeace.kafak.KafkaWordCountProducer "10.255.8.50:9092,10.255.8.52:9092,10.255.8.54:9092" "bdp-spark-streaming-test" "10" "10"

4.2 SparkStreaming提交

     当引入了Spark外的jar包时可以通过建立以下shell来进行提交:
pwd
HOME=`pwd`
jars=""
for f in `ls lib`; do
jars=$HOME/lib/$f,$jars
done
jars=${jars%%,}
spark-submit --master yarn --deploy-mode cluster --jars $jars --name test_johnn --class cn.wpeace.streaming.DirectKafkaWordCount $HOME/lib/directStream-1.0-SNAPSHOT.jar "10.255.8.50:9092,10.255.8.52:9092,10.255.8.54:9092" "bdp-spark
-streaming-test":

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

标签:

分享到:

扫一扫在手机阅读

扫一扫 在手机阅读、分享本文

上一篇: 下一篇:

还没有评论,快来抢沙发!

电子邮件地址不会被公开。 必填项已用*标注

loading

johnnwang

人生得意须尽欢,莫使金樽空对月。