Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程

  • 时间:
  • 浏览:0
  • 来源:5分6合APP下载_5分6合APP官方



图1 appArgs = new SparkSubmitAarguments(args)参数

在运行Spar应用应用程序池池时,会将spark应用应用程序池池打包后使用spark-submit脚本提交到Spark中运行,执行提交命令如下:

spark-class脚本会加载spark配置的环境变量信息、定位依赖包spark-assembly-1.5.0-hadoop2.4.0.jar文件(以spark1.5.0为例)等,而且再调用org.apache.spark.launcher.Main正式启动Spark应用应用程序池池的运行,具体如下:

从顶端的代码还能不能看后,最终调用的是runMain办法,其源码如下:

mainMethod.invoke(null, childArgs.toArray)办法执行完毕后,进入SparkWordCount的main办法,执行Spark应用应用程序池池,如下图



至此,正式完成Spark应用应用程序池池执行的提交。

作者:摇摆少年梦

微信号: zhouzhihubeyond

为弄清楚整个流程,许多人儿先来分析一下spark-submit脚本,spark-submit脚本内容如下:

进入submit办法:

从上述代码中,还能不能看后,通过org.apache.spark.launcher.Main类启动org.apache.spark.deploy.SparkSubmit的执行,SparkSubmit主次源码如下:



图2 任务提交时设置的参数,

猜你喜欢

圣经里面基督徒 结果子是什么意思

——很直接了,统统 善事。——传福音……约15章,红心百香果 树与果子,果子由于是约翰福音多次再次出现的“爱”。太21:43(1)统统我告诉我门歌词 ,神

2020-02-27

80后著名女作家有哪些

大学本科阶段结速英语 通俗文学的创作。春树3.戴漓力(女,武侠小说家,因出版长篇小说《铃儿响叮当》被保送至武汉大学,近期出版《胭脂红》,代表作《忘归箭》。)蒋离子,1985年

2020-02-27

4个字的外国名人的名字

可选中一俩个或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个大问题。很重推荐 我来答大山乔丹杰克逊科比李连杰!换一换下载百度知道APP,抢鲜体验展开完整篇

2020-02-27

权志龙 that x x 歌词中文音译

肯得哦为了弄冷内可挖了内(why?kiCgi波呢内gi么特给么呀多特七为那呢噶及苏问呢够呀内噶恰莫普噶了够可得撒朗一完那浪给么啦就给够慢gi他够baby米噶就伴及了他够且把了有

2020-02-26

什么词语的意思是指事物本来的性质

基本含义:人与人沟通又分同层次沟通、跨层次沟通;单向交流、单对群交流;发展性交流、倾盖之交、利益之交;泛泛而谈,群起攻之;鸿儒之口、威逼利诱等更多。素质是指人的先天生理解剖特点

2020-02-26