Spark修炼之道(高级篇)——Spark源码阅读:第六节 Task提交

  • 时间:
  • 浏览:0
  • 来源:5分6合APP下载_5分6合APP官方

从上面的代码都都能否 看到,出理 ReviveOffers消息时,调用的是makeOffers土办法

Stage由一系列的tasks组成,这个 task被封装成TaskSet,TaskSet类定义如下:

SchedulerBackend有多种实现,如下图所示:



亲戚亲戚让我们儿以SparkDeploySchedulerBackend为例进行说明,SparkDeploySchedulerBackend继承自CoarseGrainedSchedulerBackend中的reviveOffers土办法,具有代码如下:

DriverEndpoint 中的对其receive土办法进行了重写,具体实现如下:

driverEndpoint的类型是RpcEndpointRef

在上一节中的 Stage提交中亲戚亲戚让我们儿提到,最终stage被封装成TaskSet,使用taskScheduler.submitTasks提交,具体代码如下:

submitTasks土办法定义在TaskScheduler Trait当中,目前TaskScheduler 不都都能否有一1个子类TaskSchedulerImpl,其submitTasks土办法源码如下:

DriverEndpoint中的receive土办法接收driverEndpoint.send(ReviveOffers)发来的消息,DriverEndpoint继承了ThreadSafeRpcEndpoint trait,具体如下:

上面的代码逻辑全版是在Driver端进行的,调用完launchTasks土办法后,Task的执行便在Worker节点上运行了,至此完成Task的提交。

关于resourceOffers土办法及launchTasks土办法的具体内容,在后续章节中将进行进一步的解析。

ThreadSafeRpcEndpoint 继承 RpcEndpoint trait,RpcEndpoint对receive土办法进行了描述,具体如下:

它具有如下定义形式:

猜你喜欢

圣经里面基督徒 结果子是什么意思

——很直接了,统统 善事。——传福音……约15章,红心百香果 树与果子,果子由于是约翰福音多次再次出现的“爱”。太21:43(1)统统我告诉我门歌词 ,神

2020-02-27

80后著名女作家有哪些

大学本科阶段结速英语 通俗文学的创作。春树3.戴漓力(女,武侠小说家,因出版长篇小说《铃儿响叮当》被保送至武汉大学,近期出版《胭脂红》,代表作《忘归箭》。)蒋离子,1985年

2020-02-27

4个字的外国名人的名字

可选中一俩个或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个大问题。很重推荐 我来答大山乔丹杰克逊科比李连杰!换一换下载百度知道APP,抢鲜体验展开完整篇

2020-02-27

权志龙 that x x 歌词中文音译

肯得哦为了弄冷内可挖了内(why?kiCgi波呢内gi么特给么呀多特七为那呢噶及苏问呢够呀内噶恰莫普噶了够可得撒朗一完那浪给么啦就给够慢gi他够baby米噶就伴及了他够且把了有

2020-02-26

什么词语的意思是指事物本来的性质

基本含义:人与人沟通又分同层次沟通、跨层次沟通;单向交流、单对群交流;发展性交流、倾盖之交、利益之交;泛泛而谈,群起攻之;鸿儒之口、威逼利诱等更多。素质是指人的先天生理解剖特点

2020-02-26