博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark分析之Job Scheduling Process
阅读量:7240 次
发布时间:2019-06-29

本文共 311 字,大约阅读时间需要 1 分钟。

经过前面文章的分析,再从总体上了解Spark Job的调度流程

1、SparkContext将job的RDD DAG图提交给DAGScheduler;

2、DAGScheduler将job分解成Stage DAG,将每个Stage的Task封装成TaskSet提交给TaskScheduler;窄依赖以pipeline方式执行,效率高;

3、TaskScheduler将TaskSet中的一个个Task提交到集群中去运行;推测任务执行;遇到shuffle丢失的汇报给DAGScheduler,让DAGScheduler重新提交Stage; 

4、存储和处理block是由blockmanager来处理的(后续文章描述);

转载地址:http://bdybm.baihongyu.com/

你可能感兴趣的文章
Raspberry pi设置自动拨号,搭建无线路由环境
查看>>
我的友情链接
查看>>
Linux 查看进程跟端口
查看>>
unittest笔记
查看>>
CCNA之STP
查看>>
xcode7与xcode8的星球大战
查看>>
Can't locate Switch.pm in INC的解决
查看>>
对HashMap的思考及手写实现
查看>>
git 命令大全
查看>>
“入乡随俗,服务为主” 发明者量化兼容麦语言啦!
查看>>
Spring MVC 到 Spring Boot 的简化之路
查看>>
想要去阿里面试?你必须得跨过 JVM 这道坎!
查看>>
Dubbo 实践,演进及未来规划
查看>>
拥有Schnorr签名的比特币现金
查看>>
iOS核心动画笔记1-图层的树状结构
查看>>
我的友情链接
查看>>
linux 的文件类型总结文档
查看>>
[扩展推荐]Laravel User Agent 轻松识别客户端信息
查看>>
MySQL5.5 Hot Backup Config
查看>>
计算机是如何做加法的?(6)——最终的半加器
查看>>