Spark总体架构和运行流程 本节将首先介绍 Spark 的运行架构和基本术语,然后介绍 Spark 运行的基本流程,最后介绍 RDD 的核心理念和运行原理。 Spark 总体架构 Spark 运行架构如图 1 所示,包括集群资源管理器(Cluster Manager)、多个运行作业任务的工作结点(Worker Node)、每个应用的任务控制结点(Driver)和每个工作结点上负责具体任务的执行进程(Executor)。 图 1 Spark运行架构 2,683/5,685« 首页2,6602,6702,680«2,6812,6822,6832,6842,685»2,6902,7002,710尾页 » 更多... 加载中...