首页 / 科技看点 / 内容详情

spark的运行流程和原理

科技看点时间：2024-05-31 05:30:08

spark原理之专用术语和运行流程

在讲spark运行原理之前我们先了解一下spark的一些专业术语。

1. Master：资源管理的主节点，管理worker从节点。

2. Worker。资源管理的从节点，负责从节点的资源管理，配合master管理整个集群的资源。

3. Application。指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。

郑重声明：图文由自媒体作者发布，我们尊重原作版权，但因数量庞大无法逐一核实，图片与文字所有方如有疑问可与我们联系，核实后我们将予以删除。