星火纱客户端模式

星火纱客户端模式

本文介绍了星火纱客户端模式的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

Apache的火花随着研究的深入更新版本0.8.1,其中纱线客户端模式可用。我的问题是,什么是纱线客户机模式究竟意味着什么?在文档它说:

Apache-spark rencently updated the version to 0.8.1, in which yarn-client mode is available. My question is, what does yarn-client mode really mean? In the documentation it says:

With yarn-client mode, the application will be launched locally. Just like running
application or spark-shell on Local / Mesos / Standalone mode. The launch method is also
the similar with them, just make sure that when you need to specify a master url, use
"yarn-client" instead

这是什么意思在当地推出了?当地在哪里?在星火集群?结果
从纱线独立模式的具体区别是什么?

What does it mean "launched locally"? Locally where? On the Spark cluster?
What is the specific difference from the yarn-standalone mode ?

该文档是不是很详细,任何回答或回答非常多AP preciated,非常感谢!

The documentation is not very detailed , any answer or reply is very much appreciated,Thanks very much!

推荐答案

火花应用包括:驱动程序和执行者的名单。驱动程序是主程序,协调执行人来运行应用程序星火。执行人运行的驱动器程序交给的任务。

A Spark application consists of: a driver program and a list of executors. The driver program is the main program, which coordinates the executors to run the Spark application. The executors run the tasks assigned by the driver program.

纱线应用程序具有以下作用:客户端纱,纱应用程序主对节点管理器运行的容器列表。

A YARN application has the following roles: yarn client, yarn application master and list of containers running on the node managers.

在星火应用纱线运行时,它有它自己的实现客户端的纱线和纱线的应用高手。

When Spark application runs on YARN, it has its own implementation of yarn client and yarn application master.

使用这些背景,主要的区别是驱动程序运行,其中

With those background, the major difference is where the driver program runs.


  1. 纱线单机模式:你的驱动程序正在运行的应用程序的纱线高手,这本身就运行在集群中的节点管理器中的一个线程。纱线客户端只是拉从应用程序主状态。这种模式是一样的马preduce工作,其中MR应用程序主坐标容器运行的map / reduce任务。

  2. 纱线客户端模式:你的驱动程序在客户端纱,你键入命令提交申请火花上运行(可能不是纱线集群中的一台机器)。在这种模式下,尽管驱动程序在客户机上运行时,任务上的纱簇的节点管理器的执行器执行。

参考:http://spark.incubator.apache.org/docs/latest/cluster-overview.html

这篇关于星火纱客户端模式的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

09-05 07:06