我正在将Spark 1.3.0与Hadoop / Yarn一起使用，并且出现一条错误消息，内容为
WARN ReliableDeliverySupervisor：与远程系统[akka.tcp：// sparkYarnAM @ virtm2：51482]的关联已失败，现在已关闭地址
持续[5000]毫秒。原因是：[Disassociated]。
我读了一下，发现将akka心跳间隔设置为100可以解决此问题：
SparkConf conf = new SparkConf().setAppName("Name");
conf.set("spark.akka.heartbeat.interval", "100");
不幸的是，在我看来，这并非如此。几秒钟后我按Enter键，导致作业失败并显示此错误。
我使用以下命令提交作业：
/usr/local/spark130/bin/spark-submit
--class de.unidue.langTecspark.TweetTag
--master yarn-client
--executor-memory 2g
--driver-memory 4g
/home/huser/sparkIt-1.0-standalone.jar
节点上执行容器的日志说应用程序主服务器被杀死
5 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL 15: SIGTERM
我试图让一个最小的例子运行，这个例子（本质上什么也没做。只是看它是否有同样的问题。）：
public static void main(String [] args){
SparkConf conf = new SparkConf().setAppName("Minimal");
JavaSparkContext sc = new JavaSparkContext(conf);
List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
JavaRDD<Integer> distData = sc.parallelize(data);
sc.close();
}
我再次进入日志，Applicationmaster杀死了Error。这里出了什么毛病都与内存无关，但是我很难追踪这个问题。
我有一个小型分布式安装程序，其中有4台用于数据/处理的机器和1台用于namenode的机器。
任何帮助，高度赞赏！
最佳答案
当主机和从机未正确启动时，可能会发生此问题。使用./sbin/start-all.sh启动主服务器和从服务器，然后提交您的申请。
关于apache-spark - Spark:与远程系统的关联丢失了akka.tcp(已取消关联)，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/29679329/