我正在尝试在Amazon EMR上部署Livy Server。首先，我建立了Livy Master分支
mvn clean package -Pscala-2.11 -Pspark-2.0
然后，我将其上传到EMR群集主服务器。我设置以下配置:
livy-env.sh
SPARK_HOME=/usr/lib/spark
HADOOP_CONF_DIR=/etc/hadoop/conf
livy.conf
livy.spark.master = yarn
livy.spark.deployMode = cluster
当我启动Livy时，它在连接到YARN Resource Manager时会无限期挂起(XX.XX.XXX.XX是IP地址)
16/10/28 17:56:23 INFO RMProxy: Connecting to ResourceManager at /XX.XX.XXX.XX:8032
但是，当我netcat端口8032时，它成功连接
nc -zv XX.XX.XXX.XX 8032
Connection to XX.XX.XXX.XX 8032 port [tcp/pro-ed] succeeded!
我想我可能缺少一些步骤。任何人都知道此步骤可能是什么？
最佳答案
解压缩livy-server-0.2.0.zip文件后，我对配置文件进行了以下更改
livy-env.sh
export SPARK_HOME=/usr/hdp/current/spark-client
export HADOOP_HOME=/usr/hdp/current/hadoop-client/bin/
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_CONF_DIR=$SPARK_HOME/conf
export LIVY_LOG_DIR=/jobserver-livy/logs
export LIVY_PID_DIR=/jobserver-livy
export LIVY_MAX_LOG_FILES=10
export HBASE_HOME=/usr/hdp/current/hbase-client/bin
livy.conf
livy.rsc.rpc.server.address=<Loop Back address>
在spark conf文件夹下的'spark-defaults.conf'文件中添加'spark.master yarn-cluster'。
如果您仍有问题，请告诉我。
关于apache-spark - Amazon EMR上的Livy Server在连接到ResourceManager时挂起，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/40312552/