我正在尝试将我的Spark上下文与REST API连接起来。因此，我的流程就是这样，我将请求从UI-nodejs发送到REST API，该请求需要与包含所需响应的spark上下文(Spark作业在hive表上方工作)进行交互，并将其发送回UI进行显示。有什么办法可以做到这一点？
UI REST API Spark(HDFS)
最佳答案
您可以使用Apache Livy。它是专门为该用例设计的。过去，我们使用它来控制Spark集群上的批处理和常规作业。
关于python - REST API与Spark交互，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/47981691/