Closed. This question needs to be more focused. It is not currently accepting answers. Learn more
想改进这个问题吗?更新问题,使其只关注一个问题editing this post
去年关门了。
我正在开发一个scala spark应用程序,我想将它迁移到可运行的服务模型。
因为可以调用应用程序,但我希望将应用程序作为服务运行,该服务可以通过Unix/Linux命令停止和停止。
另外,在webserver上部署应用程序并构建restapi。
在Linux/Unix中编写一个包装器作为一个分离的守护进程运行有意义吗?
有没有人能指导我什么是正确的工具,如果有可以帮助我在快速发展?
谢谢,
亚利桑那州

最佳答案

你可以:
在驱动程序中嵌入REST API或任何您想要的服务
使用livy项目,正如您在paypal演示文稿中看到的一样[“spark compute as Service”][1]https://spark-summit.org/2017/events/spark-compute-as-a-service-at-paypal/
至于start-stop-restart等等,您需要跟踪要终止的应用程序id(假设您使用的是yarn)

07-24 09:49
查看更多