在编写spark 程序时,有时需要获取job id 进行记录。 只需在程序中加入:
sc.applicationId
res0: String = app--
每个job提交后, 均有自己的监控页面。
采用spark restful api 监控job时,如:
curl 127.0.0.1:4040/api/v1/applications 时, 只能获取一个application的状态,这是因为,同时提交多个任务的的时候,默认的端口是从4040开始递增的,
即,第二个application 的端口是4041....
使用8080端口,即spark web的端口,可以列举所有的application,包括已经运行结束的。 若要查看某个具体的application的运行状态,
使用
curl 127.0.0.1:/api/v1/applications/appid 即可。