如何使用taskcontext访问作业创建时间。
我计划这次在不同的执行器中使用,并使用持久性数据进行设置,这将在以后的流程中发挥很大的作用。由于作业创建时间是唯一的,即使从不同的执行者那里检索时,它也有助于跟踪一项作业中的持久数据。

是否可以从TaskMetrics获取?
如何访问Jobdata类?

最佳答案

我可以使用侦听器来做到这一点。我必须扩展类SparkListners并跟踪作业(作业的所有任务)何时结束,并据此启动并执行操作。

关于java - Spark Job创建时间,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/55466526/

10-11 20:11