Spark的配置文件(用于检索指标),即/conf/metrics.properties,说明以下内容:


  在一个实例中,“源”指定一组特定的分组指标。
    有两种来源:
  
  
  Spark内部源,例如MasterSource,WorkerSource等,它们将收集Spark组件的内部状态。每个实例都与自动添加的Spark源配对。
  通用资源,例如JvmSource,将收集低级状态。这些可以通过配置选项添加,然后使用反射加载。
  


以下是一些示例,例如

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource


但是,没有示例说明如何从其他来源(例如MasterSourceWorkerSource)获取指标,仅替换JvmSource并不能解决问题。

有什么建议吗?

最佳答案

都是内部源的MasterSource或WorkerSource都是通过指标自动跟踪的,因此无需明确指定。

例如,


  master.sink.cvs.class = org.apache.spark.metrics.sink.CsvSink


将每10秒将主实例指标输出到/tmp目录。

关于java - Spark:配置文件“metrics.properties”,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/31614169/

10-16 21:44