1.
前几次的分享,我们多次提到了下图中 Metrics 指标监控的 Prometheus、Grafana,而且 get 到了 influxdata 旗下的 InfluxDB 的入门技能。
本次,我们去看看别人家(流式处理框架 flink) 是怎么用 InfluxDB 的?并尝试把 InfluxDB、Grafana 这些轮子组装在一起,看看组装之后的车子能否跑起来?
2.
个人认为,做技术的不要一味追求纸上谈兵,如果不会学以致用,都是在扯淡,所以学习任何一门技术,先会用才是硬道理。
接下来一起去看看 Flink 与 InfluxDB、Grafana 这些轮子组装在一起,组装之后的车子是否能够跑顺溜?
组装轮子之前,先贴两张图,帮你回忆一下 InfluxDB 和 Grafana。
图一:InfluxDB 入门宝典。
图二:Grafana 展示监控数据效果图。
InfluxDB 和 Grafana 如何安装?如何使用?之前已经分享过,不在这里赘述,下面着重介绍 Flink 与 InfluxDB、Grafana 轮子的集成。
磨刀霍霍。二话不说,直接打开一手的 flink 官方文档,按照步骤做就是啦。
https://ci.apache.org/projects/flink/flink-docs-release-1.8/monitoring/metrics.html
图中标注 1,进入 flink 的主目录,然后拷贝 opt 目录下的 flink-metrics-influxdb-1.8.0.jar 到 lib 目录下。
图中标注 2,进入 conf 目录,打开 flink-conf.yaml 配置文件,加入图中标注 2 的配置信息,注意修改成符合你所需的配置,配置解释如下。
到这儿,flink 与 InfluxDB 就算集成到一起了,看看组装之后,能否顺溜的跑起来。
启动 flink,并让 flink 做点计算任务,例如 WordCount。
连接上 InfluxDB,确认一下 flink 产生的 metrics 数据,是否写入到 InfluxDB 中啦?
命令操作猛如虎。
influx
use flink # 如果不存在,记得创建呦
show MEASUREMENTS
select * from jobmanager_Status_JVM_CPU_Load
实际效果让人欢。
见此景,足矣说明 flink 与 InfluxDB 集成的很完美,车子跑的很顺溜。
另外,建议提前在 influxdb 中创建 flink 数据库,不然会提示如下信息。
WARN org.apache.flink.runtime.metrics.MetricRegistryImpl - Error while reporting metrics
org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$DatabaseNotFoundException: database not found: "flink"
趁热乎劲,顺道把 InfluxDB + Grafana 轮子的集成到一起,看看啥效果?
完成配置,点击“Save & Test”按钮进行保存和测试,成功会提示“Data source is working”。
然后,就可以在 Grafana 上看到 InfluxDB 中 flink 的所有表,进而 flink-metrics 监控数据,也就很顺溜的呈现出来。而且你也可以根据个人需求,自定义 dashboard 或者去 Grafana 官网导入一些定义好模板。
到这儿,Flink + InfluxDB + Grafana 轮子也就组装完成了,而且组装之后的车子,也跑的相当好。
此时,你是否会好奇车子背后是如何运作的呢?好奇害死猫,满足你的好奇心。
3.
数据流向很简单,Flink 定义了 InfluxdbReporter,用于定时把 flink-metrics 写入到 InfluxDB 数据库中,然后 Grafana 查询 InfluxDB 进行数据计算并呈现。
flink 中 InfluxReproter 源码定义如上图所示,标注 1 的代码段,很显然是获取开篇提到的 flink-conf.yml 中配置配置信息,然后连接 InfluxDB 数据库;标注 3 的代码段,完成释放资源,关闭 InfluxDB 数据库连接;标注 2 的代码段,主要是调用 buildReport() 方法封装上报数据,并完成 flink-metrics 写入 influxDB。
上面截图,metrics 几个核心度量指标(gauges、counters、histograms、meters)再次呈现在我们面前,主要是调用 influxdb 提供的 API 进行指标数据封装。
为了从全局上看的更清楚一些,一张 InfluxdbReporter 继承实现关系图,贴给大家。希望大家结合《实践指路明灯,源码剖析flink-metrics》那篇文章去理解,会理解的更清晰。
4.
学技术,先在会用的前提下,再逐渐进行深入剖析,最后做到灵活运用。
基于当下流行的流式处理框架 flink 的源码剖析,相信会对你有所帮助,尤其是自研的场景下,很多代码可以拿去复用,它山之石可以攻玉。
好了,本次的分享就到这里,每天进步一点点,前进不止一小点,希望你们有所获。