schema

schema

关注
发信
关注(28)粉丝(399)

Druid单机环境安装指南

1、下载单机环境必备工具

  • 下载druid-0.10.1-bin.tar.gz和tranquility-distribution-0.8.2.tgz插件

    http://druid.io/downloads.html

  • 下载Zookeeper

    http://mirrors.hust.edu.cn/apache/zookeeper/

  • 下载Kafka

    http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz

2、上传解压druid-0.10.1-bin.tar.gz和tranquility-distribution-0.8.2.tgz

  • 解压druid-0.10.1-bin.tar.gz到指定目录，比如：解压到/alidata/agent/目录下

    # tar -zxvf druid-0.10.1-bin.tar.g -C /alidata/agent/

  • 解压tranquility-distribution-0.8.2.tgz到druid-0.10.1目录下

    # tar -zxvf tranquility-distribution-0.8.2.tgz -C /alidata/agent/druid-0.10.1

  • 解压Zookeeper到指定目录，比如：/usr/local/

    tar -zxvf zookeeper-3.4.9.tar.gz -C /usr/local/

  • 解压Kafka到指定目录，比如：/usr/local/

    tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local/

3、安装配置Zookeeper

  • 重命名Zookeeper配置文件

    zookeeper默认读取zoo.cfg配置文件，因此需重命名zoo_sample.cfg为zoo.cfg

    # mv zoo_sample.cfg zoo.cfg

  • 配置Zookeeper

    # 配置zookeeper数据保存路径
    
dataDir=/tmp/zookeeper/data

# 配置zookeeper日志输出路径
    
dataLogDir=/tmp/zookeeper/logs

# 配置zookeeper连接端口
    
clientPort=2181

  • 启动Zookeeper并查看状态

    // 启动zookeeper
    
# bin/zkServer.sh start

// 查看zookeeper状态
    
# bin/zkServer.sh status

4、安装配置Kafka

  • 配置Kafka

    # vi config/server.properties
    
---
    
# kafka日志输出路径
    
log.dirs=/tmp/kafka-logs

# kafka分区数量
    
num.partitions=1

# kafka所连接zookeeper地址和端口，多个zookeeper间用英文逗号隔开，比如："127.0.0.1:3000,127.0.0.1:3001".
    
zookeeper.connect=localhost:2181

# kafka连接zookeeper超时时间
    
zookeeper.connection.timeout.ms=6000
    
---

  • 启动Kafka并查看状态

    // 启动kafka
    
# bin/kafka-server-start.sh config/server.properties &

// 查看kafka状态
    
# ps -ef | grep kafka

  • 创建topics推送数据到Druid

    根据Druid中创建的Schema【相当于数据的表结构】来确定需要创建的topic，从而实现将对应topic数据推送到druid中，比如：druid创建了jvm-metrics、request-metrics、server-metrics、jdbc-metrics、sql-metrics等Schema中 的topicPattern属性值对应的就是kafka的topic

    // 创建jvm-metrics主题
    
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic jvm-metrics

// 创建jdbc-metrics主题
    
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic jdbc-metrics

// 创建sql-metrics主题
    
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic sql-metrics

// 创建server-metrics主题
    
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic server-metrics

// 创建request-metrics主题
    
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic request-metrics

5、安装配置Druid

  • 配置Druid

    # vi conf-quickstart/druid/_common/common.runtime.properties
    
---
    
# 添加druid kafka插件
    
druid.extensions.loadList=["druid-kafka-eight"]

# 配置zookeeper连接，如果zookeeper端口是2181可以不写端口号，多个zookeeper使用英文逗号分隔
    
druid.zk.service.host=localhost:12181
    
# 配置druid在zookeeper的存储路径
    
druid.zk.paths.base=/druid
    
---

  • 初始化Druid

    初始化druid生成log目录和var目录，log目录用于存放日志，var目录主要用于存储分片、分片缓存以及任务等

    # bin/init

  • 启动Druid

    启动Druid脚本不分先后顺序，可以以任何顺序启动Druid各节点

    // 启动历史数据节点
    
# java `cat conf-quickstart/druid/historical/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/historical:lib/*" io.druid.cli.Main server historical

// 启动查询路由聚合节点
    
# java `cat conf-quickstart/druid/broker/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/broker:lib/*" io.druid.cli.Main server broker

// 启动分片管理发布节点
    
# java `cat conf-quickstart/druid/coordinator/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/coordinator:lib/*" io.druid.cli.Main server coordinator

// 启动任务分配节点
    
# java `cat conf-quickstart/druid/overlord/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/overlord:lib/*" io.druid.cli.Main server overlord

// 启动任务执行节点
    
# java `cat conf-quickstart/druid/middleManager/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/middleManager:lib/*" io.druid.cli.Main server middleManager

  • 启动Tranquility-Kafka插件

    Druid创建的Schema中的commit.periodMillis属性值默认为15秒指定了数据推送时间，tranquility-kafka插件将根据数据根据指定时间间隔将从对应kafka中消费的数据推送到Druid中，如果对实时性要求比较高的话，可以根据实际情况修改commit.periodMillis的值，单位为ms。比如druid已经创建jvm-metrics、sql-metrics、server-metrics、request-metrics、jdbc-metrics等五个Schema，启动Tranquility-Kafka插件读取对应Kafka信息推送到Druid中。

    // 进入实时插件目录
    
# cd tranquility-distribution-0.8.2/

// 启动实时插件消费对应kafka消息，其中kafka-从通过kafka方式获取数据 -configFile:表示Schema路径
    
# bin/tranquility kafka -configFile ../conf/tranquility/kafka/jvm-metrics
    
# bin/tranquility kafka -configFile ../conf/tranquility/kafka/sql-metrics
    
# bin/tranquility kafka -configFile ../conf/tranquility/kafka/jdbc-metrics
    
# bin/tranquility kafka -configFile ../conf/tranquility/kafka/server-metrics
    
# bin/tranquility kafka -configFile ../conf/tranquility/kafka/request-metrics

6、Druid数据展示

  • 可视化工具

    目前有许多工具支持Druid数据的展示，目前比较流行的有如下集中工具：

    grafana： grafana的druid插件，比较简陋。

    superset：权限管理完善，图形可定制性也比较高，github持续更新,集合了metabase的Dashboard和pivot的查询可定制性优点，部署相对麻烦。

    pivot：基于Plywood，部署方便，能构造复杂的查询。目前已经闭源了，没法二次开发。

    Metabase：支持数据库种类多，启动方便，支持json查询。图形化查询，只能有一个聚合字段，两个维度。

    如果觉得这些工具不能满足实际需求，也可以自己开发页面进行数据展示。

  • Http方式查询

    Druid支持通过Http方式查询Druid数据，查询参数必须是标准的JSON格式，并且Header必须是Content-Type: application/json，否则无法正常查询数据

    http://localhost:8082/druid/v2/?pretty
05-23 23:07
Powered by LMLPHP ©2024 schema 0.046842