一、Druid简介
Druid 是一个开源的分布式数据存储系统，其主要特点是实时数据摄取，多维度 OLAP 查询分析，快速聚合计算和扩展性好。
Druid 最早用于Metamarkets 公司的数据分析服务。由于其极高的查询效率和可伸缩性而被大量采用，如：Airbnb、Netflix、华为等。
二、Druid监控概述
Druid的监控用来监视实时流式计算和OLAP查询执行时的性能和稳定性，同时还能监控集群的状态，以便及时发现故障并进行相应的优化处理。
Druid的监控提供了多种方法用于实时和历史性能的监控，例如，JMX、Metrics、Tranquility、Supervisor和Firehose。
三、Druid监控的实现
JMX
Java Management Extensions（JMX）是一个标准的Java技术，用于管理Java应用程序的监控和管理。
Druid 监控集成了 JMX 用于收集系统和进程级别指标。通过 JMX，可以实时监控Druid的核心组件的运行状态。例如，Broker、Coordinator、Historical、MiddleManager 和 Overlord，以及 indexing service。
以下是 Druid JMX 监控的示例代码：
# 开启 JMX 监控，在启动脚本（如bin/start-nodes）中增加以下参数： -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=3333 -Dcom.sun.management.jmxremote.rmi.port=3333 # 把以下权限配置增加到JVM启动参数(-Djava.security.policy) permission javax.management.MBeanPermission "*", "registerMBean"; permission javax.management.MBeanPermission "*", "unregisterMBean";
Metrics
Metrics是一个Java库，它被广泛用于收集应用程序指标、性能度量以及日志记录。在Druid中，Metrics是一种简单的方式去收集和监控Druid的指标。
Druid内置支持Graphite和InfluxDB作为Metrics的后端，所以Druid可以将收集到的Metrics直接发送给Graphite和InfluxDB服务端。
以下是 Druid Metrics 监控的示例代码：
# 配置 metrics druid.emitter=logging # emit metrics to log4j druid.emitter.logging.logLevel=DEBUG druid.monitoring.monitors=["io.druid.java.util.metrics.JvmMonitor"] druid.monitoring.monitors=["io.druid.monitoring.ganglia.GangliaMonitorModule","io.druid.monitoring.kafka.KafkaMonitorModule"]
Tranquility
Tranquility是一个实时数据摄取库，它可用于在Druid集群上执行数据负载测试并获取实时反馈。同时，它还为Druid集群提供了一个RESTful API，供Druid各部件获取数据摄取服务的状态信息。
以下是 Tranquility 监控的示例代码：
# 开启 Tranquility 监控，在启动脚本（如bin/start-nodes）中增加以下参数 -Ddw.tranquility.http-server.enabled=true \ -Ddw.tranquility.http-server.http.adminServer.enabled=true \ -Ddw.tranquility.http-server.http.adminServer.port=8200 \ -Ddw.tranquility.http-server.http.bindHost=192.168.0.1
Supervisor
Supervisor 是一个管理druid实例（包括进程、配置文件等）的程序。Supervisor 负责管理 Druid 集群的数据摄取进程。
在Druid的Supervisor中也提供了监控功能，用来监视数据摄取进程的性能和稳定性。
以下是 Supervisor 监控的示例代码：
# 开启 Supervisor 监控 druid.supervisor.metrics.enabled=true druid.supervisor.metrics.frequency=PT10S .
Firehose
Firehose 是一种API，它允许您向Druid发送任意数量的事件，而不必在事件之间建立新的连接。Druid通过对Firehose流的监听来获取实时流的数据，并实时将数据加入到 datasource 中进行索引。这里对Firehose实时监控系统的实现是使用Log4j Appender，将需要监控的数据实时收集到Log4j Appender中，然后通过Log4j forward Appender 将日志数据切入Druid管道中。
以下是 Firehose 监控的示例代码：
# 在druid采集端机器上配置firehose_log4j.xml
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="warn">
<Appenders>
<OngoingTimestamp name="myOngoingTimestamp"/>
<Console name="console" target="SYSTEM_OUT">
<PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n"/>
</Console>
<RollingRandomAccessFile name="file" fileName="/var/logs/firehosedata.log" filePattern="/var/logs/firehosedata-%d{yyyy-MM-dd}.log.gz">
<PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %m%n"/>
<Policies>
<TimeBasedTriggeringPolicy />
<SizeBasedTriggeringPolicy size="10 MB" />
</Policies>
<DefaultRolloverStrategy max="40"/>
</RollingRandomAccessFile>
</Appenders>
<Loggers>
<Root level="debug">
<AppenderRef ref="console"/>
<AppenderRef ref="file"/>
</Root>
</Loggers>
</Configuration>
# 在druid中，添加如下配置。
tranquility.firehose.type=log4j
tranquility.firehose.log4j.loggerName=druidfirehose
tranquility.firehose.log4j.logLevel=info
#从应用的classpath中加载log4j配置文件的路径，如果不配置，会从tranquility-default.yaml中提供的默认值/var/druid/tranquility/log4j.properties或者log4j.xml加载
tranquility.log4j.filename=firehose_log4j.xml
四、Druid监控的策略
Druid监控的策略分别为：自定义监控、报警监控和仪表盘监控。
自定义监控
自定义监控策略是构建基于自定义的指标监控体系，例如，架构调整后出现的访问异常，内存泄漏，日志队列堆积等情况。
在Druid中，自定义监控可以通过结合使用JMX和Metrics组件实现，[Metrics or JMX]Monitors是一个实现了Monitor接口的类，来获取Druid实例的内部的一些Metric和JMX信息。
报警监控
对于监控的指标，如果达到了特定的阈值，或者到了特定时间还没有得到保证，则需要预警系统进行告警。
Druid目前提供了轮询式的健康检查来检查Druid集群的情况和服务是否可用，同时也支持消息总线来发送特定的信息给予通知。
仪表盘监控
Druid监控仪表盘用于显示Druid集群的健康状态、运行状况以及性能指标。预设Dashboard通常可以包括：实例健康(Line Chart)、摄取监控(Pie Chart)、运行状态(Dashboard)和性能指标(Today’s Rate)
使用Druid监控数据可视化的方式中，常见的有Grafana和Superset。
五、总结
综上所述，Druid监控是保障Druid集群正常运转的重要手段。通过使用多种方法，如JMX、Metrics、Tranquility、Supervisor和Firehose等，对Druid集群进行全方位的监视。
