柳暗花明笔记

    kafka监控工具KafkaMonitor搭建

    所属分类:[ php&web ] 猫哲学家 发表于:2017-05-20 13:22 浏览:194

    1.概述

    KafkaOffsetMonitor 是用于做Kafka消息的监控,由Kafka开源社区提供的一款Web管理界面,可以实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,你可以通过浏览器浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道,每个Partition的Message是否消费掉,有木有阻塞等等,当然,我们生产消息和消费消息时在终端控制台也可以看到这些记录信息,但是,这样始终不够友好,而KafkaOffsetMonitor是图形Web界面,使用起来更方便直观。

    2.KafkaOffsetMonitor 安装部署

    直接从 https://github.com/quantifind/KafkaOffsetMonitor/releases 下载 KafkaOffsetMonitor-assembly-0.2.0.jar 文件

    在kafka的安装目录下建立文件夹 kafka-monitor ,把下载下来的 KafkaOffsetMonitor-assembly-0.2.0.jar 文件放到 kafka-monitor目录下

    建立启动脚本文件 kafka-monitor.sh,建立启动脚本文件只是方便运行,当然直接在命令行下运行也是可以的,kafka-monitor.sh 文件内容如下:
    #!/bin/bash
    java -cp /usr/local/kafka/kafka-monitor/KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk spark1:2181,spark2:2181,spark3:2181 --port 8089 --refresh 10.seconds --retain 2.days

    参数说明:

    spark1:2181,spark2:2181,spark3:2181 是对应的 zookeeper hosts 3台分布式的地址及端口
    port 为浏览器访问 KafkaOffsetMonitor 工具的端口
    refresh 为页面数据刷新时间
    retain how long should points be kept in the DB


    3.启动 KafkaOffsetMonitor

    nohup /usr/local/kafka/kafka-monitor/kafka-monitor.sh > /dev/null 2>&1 &

    启动脚本后就可以在web浏览器通过端口8089进行查看,如:http://10.199.0.102:8089

    标签: php  kafka 
    上一编文章 熟记于心的PHP基本常识,非常有用的基础 下一编文章 hadoop fs -put - lmz.t put: Cannot create file/user/root/lmz.t._COPYING_. Name node is in safe mode
    最近文章
    发表评论