目前大数据团队使用了kafka,请问需要配置哪些监控指标?

提问者:帅平 问题分类:运维
目前大数据团队使用了kafka,请问需要配置哪些监控指标?
5 个回答
有你我就幸福
有你我就幸福
Lag监控方面:
1、MaxLag:滞后follower和leader的最大消息长度
2、ConsumerLag:滞后follower的消息长度
发布于:2个月前 (03-26) IP属地:未知
望北海
望北海
Topic监控方面:
1、生产者指标
ProduceMessageConversionsPerSec:每秒进行的消息转换次数
TotalProduceRequestsPerSec:每秒收到的生产请求总数

2、消费者指标
TotalFetchRequestsPerSec:每秒收到的拉取请求总数
BytesConsumedPerSec:每秒消费的字节数
MinFetchRate:消费者最小拉取的速率
MessagesPerSec:消息的消费速度
BytesPerSec:消费者的网络吞吐量

3、副本指标
ReplicationBytesInPerSec:每秒从Leader副本传输到Follower副本的字节数。
ReplicationBytesOutPerSec:每秒从Follower副本传输到Leader副本的字节数。
UnderReplicatedPartitions:处于欠同步状态的分区数量。
发布于:2个月前 (03-26) IP属地:未知
你我这辈子最的依靠
你我这辈子最的依靠
Consumer监控方面:
1、消息消费指标
每秒消费的消息记录数:records-consumed-rate
每秒消费的字节数:bytes-consumed-rate
每秒拉取的次数:fetch-rate

2、请求指标
拉取请求的平均延迟:fetch-latency-avg
拉取请求的最大延迟:fetch-latency-max
拉取请求被限流的平均时间:fetch-throttle-time-avg
拉取请求被限流的最大时间:fetch-throttle-time-max

3、位移指标
每秒提交位移的次数:commit-rate
提交位移的平均延迟:commit-latency-avg
提交位移的最大延迟:commit-latency-max
发布于:2个月前 (03-26) IP属地:四川省
凉眸似水°
凉眸似水°
Producer监控方面:
1、消息发送指标
每秒发送的消息记录数:record-send-rate
每秒发送的字节数:byte-rate
消息压缩率:compression-rate

2、请求指标
每秒发送的请求数:request-rate
请求的平均延迟:request-latency-avg
请求的最大延迟:request-latency-max

3、错误指标
每秒发送失败的消息记录数:record-error-rate
每秒发送失败的批次数:failed-batch-rate
每秒重试的次数:retry-rate
发布于:2个月前 (03-26) IP属地:未知
幸福搭配甜蜜
幸福搭配甜蜜
Broker监控方面:
1、资源使用指标
活跃控制器数量:ActiveControllerCount
非同步分区数量:UnderReplicatedPartitions
离线分区数量:OfflinePartitionsCount
离线日志目录数量:OfflineLogDirectoryCount
网络处理器的平均空闲百分比:NetworkProcessorAvgIdlePercent
请求处理器的平均空闲百分比:RequestHandlerAvgIdlePercent

2、网络传输指标
流入字节:BytesInPerSec
流出字节:BytesOutPerSec
流入消息:MessagesInPerSecBytesInPerSec
每秒处理的请求数:RequestsPerSec

3、副本同步指标
分区数量:PartitionCount
leader 分区数量:LeaderCount
处于欠同步状态的分区数量:UnderReplicatedPartitions
同步副本集(ISR)缩小和扩大的速率:IsrShrinksPerSec和IsrExpandsPerSec

4、磁盘使用指标
日志刷新的速率和时间:LogFlushRateAndTimeMs
日志段文件的大小:Size

5、Broker性能指标
Page cache reads ratio
Disk usage
CPU usage
Network bytes sent/received
发布于:2个月前 (03-26) IP属地:四川省
我来回答