全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

目前大数据团队使用了kafka，请问需要配置哪些监控指标？

提问者：帅平问题分类：运维

Kafka

发布于：1个月前 (03-26) IP属地：未知

5 个回答

有你我就幸福

Lag监控方面：
1、MaxLag：滞后follower和leader的最大消息长度
2、ConsumerLag：滞后follower的消息长度

发布于：1个月前 (03-26) IP属地：未知

望北海

Topic监控方面：
1、生产者指标

ProduceMessageConversionsPerSec：每秒进行的消息转换次数
TotalProduceRequestsPerSec：每秒收到的生产请求总数

2、消费者指标

TotalFetchRequestsPerSec：每秒收到的拉取请求总数
BytesConsumedPerSec：每秒消费的字节数
MinFetchRate：消费者最小拉取的速率
MessagesPerSec：消息的消费速度
BytesPerSec：消费者的网络吞吐量

3、副本指标

ReplicationBytesInPerSec：每秒从Leader副本传输到Follower副本的字节数。
ReplicationBytesOutPerSec：每秒从Follower副本传输到Leader副本的字节数。
UnderReplicatedPartitions：处于欠同步状态的分区数量。

发布于：1个月前 (03-26) IP属地：未知

你我这辈子最的依靠

Consumer监控方面：
1、消息消费指标

每秒消费的消息记录数:records-consumed-rate
每秒消费的字节数:bytes-consumed-rate
每秒拉取的次数:fetch-rate

2、请求指标

拉取请求的平均延迟:fetch-latency-avg
拉取请求的最大延迟:fetch-latency-max
拉取请求被限流的平均时间:fetch-throttle-time-avg
拉取请求被限流的最大时间:fetch-throttle-time-max

3、位移指标

每秒提交位移的次数:commit-rate
提交位移的平均延迟:commit-latency-avg
提交位移的最大延迟:commit-latency-max

发布于：1个月前 (03-26) IP属地：四川省

凉眸似水°

Producer监控方面：
1、消息发送指标

每秒发送的消息记录数:record-send-rate
每秒发送的字节数:byte-rate
消息压缩率:compression-rate

2、请求指标

每秒发送的请求数:request-rate
请求的平均延迟:request-latency-avg
请求的最大延迟:request-latency-max

3、错误指标

每秒发送失败的消息记录数:record-error-rate
每秒发送失败的批次数:failed-batch-rate
每秒重试的次数:retry-rate

发布于：1个月前 (03-26) IP属地：未知

幸福搭配甜蜜

Broker监控方面：
1、资源使用指标

活跃控制器数量:ActiveControllerCount
非同步分区数量:UnderReplicatedPartitions
离线分区数量:OfflinePartitionsCount
离线日志目录数量:OfflineLogDirectoryCount
网络处理器的平均空闲百分比:NetworkProcessorAvgIdlePercent
请求处理器的平均空闲百分比:RequestHandlerAvgIdlePercent

2、网络传输指标

流入字节：BytesInPerSec
流出字节:BytesOutPerSec
流入消息:MessagesInPerSecBytesInPerSec
每秒处理的请求数:RequestsPerSec

3、副本同步指标

分区数量:PartitionCount
leader 分区数量：LeaderCount
处于欠同步状态的分区数量:UnderReplicatedPartitions
同步副本集（ISR）缩小和扩大的速率:IsrShrinksPerSec和IsrExpandsPerSec

4、磁盘使用指标

日志刷新的速率和时间:LogFlushRateAndTimeMs
日志段文件的大小:Size

5、Broker性能指标

Page cache reads ratio
Disk usage
CPU usage
Network bytes sent/received

发布于：1个月前 (03-26) IP属地：四川省

我来回答