1 个回答
提升kafka集群的吞吐量主要是调整broker端的一些配置,示例如下:
# server.properties核心配置
# 分区数量建议为消费者数量的2-3倍
num.partitions=24
# 日志段文件优化(默认1GB,建议放大到5GB)
log.segment.bytes=5368709120
# 减少flush频率(默认立刻刷盘)
log.flush.interval.messages=10000000
log.flush.interval.ms=60000
# 副本同步优化(默认1,建议2-3保证高可用)
min.insync.replicas=2
# 允许非同步副本当选leader(慎用,保证可用性)
unclean.leader.election.enable=true
# 网络线程数(建议CPU核数+1)
num.network.threads=16
# IO线程数(建议CPU核数*2)
num.io.threads=32
参数说明:单个分区吞吐量约10MB/s,需提前做好容量规划
使用JBOD磁盘阵列时,每个挂载点配置独立日志目录
监控UnderReplicatedPartitions指标,超过5%需告警
发布于:1个月前 (03-21) IP属地:四川省
我来回答
您需要 登录 后回答此问题!