全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

如何对kafka集群进行压测？

提问者：帅平问题分类：消息队列

如何对kafka集群进行压测？

Kafka 性能调优

发布于：2周前 (05-08) IP属地：

4 个回答

等你许久

可以使用kafka自带的生产者和消费者测试工具进行测试，对应的执行文件是:

#生产者测试
kafka-producer-perf-test.sh
#消费者测试
kafka-consumer-perf-test.sh

也可以使用其他的第三方工具进行压测，例如：

1、JMeter
2、Gatling

发布于：2周前 (05-08) IP属地：

天然纯勋勋

高吞吐量配置测试

./kafka-producer-perf-test.sh --topic throughput-test --num-records 5000000 --record-size 1024 --throughput -1 --producer-props bootstrap.servers=broker1:9092,broker2:9092,broker3:9092 acks=1 batch.size=131072 linger.ms=50 compression.type=lz4 buffer.memory=67108864

低延迟配置测试

./kafka-producer-perf-test.sh --topic latency-test --num-records 1000000 --record-size 1024 --throughput -1 --producer-props bootstrap.servers=broker1:9092,broker2:9092,broker3:9092 acks=1 batch.size=8192 linger.ms=0 compression.type=none

发布于：2周前 (05-08) IP属地：

情若相惜

自带的消费者测试工具测试如下：
1、基本消费者性能测试

./kafka-consumer-perf-test.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-topic --messages 10000000 --threads 1 --print-metrics

2、多线程消费者测试

./kafka-consumer-perf-test.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-topic --messages 10000000 --threads 8 --print-metrics

发布于：2周前 (05-08) IP属地：

曾经多难忘

自带的生产者测试工具测试如下：
1、测试100字节消息，无压缩

./kafka-producer-perf-test.sh --topic test-topic --num-records 10000000 --record-size 100 --throughput -1 --producer-props bootstrap.servers=broker1:9092,broker2:9092,broker3:9092 acks=1 batch.size=16384 linger.ms=0 compression.type=none

2、测试1kb消息使用LZ4压缩

./kafka-producer-perf-test.sh --topic test-topic --num-records 10000000 --record-size 1024 --throughput -1 --producer-props bootstrap.servers=broker1:9092,broker2:9092,broker3:9092 acks=1 batch.size=65536 linger.ms=10 compression.type=lz4

发布于：2周前 (05-08) IP属地：

我来回答