Pulsar参数调优的时候Broker有哪些核心参数可调整的?

提问者:帅平 问题分类:消息队列
Pulsar参数调优的时候Broker有哪些核心参数可调整的?
4 个回答
羡风不停留
羡风不停留
与BookKeeper交互相关的参数有:
managedLedgerDefaultEnsembleSize, managedLedgerDefaultWriteQuorum, managedLedgerDefaultAckQuorum: 控制BookKeeper ledger的写入和确认策略,根据可用性和性能需求调整。
managedLedgerMaxEntriesPerLedger: 每个ledger的最大条目数,影响BookKeeper的滚动频率和数据分布。
managedLedgerCursorRolloverTimeInSeconds: 游标自动滚动的时间阈值,影响过期消息清理速度。
managedLedgerCacheSizeMB: 设置 BookKeeper 缓存大小,影响读取性能。
managedLedgerMinLedgerRolloverTimeMinutes: 控制 ledger 最小滚动间隔,防止频繁滚动。
发布于:2个月前 (04-11) IP属地:四川省
帅的很低调
帅的很低调
性能相关的参数还有:
maxConcurrentConnections: Broker 允许的最大并发连接数。
ServiceNumWorkerThreads:该参数指定了每个broker节点处理请求的工作线程数量。增加该值可以提高broker的并发处理能力,但同时也会增加系统资源的消耗。默认值为16。
ServiceNumIoThreads:该参数指定了每个broker节点处理网络I/O的线程数量。增加该值可以提高broker的网络吞吐量,但同时也会增加系统资源的消耗。默认值为8。
ServiceNumSchedulerThreads:该参数指定了每个broker节点处理定时任务的线程数量。增加该值可以提高broker的定时任务处理能力,但同时也会增加系统资源的消耗。默认值为8。
ServiceNumExecutorThreadPoolSize:该参数指定了每个broker节点处理请求的线程池大小。增加该值可以提高broker的并发处理能力,但同时也会增加系统资源的消耗。默认值为20。
ServiceNumListenerThreads:该参数指定了每个broker节点处理网络连接的线程数量。增加该值可以提高broker的网络连接处理能力,但同时也会增加系统资源的消耗。默认值为1。
发布于:2个月前 (04-11) IP属地:四川省
岛是海碎了的心
岛是海碎了的心
性能相关的参数有:
systemResourceUsageCheckIntervalSeconds: 控制Broker检查系统资源使用情况的间隔。
maxConcurrentLookupRequests: 设置Broker 同时处理的查找请求的最大数量,根据客户端数量和消息查找频率适当调整。
maxConcurrentNonPersistentMessagePerConnection: 控制每个连接上并发处理的非持久化消息数量。
maxPendingPublishRequestsPerConnection: 控制每个连接上待处理的发布请求最大数量。
maxUnackedMessagesPerConsumer: 控制每个消费者未确认消息的最大数量,防止消费者过载。
maxUnackedMessagesPerSubscription: 控制每个订阅未确认消息的最大数量,防止订阅过载。
messageChunkingEnabled: 是否开启消息分块。对于大消息场景,开启分块有助于减少内存压力和网络传输负担。
chunkingMaxMessageSize: 分块消息的最大大小。应与客户端配置保持一致。
maxMessageSize: Broker允许接收的最大单个消息大小。根据业务消息大小设置。
nettyMaxFrameSizeBytes: Netty的最大帧大小。
发布于:2个月前 (04-11) IP属地:四川省
剪段光缓缓流淌
剪段光缓缓流淌
核心参数有:
brokerServicePort / brokerServicePortTls: 设置 Broker 的监听端口,确保客户端能够正确连接。
tickDurationSeconds: Broker心跳间隔,影响Broker内部定时任务的执行频率。
webServicePort / webServicePortTls: 设置 Broker 的管理接口端口,用于对接 Prometheus、Grafana 等监控工具。
globalZookeeperServers: 设置全局 ZooKeeper 集群地址,用于服务发现和协调。
configurationStoreServers: 设置配置存储 ZooKeeper 集群地址,用于存储和管理 Pulsar 的元数据。
loadBalancerEnabled: 控制是否启用自动负载均衡。根据业务需求,可以设置为 false 禁止自动均衡,或者调整相关负载均衡策略。
systemTopicEnabled: 如果系统中使用了 Pulsar Functions 或 Schema Registry 等依赖系统 Topic 的功能,应保持为 true。否则,如果不需要这些功能,可设为 false 以减少资源消耗。
maxConcurrentLookupRequest: 设置 Broker 同时处理的查找请求的最大数量。根据客户端数量和消息查找频率适当调整。
maxConcurrentNamespaceBundleSplit: 控制并发进行的 Namespace Bundle 分裂任务数量。根据集群规模和 Namespace 管理需求设定。
发布于:2个月前 (04-11) IP属地:四川省
我来回答