Kafka使用者具有配置max.poll.records
,该配置控制在对poll()及其default value is 500的单次调用中返回的最大记录数。我将其设置为一个很高的数字,以便可以在一次民意测验中获得所有消息。
但是,民意测验在一个 call 中仅返回几千条消息(大约6000条),即使该主题还有更多。如何进一步增加单个使用者读取的消息数量?
最佳答案
您的有效负载很可能受max.partition.fetch.bytes
限制,默认情况下为1MB。请引用Kafka Consumer configuration。
这是很好的详细说明:
希望能帮助到你!