librdkafka消费者消费方式

   最近在研究librdkafka消费着模式,一直对RdKafka::KafkaConsumer::assign(vector<RdKafka::TopicPartition *> &)函数有疑问,今天做了个小实验验证了自己的想法。

 其实kafka有两种消费模式,一种是订阅模式,一种是特定分区模式:

 1. 订阅模式:消费着订阅某个topic,那么对于这个topic所有分区内的消息,它都能去消费(当然,同一消费者组的消费者只能消费一次指定topic的消息)。即只要有分区有消息阻塞,且它是空闲状态,

                          它就可以去消费。使用librdkafka c++版本,即调用RdKafka::KafkaConsumer::subscirbe(const vector<string> &topics>.

    2. 分区模式:消费着消费指定topic的指定分区。即消费者只消费指定分区,即使当前分区无数据,而其他分区数据阻塞,也会不去干扰别的分区。使用librdkafka c++版本,调用

                           RdKafka::KafkaConsumer::assign(const vector<RdKafka::TopicPartition*> &).   

 

   两种消费模式各有优劣, 订阅模式可以大大的提高消费速率,但是无法满足需要时序处理的场景,这种场景下,就只能使用分区模式了,分区模式可以很好的保证同一个分区数据的时序性,但是当数据量

   过大的时候,消费速率会受影响。   

原文链接: https://www.cnblogs.com/cppthomas/p/11243979.html

欢迎关注

微信关注下方公众号,第一时间获取干货硬货;公众号内回复【pdf】免费获取数百本计算机经典书籍

    librdkafka消费者消费方式

原创文章受到原创版权保护。转载请注明出处:https://www.ccppcoding.com/archives/299730

非原创文章文中已经注明原地址,如有侵权,联系删除

关注公众号【高性能架构探索】,第一时间获取最新文章

转载文章受原作者版权保护。转载请注明原作者出处!

(0)
上一篇 2023年2月15日 下午8:49
下一篇 2023年2月15日 下午8:49

相关推荐