收录:
摘要:
本发明公开了一种基于Kafka的消费者端负载均衡方法,属于消息处理技术领域。为解决现有的消费者端负载均衡方法中消费者互相孤立,不能高效地处理由于消费者宕机引起的消费者消息处理能力下降问题,提出一种改进的消费者端负载均衡方法。在Kafka消息传输系统中从生产者集群生产消息、broker存储消息到消费者集群接收消息的整个流程中,通过由负载均衡开始时选出的协调者统一管理分配消费者和分区的对应情况,并且根据分区负载情况制定不同的分配方案,很好的解决了现有的负载均衡策略中消费者互相孤立的问题,能帮助Kafka系统高效快捷地处理突发的负载均衡事件,提高了生产环境下的Kafka的适用性。
关键词:
通讯作者信息:
电子邮件地址: