消息队列原理篇

一、kafka

kafka的架构有producer、zk、broker、consumer4个角色；broker里面放各个partition，各个broker组成一个kafka集群; consumer是以consumer group形式存在。

面试只要topic->partition->message就好，不要到里面的段了。

马消后的wq：其实消息有序性是很好理解的，生产：各个partition的有序是天然保证的，所以只要我们控制某种业务能够都落到同一个parttion上就解决了。 比如我们要的是同一个callid的多次通话结果有序，不需要不同的callid有序，所以只要这个callid作为key，所以kafka同一个key的消息一定是在同一个分区上。kafka会用key进行hash计算是在哪个partition。常识，一个topic可以有多个分区，靠key保证同业务落同分区，因此topic的命名只要标识业务，key的定义就要慎重。消费：要有序必须控制一个分区只分配给一个消费者线程。

《在马消名单-活动中间调用用kafka解耦，但活动拉名单可能是排好序的，所以消费的时候怎么保证这个有序》让同一活动的名单放到同一个partition里面，因为同一个partition的消息是有序的，然后消费的时候，一个消费者即一个应用的实例，所以只要消费者组里面只有一个消费者就ok了，这样，这个partition只能是应用启动就绑定好了某个实例专门消费这个partition，也就保证了消费后的数据走到业务逻辑也是有序的。（不太对，保证名单数据落同一个partition是用活动id做key就好）

一句话概括就是，kafka启动的时候，根据zk会broke的leader节点，还会根据topic选举partition的leader节点，然后发送端发送消息时，会持久化到partition的leader节点上，剩下就是zk各个partition副本节点同步leader的数据的事情了。然后消费者客户端接入kafka时，kafka集群的coordinator角色会为消费者的实例绑定好对应的partition，然后一直消费这个partition就好了。

1、broker

就理解为kafka的服务器好了，一个broker是一个kafka的实例，broker组合起来就是一个kafka集群了。我自己出现了一个理解误区，zk选举出一个broker作为leader，认为只有这个broker是对外的，其他的从broker只是备份用的，错了，这样的话只是一台机器在用，仅看到了高可用，没有提高并行能力和负载均衡一说，所以真正的理解应该是：leader要分为是broker的leader选举和 partition的leader选举，有两种leader。broker的leader只是为了整体管理集群内的分区和副本状态而已，这个概念不用过度的去理解；而partition的leader就是对外的，不同的partition的leader可能在不同的broker上，这样就是真正一个topic的多个partition同时工作了，看下面文章：

kafka集群leader的作用 kafka集群架构_mob64ca13fe9c58的技术博客_51CTO博客