Grape前端
这几天简单学习了一下Kafka,看了一些书,也查了一些资料,结合这些,我简单总结了一下Kafka的一些基础知识,以此做记录~
老规矩,抛出咱们这篇文章的三个问题:数据库
你们简单思考一下,若是你知道的话~segmentfault
首先咱们看一下来自百度百科的定义:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它能够处理消费者在网站中的全部动做流数据。
这里边有两个重点:消息系统和发布订阅。那么接下来咱们着重在这两方面叙述。后端
什么是消息系统?简单的说它主要是用来作数据收集处理以及传输的一个系统。数据工程中最具挑战性的部分之一是如何从不一样点收集和传输大量数据到分布式系统进行处理和分析。须要经过消息队列正确地分离大量数据,由于若是一部分数据没法传送,则能够在系统恢复时传输和分析其余数据。一般有两种消息排队:点对点(Point to point)和发布者——订阅者(publisher-subscriber)。 对于上述目的,它们都是可靠的和异步的。安全
提及发布订阅咱们先来看下一般存在的两种消息排队中的另外一位玩家:点对点。在点对点或一对一中,有一个发件人和正在监听发件人的多个消费者。当一个消费者从队列收到消息时,该特定消息将从队列中消失,而其余消费者没法得到该消息。
发布订阅:发布者向同时收听发布者的多个消费者或订阅者发送消息,而且每一个订阅者能够得到相同的消息。数据应经过数据管道传输,数据管道负责整合来自数据源的数据。
也就是说,点对点只能发送给一我的一份信息,而发布订阅式能够发送给不用的人相同的信息。在这里咱们不论述哪一种方式的好坏,由于,方式的好坏是看业务场景的。服务器
明白了定义,咱们要知道Kafka的结构式什么样子的。大概就是如下图示:网络
咱们看到,很明白的发布订阅者模式,以上三张图也是由浅入深,第一张大概介绍整个Kafka架构,咱们能够看到又多个发布者向不一样的broker发送消息,而后broker管理不一样的topic,最后订阅者去不一样的分区消费消息。
固然,你可能还不太明白发布者订阅者之类的术语,下边我来解答几个常见的术语:
(1)Topics(主题) :属于特定类别的消息流称为主题。 数据存储在主题中。Topic至关于Queue。主题被拆分红分区。 每一个这样的分区包含不可变有序序列的消息。分区被实现为具备相等大小的一组分段文件。
(2)Partition(分区)架构
一个Topic能够分红多个Partition,这是为了平行化处理。每一个Partition内部消息有序,其中每一个消息都有一个offset序号。一个Partition只对应一个Broker,一个Broker能够管理多个Partition。
(3)Partition offset(分区偏移) 每一个分区消息具备称为 offset 的惟一序列标识。
(4)Replicas of partition(分区备份) 副本只是一个分区的备份。 副本从不读取或写入数据。 它们用于防止数据丢失。
(5)Brokers(经纪人):单个的 Kafka 服务器叫作「中间人」(Broker)。一个 Kafka 中间人,接收生产者发来的消费,分配偏移量,并存储入物理空间中去;同时,中间人还接收消费者的请求,把物理空间里的消息响应回去。
(6)Kafka Cluster(Kafka集群) Kafka有多个代理被称为Kafka集群。 能够扩展Kafka集群,无需停机。 这些集群用于管理消息数据的持久性和复制。
(7)Producers(生产者): 生产者是发送给一个或多个Kafka主题的消息的发布者。 生产者向Kafka经纪人发送数据。 每当生产者将消息发布给代理时,代理只需将消息附加到最后一个段文件。实际上,该消息将被附加到分区。 生产者还能够向他们选择的分区发送消息。
(8)Consumers(消费者) :Consumers从经纪人处读取数据。 消费者订阅一个或多个主题,并经过从代理中提取数据来使用已发布的消息。异步
到这咱们总结一下,发布订阅系统的大体流程就是生产者生产消息推送到brokers,各个broker将消息发送到不一样的topic的分区上,而后再由消费者来进行消费(固然,这是最简单的模式)。
注意:生产者也能够向指定的某个topic由向他们选择的分区发送消息。分布式
发布/订阅式的系统有不少,但Kafka出色在哪写方面?
参考文章: