springboot整合kafka

kafka是什么?

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它能够处理消费者在网站中的全部动做流数据。 这种动做(网页浏览,搜索和其余用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据一般是因为吞吐量的要求而经过处理日志和日志聚合来解决。 对于像Hadoop同样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是经过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了经过集群来提供实时的消息。linux

应用场景

  • 消息系统: Kafka 和传统的消息系统(也称做消息中间件)都具有系统解耦、冗余存储、流量削峰、缓冲、异步通讯、扩展性、可恢复性等功能。与此同时,Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。
  • 存储系统: Kafka 把消息持久化到磁盘,相比于其余基于内存存储的系统而言,有效地下降了数据丢失的风险。也正是得益于 Kafka 的消息持久化功能和多副本机制,咱们能够把 Kafka 做为长期的数据存储系统来使用,只须要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能便可。
  • 流式处理平台: Kafka 不只为每一个流行的流式处理框架提供了可靠的数据来源,还提供了一个完整的流式处理类库,好比窗口、链接、变换和聚合等各种操做。

springboot集成kafka

1.确保有一台虚拟机,而且虚拟机有zookeeper注册中心。如未安装,可参考

2.下载kafka,本文是linux操做系统安装kafka

本文安装kafka是基于linux操做系统,windows系统,可参考资料自行操做。
官网下载地址:http://kafka.apache.org/downl...
spring

3.解压

下载完成以后,会发现有一个tar文件,执行命令,进行解压。apache

tar -zxvf kafka_2.12-2.1.0.tgz

未完待续。。。windows