kafka简介

Kafka 是一个分布式流媒体平台，kafka官网

1）流媒体平台有三个关键功能：

•  「发布和订阅记录流」，类似于消息队列或企业消息传递系统。
•  「以容错的持久方式存储」 记录流。
•  记录发生时处理流。

2）Kafka通常用于两大类应用：

•  构建可在 「系统或应用程序之间」 可靠获取数据的实时流数据管道
•  构建转换或响应数据流的实时流应用程序

3）首先是几个概念：

•  Kafka作为一个集群运行在一个或多个可跨多个**「数据中心的服务器」**上。
•  Kafka集群以称为** topics主题**的类别存储记录流。
•  每条记录都包含**「一个键，一个值和一个时间戳」**。

4）Kafka有四个核心API：

•  「Producer API（生产者API」）允许应用程序发布记录流至一个或多个kafka的topics（主题）。
•  「Consumer API（消费者API」）允许应用程序订阅一个或多个topics（主题），并处理所产生的对他们记录的数据流。
•  Streams API（流API） 允许应用程序充当流处理器，从一个或多个topics（主题）消耗的输入流，并产生一个输出流至一个或多个输出的topics（主题），有效地变换所述输入流，以输出流。
•  「Connector API（连接器API」）允许构建和运行kafka topics（主题）连接到现有的应用程序或数据系统中重用生产者或消费者。例如，关系数据库的连接器可能捕获对表的每个更改。