5.Flink对接Kafka入门
Flink Connector Kafka
- 1. Kafka
- 1.1. [Kafka官网](http://kafka.apache.org/)
- 1.2. Kafka 简述
- 1.3. Kafka特性
- 1.4. kafka的应用场景
- 1.5. kafka-manager的部署
- 1.6. `使用Kafka Connect导入/导出数据`
- 1.7. [Kafka日志存储原理](https://blog.csdn.net/shujuelin/article/details/80898624)
- 2. Kafka与Flink的融合
- 2.1. kafka连接flink流计算,实现flink消费kafka的数据
- 2.2. flink 读取kafka并且自定义水印再将数据写入kafka中
- 3. Airbnb 是如何通过 balanced Kafka reader 来扩展 Spark streaming 实时流处理能力的
- 4. 寄语：海阔凭鱼跃，天高任鸟飞
1. Kafka
1.1. Kafka官网
1.2. Kafka 简述
- Kafka 是一个分布式消息系统：具有生产者、消费者的功能。它提供了类似于JMS 的特性，但是在设计实现上完全不同，此外它并不是JMS 规范的实现。
1.3. Kafka特性
消息持久化:基于文件系统来存储和缓存消息高吞吐量多客户端支持:核心模块用Scala语言开发，Kafka 提供了多种开发语言的接入，如Java 、Scala、C 、C＋＋、Python 、Go 、Erlang 、Ruby 、Node. 等安全机制通过SSL 和SASL(Kerberos), SASL/PLA时验证机制支持生产者、消费者与broker连接时的身份认证；支持代理与ZooKeeper 连接身份验证通信时数据加密客户端读、写权限认证Kafka 支持与外部其他认证授权服务的集成
数据备份轻量级消息压缩
1.4. kafka的应用场景
Kafka作为消息传递系统
Kafka 作为存储系统
Kafka用做流处理
消息，存储，流处理结合起来使用
1.5. kafka-manager的部署
Kafka Manager 由 yahoo 公司开发，该工具可以方便查看集群 主题分布情况，同时支持对 多个集群的管理、分区平衡以及创建主题等操作。
-
Centos7安装kafka-manager
-
启动脚本bin/cmak -Dconfig.file=conf/application.conf -java-home /usr/lib/jdk-11.0.6 -Dhttp.port=9008 &
-
界面效果
-
注意
1.6. 使用Kafka Connect导入/导出数据
- 替代Flume——Kafka Connect
集群模式注意： 在集群模式下，配置并不会在命令行传进去，而是需要REST API来创建，修改和销毁连接器。- 通过一个示例了解kafka connect连接器