Flume采集Kafka数据到Hive

版本：

Kafka：2.4.1

Flume：1.9.0

Hive：3.1.0

Kafka主题准备：

Hive表准备：确保hive表为：分区分桶、orc存储、开启事务

Flume准备：

配置flume文件：

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下：

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

 

切换到flume的bin目录下，运行配置文件

启动Kafka写入数据

 

 

监控flume页面情况

 

去hive数据表进行数据查看，数据成功同步过来。