当前位置: 首页 > news >正文

Flink Format系列(2)-CSV

Flink的csv格式支持读和写csv格式的数据,只需要指定 'format' = 'csv',下面以kafka为例。

CREATE TABLE user_behavior (user_id BIGINT,item_id BIGINT,category_id BIGINT,behavior STRING,ts TIMESTAMP(3)
) WITH ('connector' = 'kafka','topic' = 'user_behavior','properties.bootstrap.servers' = 'localhost:9092','properties.group.id' = 'testGroup','format' = 'csv','csv.ignore-parse-errors' = 'true','csv.allow-comments' = 'true'
)

关键配置的说明

csv.ignore-parse-errors:就是在解析csv失败时是否报错

csv.allow-comments:是否允许有注释行(即#开头的行)

csv.field-delimiter:csv的字段分隔符,默认是逗号,

csv.quote-character:csv包裹字段值的符号,默认是" 。要注意该值的作用,比如如果字段包含换行符、双引号和/或逗号的字段应当被""包裹。字段值本身包含引号的话,一个(双)引号字符必须被表示为两个(双)引号字符。即 """" 表示了字段值 "

csv.disable-quote-character:是否禁用引号来包裹字段值,默认值是false,假如设置为true,则csv.quote-character将不能设置。

csv.escape-character:转义字符来转义,默认值空,即不可用

csv类型和flink sql类型的对应关系

http://www.lryc.cn/news/295507.html

相关文章:

  • Spring Data Envers 数据审计实战2 - 自定义监听程序扩展审计字段及字段值
  • 一个 SpringBoot 项目能同时处理多少请求?
  • 计算机网络——网络
  • C语言探索:选择排序的实现与解读
  • Golang 学习(二)进阶使用
  • ubuntu22.04@laptop OpenCV定制化安装
  • linux系统非关系型数据库redis
  • 【LeetCode: 292. Nim 游戏+ 博弈问题】
  • Android 9.0 禁用adb reboot recovery命令实现正常重启功能
  • 分析网站架构:浏览器插件
  • CentOS7搭建Hadoop集群
  • 10.0 Zookeeper 权限控制 ACL
  • 容器化技术基础概念:雪花服务器与凤凰服务器
  • 解决maven 在IDEA 下载依赖包速度慢的问题
  • 用python编写爬虫,爬取二手车信息+实验报告
  • 代码随想录算法训练营第二十九天|491.非递减子序列、46.全排列、47.全排列II
  • (2)(2.14) SPL Satellite Telemetry
  • OTG -- STM32 OTG驱动代码下载及简述(三)
  • STM32F407 CAN参数配置 500Kbps
  • python常用的深度学习框架
  • 将xyz格式的GRACE数据转成geotiff格式
  • 【机器学习】机器学习流程之收集数据
  • IP风险画像在企业网络统计与安全防范中应用
  • Unity类银河恶魔城学习记录3-6 Finalize BattleState源代码 P52
  • 【语音合成】中文-多情感领域-16k-多发音人
  • 07-使用Package、Crates、Modules管理项目
  • spring.jpa.hibernate 配置和源码解析
  • 2019年江苏省职教高考计算机技能考试——一道程序改错题的分析
  • 邦芒支招:职场白领必备的10条护身符
  • python实现飞书群机器人消息通知(消息卡片)