当前位置: 首页 > news >正文

ETL工具-nifi干货系列 第八讲 处理器PutDatabaseRecord 写数据库(详细)

1、本节通过一个小例子来讲解下处理器PutDatabaseRecord,该处理器的作用是将数据写入数据库。

如下流程通过处理器GenerateFlowFile 生成数据,然后通过处理器JoltTransformJSON转换结构,最后通过处理器PutDatabaseRecord将数据写入数据库。如下图所示

 2、处理器GenerateFlowFile 生成自定义数据,如下图所示

 3、处理器JoltTransformJSON转换结构,将结构转换成适合表字段的结构,此时有两种方式驼峰和下划线两种方式。下图采用驼峰方式

 4、处理器PutDatabaseRecord将数据写入数据库,此处理器需要配置两个控制器,Record Reader和Database Connection Pooling Service 两个控制器。

 Record Reader

指定用于解析传入数据并确定数据模式的控制器服务。

Database Type

数据库的类型/版本,用于生成特定于数据库的代码。在许多情况下,通用类型应该足够,但某些数据库(例如Oracle)需要自定义的SQL子句。这里我们选择mysql

Statement Type

支持常见的sql语句类型,如增删改查,我们这里选择insert

Data Record Path

指定数据记录的路径,该路径确定了要发送到目标数据库的记录。

Database Connection Pooling Service

配置数据库连接池信息,如下图所

 

Catalog Name

SQL语句应该更新的目录名称

Schema Name

database 名称

Table Name

表名

Translate Field Names

如果设置为 true,处理器将尝试将字段名翻译为指定表格的相应列名。如果设置为 false,字段名必须与列名完全匹配,否则列将不会被更新。

Unmatched Field Behavior

未匹配的字段行为,自己根据要求进行选择。未匹配的字段行为,自己根据要求进行选择策略。

Unmatched Field Behavior

 如果传入记录没有数据库表的所有列的字段映射,该属性指定如何处理这种情况。

其他属性如果感兴趣的可以自行尝试配置。

5、大功告成,查看表my_user,数据已经写入,这里为了演示方便,所以user_id 没有设置唯一健。

http://www.lryc.cn/news/334393.html

相关文章:

  • 【MySQL】如何判断一个数据库是否出问题
  • SQLite数据库的性能问题并不是单纯地由数据量的大小决定的,而是受到多种因素的综合影响。以下是一些可能导致SQLite性能问题的因素
  • Blender怎么样启动默认移动和Cavity效果
  • Android 解决TextView多行滑动与NestedScrollView嵌套滑动冲突的问题
  • Laravel 开发Api规范
  • 蓝色wordpress外贸建站模板
  • windos环境,使用docker容器运行项目的,新增外部访问地址配置
  • 设计模式:生活中的组合模式
  • WPF OnStartup
  • docker-相关
  • 二十、Rust AOP 切面增强
  • 掌握Go语言:Go语言精细错误,清晰、高效的错误处理实践(32)
  • Spring与Web环境的集成
  • 二叉树的遍历——bfs广度优先搜索
  • 飞鸟写作可靠吗 #职场发展#经验分享#经验分享
  • Java 实现自定义注解
  • 代码随想录Day48
  • Web 后台项目,权限如何定义、设置、使用:菜单权限、按钮权限 ts element-ui-Plus
  • ADB 操作命令及其详细用法
  • 类的函数成员(三):拷贝构造函数
  • C#操作MySQL从入门到精通(8)——对查询数据进行高级过滤
  • Centos 7 安装通过yum安装google浏览器
  • 题目:学习使用按位与 。
  • 逐步分解,一文教会你如何用 jenkins+docker 实现主从模式
  • WebSocket 对于手游的意义
  • 安卓APP的技术质量:如何提高
  • 二分查找 -- 力扣(LeetCode)第704题
  • Windows下如何确定虚函数在虚函数表中的位置
  • C++设计模式:观察者模式(三)
  • CentOS运行Py脚本报错illegal instruction故障处理