DM适配连接kettle迁移工具(资源库+数据源配置)
适配改造介绍及说明
- 本次修改基于8.2.0.0版本调整，在该源码基础上进行DM的适配，已支持DM为资源库的配置以及相关数据迁移。
- kettle资源库是Kettle ETL工具内置的一个资源库。配置好的数据库可以直接缓存到资源库当中；创建、编辑好的转换/作业脚本，可以直接保存到资源库中，不用担心丢失；如果是直接对服务器数据库进行ETL（Extract-Transform-Load， 数据抽取/转换/加载），设置好数据库资源库可以配置重复利用。
适配DM后的安装包
通过网盘分享的文件：pdi-ce-8.2.0.0-342_适配DM_20250117.zip
链接: https://pan.baidu.com/s/1KvPuQwIFHqNfvSnZq6s1qQ?pwd=b5ff 提取码: b5ff
启动软件
一定要放到纯英文目录下启动，否则不能新建资源库
新建DM的资源库
选择Other Repositories
创建连接数据源
初始化资源库所需要的表
登录DM数据库，查看资源库的表是否存在，R_开头的表都是
新建转换-新建连接
测试场景
测试之前先创建两个数据源
dm_dm的number类型数据迁移
涉及的表结构
CREATE TABLE "TEST1"
(
"SUMPAID" NUMBER(16,2),
"SUMVERIFY" NUMBER(16,2));INSERT INTO "TEST1"("SUMPAID","SUMVERIFY") VALUES(13908,13908.13);
INSERT INTO "TEST1"("SUMPAID","SUMVERIFY") VALUES(0,0);
COMMIT;
新建组件
- 核心对象—>输入—>表输入
- 核心对象—>输出—>插入/更新
表输入的配置
点击表输入->右键编辑步骤 选择数据库连接 以及 SQL语句
插入/更新的配置
程序运行
附录
中文乱码如何解决
把kettle的默认字符集改成UTF-8，步骤：
1.打开Kettle的安装目录，找到data-integration文件夹
2.在data-integration文件夹中，找到spoon.sh (Linux/Mac) 或spoon.bat (Windows) 文件，用文本编辑器打开它
3.在文件中搜索以下行:
PENTAHO DI JAVA OPTIONS=“-Xmx512m -XX:MaxPermSize=256m”
4.在这一行的末尾添加以下参数来设置字符集编码:
-Dfile.encoding=UTF-8
5.保存重启kettle