当前位置: 首页 > news >正文

「ETL趋势」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.9最新功能作了介绍方便大家对比:(产品更新详情:4.1.9最新功能快速体验)

更新功能数据源分区读写支持 PostgreSQL、Greenplum、Gauss200
数据开发定时任务支持调用Kettle、定时任务中SQL输入框支持联想显示参数
管理系统定时任务和管道任务支持自定义字段映射规则
新增功能回收站新增回收站功能

如果你还想学习更多FineDataLink应用技巧,可以点击:FineDataLink学习路径

一、数据源

1、分区读写支持 PostgreSQL、Greenplum、Gauss200

用户面对大数据量的数据存储时,经常需要使用数据库的分区表功能来提高查询性能。

在Finedatalink 4.1.9版本中:定时任务、管道任务自动建表和数据服务支持选择 PostgreSQL、Greenplum、Gauss200 的分区表作为数据来源或数据去向,其中Greenplum、Gauss200支持分布逻辑为用户提供更多选择。

分区读写支持 PostgreSQL、Greenplum、Gauss200

💠详情:读取、创建、写入分区表

二、数据开发

1、定时任务支持调用Kettle

用户的历史Kettle任务可能分散在不同系统,难以统一管理和监控。

FineDataLink 4.1.9版本支持对 kettle 任务进行调用以及展示Kettle任务运行日志,帮助用户实现Kettle任务的统一管理。

Kettle调用

💠详情:Kettle调用

2、定时任务中SQL输入框支持联想显示参数

用户在编写SQL语句时手动输入参数易出错,且效率不高。

为了帮助用户提高开发效率,在FineDataLink 4.1.9版本中,数据开发中的:

SQL脚本、Python算子、Spark SQL算子、数据同步-API-body、API输入算子-body、DB输入算子-SQL输入框、参数赋值-DB输入SQL输入框、数据同步-DB输入SQL输入框支持自动联想参数

SQL输入框支持联想显示参数

💠详情:SQL输入框支持联想显示参数

三、管理系统

1、定时任务和管道任务支持自定义字段映射规则

管道任务、定时任务的 同步任务配置过程中, 有时会出现 用户期望的字段映射关系与产品默认映射关系不符 的情况

在之前的FDL版本中,用户需要针对某个数据源下的多个任务或节点重复修改字段类型,操作非常繁琐。

为了解决这一问题,FineDataLink 4.1.9版本支持统一对多个使用同一数据连接的定时任务、管道任务自定义字段类型映射规则

自定义字段映射规则

💠详情:通用配置-字段映射规则

四、回收站

1、新增回收站功能

用户在 管理数据开发任务 时,可能 误删 掉重要任务 ,一旦删除难以恢复。

FineDataLink 4.1.9版本新增回收站功能,回收站支持对数据开发、数据管道、数据服务中已经删除的任务进行资源还原彻底删除等。

回收站功能

💠详情:回收站

💠产品更新详情:4.1.9更新日志

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值!

点击体验FDL功能

往期文章:

「ETL趋势」FDL数据开发支持版本管理、实时管道支持多对一、数据源新增支持神通-CSDN博客

「ETL趋势」FDL定时任务区分开发/生产模式、API输入输出支持自定义响应解析-CSDN博客

「ETL趋势」FDL数据中心库/表查看和调试功能上线、数据源新增支持MongoDB写入_fdl数据来源端中断退出-CSDN博客

http://www.lryc.cn/news/400318.html

相关文章:

  • vue 前端项目调用后端接口记录
  • 4.10、matlab生成脉冲序列:pulstran()函数
  • 【JAVA poi-tl-ext 富文本转word】
  • uniapp 小程序注册全局弹窗组件(无需引入,无需写标签)
  • python 语法学习 day 7
  • 【高中数学/幂函数】比较a=2^0.3,b=3^0.2,c=7^0.1的大小
  • 双向带头循环链表
  • 探索TASKCTL和 DataStage 的ETL任务调度协同
  • Facebook软体机器人与机器人框架:创新社交互动的未来
  • 掌握音视频转换的艺术:用FFmpeg解锁多媒体的无限可能
  • C基础day9
  • 32. 小批量梯度下降法(Mini-batch Gradient Descent)
  • MySQL第八次作业
  • 【合集】临时邮箱网站 临时邮箱API(持续更新)
  • 职场新人感受
  • Window 下Mamba 环境安装踩坑问题汇总及解决方法 (无需绕过selective_scan_cuda)
  • 前端项目本地的node_modules直接上传到服务器上无法直接使用(node-sasa模块报错)
  • Hadoop3:动态扩容之新增一台机器的初始化工作
  • 【正点原子i.MX93开发板试用连载体验】录音小程序采集语料
  • 【EasyExcel】动态替换表头内容并应用样式
  • RocketMQ实现分布式事务
  • 【Rust练习】2.数值类型
  • 通过 PPPOE 将 linux 服务器作为本地局域网 IPv4 外网网关
  • gin源码分析
  • 数学建模入门
  • 【学习笔记】无人机(UAV)在3GPP系统中的增强支持(十二)-无人机群在物流中的应用
  • 同三维T80006EH2-4K30编码器视频使用操作说明书:高清HDMI编码器,高清SDI编码器,4K超清HDMI编码器,双路4K超高清编码器
  • DHCP原理及配置
  • 异步日志:性能优化的金钥匙
  • matlab仿真 模拟调制(上)