当前位置: 首页 > news >正文

DataX脚本告别手动编写,用大模型或Java代码自动生成

在离线数仓开发中,DataX支持多种数据源,性能好抽取速度快。美中不足的是,对需要抽取的每一张表都需要写配置文件,这样很繁琐和耗时。可以用大模型提示词来节省这方面的工作量。ChatGPT等大模型并不能很智能提供一个完全正确的,需要提供一个模板让它参考。

方法1:用大模型性提示词

编写DataX脚本,实现从mysql抽取数据到doris的大模型提示词:

请编写datax的配置文件,从mysql导入到doris, 参考的配置json如下:
{"job": {"setting": {"speed": {"channel": 1,"byte":3242880}},"content": [{"reader": {"name": "mysqlreader","parameter": {"column": [
http://www.lryc.cn/news/320741.html

相关文章:

  • ASP.NET通过Appliaction和Session统计在人数和历史访问量
  • 在基于全志V851se的TinyVision上手动构建 Linux 6.1 + Debian 12 镜像
  • 使用jenkins-pipeline进行利用项目文件自动化部署到k8s上
  • unity发布安卓获取读取权限
  • VSCode下使用github初步
  • 华为设备配置命令大全
  • 详解基于快速排序算法的qsort的模拟实现
  • 鸿蒙Harmony应用开发—ArkTS声明式开发(绘制组件:Polyline)
  • 项目风险管理
  • glib交叉编译
  • Android11实现能同时开多个录屏应用(或者共享屏幕或投屏时录屏)
  • 音视频实战---音频重采样
  • 主存中存储单元地址的分配
  • Python和R的区别是什么,Python与R的应用场景是什么?
  • azure databricks 常用的JDBC连接
  • 功能齐全的免费 IDE Visual Studio 2022 社区版
  • FreeRTOS入门基础
  • 蓝桥杯-24点-搜索
  • 【附下载】3Ds Max从安装、配置到入门提高和高级用法
  • 开源堡垒机Jumpserver
  • PyTorch学习笔记之基础函数篇(十五)
  • Latex插入pdf图片,去除空白部分
  • 微服务:高并发带来的问题的容错方案
  • sqllab第35-45关通关笔记
  • Jenkins流水线将制品发布到Nexus存储库
  • 信息学奥赛一本通之MAC端VSCode C++环境配置
  • MPIKGC:大语言模型改进知识图谱补全
  • Flutter-自定义图片3D画廊
  • python中如何解析Html
  • Hystrix的原理及应用:构建微服务容错体系的利器(一)