当前位置: 首页 > news >正文

关于大数据导入流程引擎ccflow的方案

问题:
1. 现在的流程系统里有几百万条已经运行的流程其它的流程架构上
2. 需要把这样的数据导入到ccflow流程引擎里面去。

数据结构分析:
1. ccflow有流程引擎注册表,工作人表,业务数据表与日志表4大表.
2. ccflow的流程实例是一个int类型的自增长的数据.
3. 导入的时候首先生成一个workid然后,把如上4大表的数据补充上集合.

执行分析:
1. 数据量比较大,超过几百万数据,一次的环境执行完毕,按照理论上来说没有问题实际上会有困难.
2. 做一个过程,可以允许反复执行,在旧数据上增加一个字段标记,已经执行的,打上标记,每次运行未执行的。
3. 考虑使用多线程执行.

执行导入代码结构:
1. 在旧业务数据上增加一个字段, 是否导入IsImp=0.
2. 获取2-3条数据,开始运行,进行循环。
  2.1  创建workid. ,
  2.2  创建写入业务表数据.
  2.3  写入日志数据。
  2.4  设置运动到指定的节点上去。

http://www.lryc.cn/news/15055.html

相关文章:

  • AI 生成二次元女孩,免费云端部署(仅需5分钟)
  • 掌握MySQL分库分表(六)解决主键重复问题--Snowflake雪花算法
  • Melis4.0[D1s]:1.启动流程(与adc按键初始化相关部分)跟踪笔记
  • GNU make 中文手册 第三章:Makefile 总述
  • 简历的专业技能怎么写?排版需要注意的事项
  • 【Git】为什么需要版本控制?版本控制工具有那些?
  • SSH远程执行Python3 Error: UnicodeEncodeError: ‘ascii‘ codec
  • 极简TypeScript教程--面向对象
  • java TCP/UDP、Socket、URL网络编程详解
  • 【C语言】宏
  • 【测试面试】自我分析+功能+接口自动化+性能测试面试题(大全),知己知彼百战百胜......
  • ASE4N65SE-ASEMI高压MOS管ASE4N65SE
  • MyBatis概述环境搭建(一)
  • 3.8国际妇女节即将到来,跨境卖家如何做好选品和营销?
  • Glue Connector 和 Connection 的关系与区别
  • 如何使用ngxin的 upstream
  • Java数组,超详细整理,适合新手入门
  • 1.3数据传输控制方式:IO数据传输控制方式、程序控制(查询)方式、程序中断方式、DMA方式、通道方式、I/O处理机
  • Linux 设置语言
  • Python基础-数据类型之集合
  • [Css]Grid属性简单陈列(适合开发时有基础的快速过一眼)
  • 100种思维模型之启发式偏差思维模型-017
  • 微服务 feign远程调用时 显示服务不可用 timed-out and no fallback
  • 第一个Java程序(初识Java)
  • vulnhub LordOfTheRoot_1.0.1
  • MutationObserver与IntersectionObserver
  • 【ESP 保姆级教程】玩转巴法云篇② ——MQTT设备云,MQTT协议下的数据通信
  • 植物大战 仿函数——C++
  • 【C语言】浮点型数据在内存中的存储
  • impala中的刷新元数据和刷新表