当前位置: 首页 > news >正文

[bug] StarRocks borker load意向之外的bug

意向之外,又清理之中

背景:

StarRocks各方面碾压相同类型的数据库,最近我们要从生成HIVE导历史数据(ORC格式)到StarRocks,前期小测一下,在测试是没问题,上生产先导2个月的数据,大概10T,但是在测试过程中,发现了一个问题。

LOAD LABEL test_db.label14
(DATA INFILE("hdfs://<hdfs_host>:<hdfs_port>/user/starrocks/data/input/example14.orc")INTO TABLE table14FORMAT AS "orc"(col1, col2, col3)
)
WITH BROKER
("username" = "<hdfs_username>","password" = "<hdfs_password>"
);

问题:

type:LOAD_RUN_FAIL; msg:Column: s_customer is not found in file: hdfs://xxx.xx.xx.x:9000/user/starrocks/data/input/example14.orc

很明显的问题,在源数据文件中没找到这个字段,想了想,历史数据以orc格式存在HDFS,orc列式存储,如果表结构修改,块里面的数据schema是不变化的,当StarRocks解析源文件块的时候,是找不到该字段的,自然要报错了;
而我们的业务对表结构是按需增加表字段,所以这个问题不可避免。

如何解决?

当用户有新增字段操作的时候,实际上我们维护了字段和表结构关系一张表,每增加一个或者多个字段都有相应的创建时间,那么我们用broker load导入数据的时候需要查一次数据库,这样的话关系就建立起来了,问题也解决了。

暂时没找到可以通过设置StarRocks参数来避免遇到的这个问题的。如果有请告诉我,谢谢。

http://www.lryc.cn/news/507576.html

相关文章:

  • 2025年前端面试热门题目——HTML|CSS|Javascript|TS知识
  • Linux中部署项目
  • 在 CentOS 上安装 MySQL 8
  • gradle项目下载依赖报错
  • solon 集成 activemq-client (sdk)
  • LRU 缓存
  • 使用ZLMediaKit 开源项目搭建RTSP 服务器
  • 数组晨考2day08
  • 《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》简介
  • 麒麟操作系统服务架构保姆级教程(二)sersync、lsync备份和NFS持久化存储
  • 将OBJ或GLB文件转换为3DTiles
  • Flink DataStream API 编程指南
  • tryhackme-Pre Security-HTTP in Detail(HTTP的详细内容)
  • 探索 Plotly:一个强大的交互式数据可视化库
  • Oracle 查询表占用空间(表大小)的方法
  • 机器人国际会议IROS论文latex模板
  • 雪泥鸿爪和屈指可数
  • 2024年度个人总结
  • ChatGPT接口测试用例生成的流程
  • 【读书笔记】《论语别裁》真人和假人
  • JS字符串方法汇总
  • CentOs7使用yum安装docker
  • 蓝桥杯刷题——day8
  • 如何使用 WebAssembly 扩展后端应用
  • BaseCTF_web_week3
  • 模型数据算法概论
  • 什么是3DEXPERIENCE SOLIDWORKS,它有哪些角色和功能?
  • Sigrity System SI Parallel Bus Analysis模式进行DDR3仿真分析-传输线模型
  • MacOS下PostIn安装配置指南
  • 【Leetcode 每日一题】2545. 根据第 K 场考试的分数排序