当前位置: 首页 > news >正文

2. Spark报错,Task is Failed,errorMsg: FileNotFoundException xxxx

完整报错信息
21304, Task is Failed,errorMsg: FileNotFoundException: File does not exist: hdfs://xxxx-bigdata-nameservice/user/hive/warehouse/edw_ic.db/xxxx/part-00000-c8a718b3-54b3-42de-b36c-d6eedefd2e02-c000.snappy.parquet It is possible the xxx
报错场景

Airflow 调度脚本更新表xxxx的数据后,使用SparkSQL 查询表xxxx数据报如上错误。

解决方案

刷新表或重新创建相关的Dataset/DataFrame以使缓存失效。
还可以在Spark中通过运行 REFRESH TABLE tableName 命令来刷新表,或者重新创建相关的Dataset/DataFrame。

REFRESH TABLE tableName
http://www.lryc.cn/news/225207.html

相关文章:

  • Flutter开发实战之上传身份照片并认证
  • C++文件加密、解密
  • 使用Java语言实现基本RS触发器
  • c++函数指针作为std::map值
  • data对象内新增属性,console.log()可以打印出来,不重新渲染
  • React:实现一个定时器计数器,每秒自动+1
  • rocksdb 中 db_bench 的使用方法
  • 【前端】TypeScript核心知识点讲解
  • 【工具推荐】一键多平台文章发布神器推荐(免费)
  • PDF有限制密码,不能复制怎么办?
  • 【原创学位论文】基于python和定向爬虫的商品比价系统.docx
  • 【Proteus仿真】【STM32单片机】汽车尾灯控制设计
  • 多线程—锁
  • uniapp使用vue
  • 能源监测管理系统有哪些作用与效果?
  • 数据分析是什么?
  • 【kafka】Java客户端代码demo:自动异步提交、手动同步提交及提交颗粒度、动态负载均衡
  • 【Git】Gui图形化管理、SSH协议私库集成IDEA使用
  • AIX5.3安装weblogic10.3
  • 聊聊logback的FixedWindowRollingPolicy
  • 详解机器学习最优化算法
  • 文件缓存的读写
  • Debian 修改主机名
  • 多线程返回计时问题代码案例
  • 【STM32】STM32的Cube和HAL生态
  • 汇编-EQU伪指令(数值替换)
  • 超声波俱乐部分享:Enter AI native application
  • 软件测试项目实战经验附视频以及源码【商城项目,app项目,电商项目,银行项目,医药项目,金融项目】(web+app+h5+小程序)
  • HarmonyOS应用开发-ArkTS基础知识
  • mybatis嵌套查询子集合只有一条数据