当前位置: 首页 > news >正文

因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

    • 问题描述:
    • 日志定位:

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

[2023-10-16 07:56:51,530] - INFO: [HIVE] 2023-10-16 07:56:51 Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552

[2023-10-16 07:56:52,722] - INFO: [HIVE] Execution failed with exit status: 3

[2023-10-16 07:56:52,724] - INFO: [HIVE] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

问题解决:

可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 > 5172101120,所以报错return code 3。

http://www.lryc.cn/news/205995.html

相关文章:

  • pip 指定源
  • 嵌入式中的MCU、ARM、DSP、FPGA
  • 二、PHP基础学习[变量]
  • k8s kubeadm配置
  • B-3:Web安全之综合渗透测试
  • 设计模式—设计模式总览
  • C++ 流程控制(分支、循环、跳转)
  • 【网络协议】聊聊TCP的三挥四握
  • Docker镜像仓库
  • 跨界技术:SOCKS5代理在电商、爬虫与游戏领域的应用
  • LeetCode--快速排序
  • 2023年CSP-S赛后总结(2023CSP-S题解)
  • Django viewsets 视图集与 router 路由实现评论接口开发
  • RCE 远程代码执行漏洞分析
  • JDK8新特性:Stream流
  • 【.net core】yisha框架单页面双列表联动效果示例
  • 01. 板载硬件资源和开发环境
  • BlobDetector的使用与参数说明(OpenCV/C++)
  • 行为型模式-空对象模式
  • 爬虫采集如何解决ip被限制的问题呢?
  • 【ARM AMBA Q_Channel 详细介绍】
  • PDF Reader Pro v2.9.8(pdf编辑阅读器)
  • 【机器学习可解释性】1.模型洞察的价值
  • 网络安全保险行业面临的挑战与变革
  • 如何提高系统的可用性/高可用
  • PCA和LDA数据降维计算(含数学例子推导过程)
  • 题目 1053: 二级C语言-平均值计算(python详解)——练气三层初期
  • Python —— UI自动化之Page Object模式
  • 职能篇—自动驾驶产品经理
  • ubuntu安装golang