当前位置: 首页 > news >正文

大数据错误

question1 :  Could not locate Hadoop executable: D:\hadoop-3.3.1\bin\winutils.exe -

【已解决】Could not locate executable E:\Hadoop\bin\winutils.exe in the Hadoop binaries._could not locate executable e:\hadoop-3.3.1\bin\wi_君问归期魏有期的博客-CSDN博客

question2

java.lang.Exception: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1332067403-192.168.159.129-1692011466914:blk_1073741843_1019 file=/test/0417.sql
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492) ~[hadoop-mapreduce-client-common-3.3.1.jar:na]
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:552) ~[hadoop-mapreduce-client-common-3.3.1.jar:na]
Caused by: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1332067403-192.168.159.129-1692011466914:blk_1073741843_1019 file=/test/0417.sql 

        改成域名设置        

org.apache.hadoop.conf.Configuration conf = new org.apache.hadoop.conf.Configuration();
conf.set("dfs.replication", "1");
conf.set("dfs.client.use.datanode.hostname", "true");
conf.set("mapred.job.tracker", "hdfs://hadoop-master:8020/");
conf.set("fs.defaultFS", "hdfs://hadoop-master:8020/");

标红的地方 修改成域名,如果原来的时候写的是IP

 并且在 C:\Windows\System32\drivers\etc\hosts 加入hosts 解析 ,例如

192.168.159.129   hadoop-master
192.168.159.133   hadoop-slave1
192.168.159.134   hadoop-slave2

http://www.lryc.cn/news/154089.html

相关文章:

  • 【Node.js】Express-Generator:快速生成Express应用程序的利器
  • SpringMVC的工作流程及入门
  • logging.level的含义及设置 【java 日志 (logback、log4j)】
  • 第 3 章 栈和队列(链栈)
  • 嵌入式面试-经典问题
  • ZLMeidaKit在Windows上启动时:计算机中丢失MSVCR110.dll,以及rtmp推流后无法转换为flv视频流解决
  • 项目(智慧教室)第二部分,人机交互页面实现,
  • 【docker】docker的一些常用命令-------从小白到大神之路之学习运维第92天
  • ubuntu18.04.6的安装教程
  • 小白的第一个RNN(情感分析模型)
  • 华为云 存在部支持迁移的外键解决方法
  • C# winform控件和对象双向数据绑定
  • 达梦8 在CentOS 系统下静默安装
  • flink k8s sink到kafka报错 Failed to get metadata for topics
  • 利用大模型MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7实现零样本分类
  • 代码随想录二刷day07
  • 点云从入门到精通技术详解100篇-点云的泊松曲面重建方法
  • 【STM32】学习笔记(串口通信)
  • 【Unity3D赛车游戏优化篇】新【八】汽车实现镜头的流畅跟随,以及不同角度的切换
  • webpack5 (四)
  • 电脑硬盘数据恢复一般需要收费多少钱
  • 服务运营 | MSOR文章精选:远程医疗服务中的统计与运筹(二)
  • QT(9.3)定时器,绘制事件
  • python opencv
  • QProcess 调用 ffmpeg来处理音频
  • “深入探究SpringMVC的工作原理与入门实践“
  • 【Node.js】Node.js安装详细步骤和创建Express项目演示
  • 栈和队列OJ
  • Bootstrap的CSS类积累学习
  • Scala的集合操作之可变数组和不可变数组,可变List集合与不可变List集合,可变Set与不可变Set操作,可变和不可变Map集合和元组操作