当前位置: 首页 > news >正文

java 客户端操作HDFS

1、windows上部署hadoop包

部署包win版本

源码包zip包

lib整合:共121个jar包

$HADOOP_PREFIX/share/hadoop/{common,hdfs,mapreduce,yarn,tools}/{lib,.}*.jar

 将windows版本hadoop/bin/hadoop.dll 放到c:/windows/system32下

2、windows环境变量配置

hadoop的bin和sbin目录放PATH中+HADOOP_HOME+HADOOP_USER_NAME=root

3、eclipse插件

安装插件

配置

重启电脑!!!!!!!加载hadoop.dll

创建java project

添加依赖jar

创建源码包

拷贝linux集群中的core-site.xml和hdfs-site.xml到项目的源码包下

程序可以做到本地化读取

input.seek(param);

HDFS本地化读取是一个优势

 

http://www.lryc.cn/news/93976.html

相关文章:

  • 区块链中的共识机制以及共识算法
  • 【计算机网络自顶向下】DNS简答题总结
  • 【QQ界面展示-实现自动回复 Objective-C语言】
  • -bash: ssh: command not found
  • ansible的部署和模块
  • nginx的优化
  • MySQL8超详细安装教程
  • 【FPGA入门】第五篇、按键消抖
  • 【MySql】MySql的事务基础篇
  • docker创建Ubuntu,Ubuntu创建桌面环境,本机使用VNC连接
  • 理解redis的多线程和IO多路复用
  • iOS 开发 | 自定义不规则 label
  • client-go的Indexer三部曲之三:源码阅读
  • 收件地址解析成 省+市+区+详细地址的形式
  • 数据结构与算法基础(青岛大学-王卓)(5)
  • 微信小程序开发入门学习01-TDesign模板解读
  • 使用 Jetpack Compose 创建自定义的对话框(Dialog)
  • c++ auto学习笔记
  • 【随机种子初始化】一个神经网络模型初始化的大坑
  • 翻过那座山——Gitlab流水线任务疑难之编译有子模块的项目指南
  • 手机照片删除后如何恢复
  • SpringBoot 线上服务假死,CPU 内存正常,什么情况?
  • kotlin从入门到精通之内置类型
  • 实战指南:使用Spring Boot实现消息的发送和接收
  • 常用的数据结构——栈
  • C++完成淄博烧烤节管理系统
  • 我心中的TOP1编程语言
  • Linux工具之gdb(含移植到arm-linux系统)
  • DolphinScheduler
  • 10大白帽黑客专用的 Linux 操作系统