当前位置: 首页 > news >正文

5.4.2-3 编写Java程序读取HDFS文件

在本次实战中,我们通过Java程序实现了从Hadoop分布式文件系统(HDFS)读取文件的功能。首先,我们创建了ReadFileOnHDFS类,并在其中实现了两个方法:read1()read1_()read1()方法展示了如何打开HDFS文件并逐行读取内容,然后通过控制台显示。为了简化代码,read1_()方法利用IOUtils.copyBytes直接将文件内容输出到控制台。

接着,我们实现了read2()方法,该方法将HDFS中的文件读取并保存到本地文件系统。这涉及到创建本地文件的输出流,并使用IOUtils.copyBytes将数据从HDFS的输入流复制到本地文件的输出流中。

在测试这些方法之前,我们确保了HDFS上存在目标文件,并且在本地项目根目录下创建了download目录用于存放下载的文件。运行read2()方法后,我们在控制台确认了文件下载的信息,并在download目录中查看了文件内容。

通过本次实战,我们掌握了从HDFS读取文件并保存到本地的完整流程,增强了对Hadoop文件操作的理解和应用能力。
在这里插入图片描述

http://www.lryc.cn/news/490920.html

相关文章:

  • @EnableConfigurationProperties @ConfigurationProperties
  • RK3588适配MTK7921 USB接口WiFi驱动开发
  • 【数据结构OJ】【图论】图综合练习--拓扑排序
  • 模型 I/O 与 LangChain 实践
  • C++:用红黑树封装map与set-1
  • HBU算法设计与分析 贪心算法
  • python pycharm安装教程及基本使用,超详细
  • 变量提升函数提升
  • el-table vue3统计计算数字
  • IDE应当具备的功能
  • Stable Diffusion初步见解(二)
  • 前端框架 react 性能优化
  • RK3568平台开发系列讲解(Input子系统篇)输入子系统介绍
  • 准备阶段 Profiler性能分析工具的使用(一)
  • go-rod vs Selenium:自动化测试工具的比较与选择
  • 探索免费的Figma中文版:开启高效设计之旅
  • 功能齐全,支持协作 | Docker部署一款支持多人共享的私密浏览器『n.eko』
  • 部署实战(二)--修改jar中的文件并重新打包成jar文件
  • Ubuntu24.04——软件包系统已损坏
  • 2024年华为OD机试真题-空栈压数-C++-OD统一考试(E卷)
  • 嵌入式Linux基于IMX6ULL tslib学习总结
  • go中的参数传递是值传递还是引用传递?
  • 记录一种在内核空间向用户空间通知中断的方法
  • .NetCore 过滤器和拦截器 的区别
  • 【笔记】自动驾驶预测与决策规划_Part7_数据驱动的预测方法
  • React渲染相关内容——渲染流程API、Fragment、渲染相关底层API
  • Python中dict支持多个key的方法
  • 丹摩 | 基于PyTorch的CIFAR-10图像分类实现
  • C#变量和函数如何和unity组件绑定
  • AI模型---安装cuda与cuDNN