大数据处理从零开始————9.MapReduce编程实践之信息过滤之学生成绩统计demo

1.项目目标

1.1 需求概述

        现在我们要统计某学校学生的成绩信息，筛选出成绩在60分及以上的学生。

1.2 业务分析

        如果我们想实现该需求，可以通过编写一个MapReduce程序，来处理包含学生信息的文本文件，每行包含【学生的姓名，科目，分数】，以逗号分隔，要求如下：

        分别编写一个Student类和一个Mapper类；

        Student 类包含以下字段：姓名(String)、科目(String)、分数(int)；

        需要自定义 Student 对象的序列化和反序列化方法，以便Hadoop能够正确处理它；

        Mapper类将输入文本数据解析为 Student 对象，并且只输出成绩大于60分的学生；

        以固定字符串"学生信息"为Key，Student对象为Value，作为该Mapper的输出。

2. 新建项目

        如果没有进行配置项目，则需要先进行配置，可以参考下文的前半部分：

大数据处理从零开始————8.基于Java构建WordCount项目-CSDN博客

        如果配置好就可以直接进行下一步。新建项目后，确定好项目的名称，组ID，工作ID的信息。

        打开pom.xml文件，添加项目配置，添加如下配置。

<dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.13.2</version><!--<scope>test</scope>--></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>3.3.3</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.3.3</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>3.3.3</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.11</version></dependency></dependencies>

        如果pom.xml全部标红可以看上一节解决方法，完全相同。

3.完善项目代码

       3.1 创建Student类

import org.apache.hadoop.io.Writable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;public class Student implements Writable {private String name;private String subject;private int score;public Student() {}public Student(String name, String subject, int score) {this.name = name;this.subject = subject;this.score = score;}public void write(DataOutput out) throws IOException {out.writeUTF(name);out.writeUTF(subject);out.writeInt(score);}public void readFields(DataInput in) throws IOException {name = in.readUTF();subject = in.readUTF();score = in.readInt();}public String getName() {return name;}public void setName(String name) {this.name = name;}public String getSubject() {return subject;}public void setSubject(String subject) {this.subject = subject;}public int getScore() {return score;}public void setScore(int score) {this.score = score;}@Overridepublic String toString() {return "姓名：" + name + ", 科目：" + subject + ", 分数：" + score;}
}

        在这里可能由很多人不明白，我们来解释一下这段代码的关键点：

        首先它实现了Writable接口，Writable接口主要实现了序列化和反序列化。Writable接口定义了两个方法。1. void write（DataOutput out）：主要用于将对象的字段写入数据输入流DataOutput中；在实现此方法时，需要按照某种顺序依次写入对象的所有属性，确保与readFields方法对应。2.void readfields（DataInput in）：该方法用于从数据输入流 DataInput 中读取对象的字段；按照与 write 方法相同的顺序读取，确保数据能正确映射回对象的属性。

        其次重写了toString方法。

        

        3.2 实现Mapper类

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;public class StudentMapper extends Mapper<LongWritable, Text, Text, Student> {private static final Text outputKey = new Text("学生信息");@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {// 解析每行文本String line = value.toString();String[] fields = line.split(",");// 创建Student对象if (fields.length == 3) {String name = fields[0].trim();String subject = fields[1].trim();int score = Integer.parseInt(fields[2].trim());// 只输出成绩大于60分的学生if (score > 60) {Student student = new Student(name, subject, score);context.write(outputKey, student);}}}
}

       首先通过泛型确保了输入形式是key——value的形式。

        然后创建了一个名为 outputKey 的常量，它代表输出的键，值为 "学生信息"。这个常量在整个类中是共享的，避免了在每次调用 map 方法时重复创建。

        接着实现了map方法，在map方法中先将输入值逐行改成字符串数组形式；然后检查字段数组是否为三，确保数组行格式正确，接着分别提取姓名、科目和分数，并进行适当的修剪以去除多余的空格，进一步使用 Integer.parseInt() 方法将分数字符串转换为整数；最后输出大于60分的人。

        3.3 构建驱动器StudentDriver类

        在构建完map类后，程序并不能直接运行，因此我们还要构建一个Driver类来驱动程序。Driver类是一个 Hadoop MapReduce 程序的驱动程序，负责设置作业的配置并启动 MapReduce 任务。

import org.apache.hadoop.conf.Configuration; // 导入 Hadoop 配置类  
import org.apache.hadoop.fs.Path; // 导入路径类，用于文件路径处理  
import org.apache.hadoop.io.Text; // 导入 Text 类，表示字符串形式的键  
import org.apache.hadoop.mapreduce.Job; // 导入 Job 类，用于定义一个 MapReduce 作业  
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; // 导入输入格式类  
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; // 导入输出格式类  public class StudentDriver {  public static void main(String[] args) throws Exception {  // 检查命令行参数数量，要求输入两个参数  if (args.length != 2) {  System.err.println("Usage: StudentDriver <input path> <output path>");  System.exit(-1); // 如果参数数量不对，打印用法并退出  }  // 创建 Hadoop 配置对象  Configuration conf = new Configuration();  // 创建一个新的 Job 实例，作业名称为 "Student Info Filter"  Job job = Job.getInstance(conf, "Student Info Filter");  // 设置程序的 Jar 文件位置  job.setJarByClass(StudentDriver.class);  // 设置使用的 Mapper 类  job.setMapperClass(StudentMapper.class);  // 设置 Mapper 的输出键值类型  job.setMapOutputKeyClass(Text.class); // 输出键的类型为 Text  job.setMapOutputValueClass(Student.class); // 输出值的类型为 Student（自定义类型）  // 设置最终输出的键值类型  job.setOutputKeyClass(Text.class); // 输出键的类型为 Text  job.setOutputValueClass(Student.class); // 输出值的类型为 Student  // 设置输入和输出路径  FileInputFormat.addInputPath(job, new Path(args[0])); // 设置输入路径  FileOutputFormat.setOutputPath(job, new Path(args[1])); // 设置输出路径  // 提交作业，并根据完成情况退出  System.exit(job.waitForCompletion(true) ? 0 : 1);  }  
}

        详细解释看代码注释。

4.运行程序

        首先给程序打包。

        然后给程序重命名。

        接着上传到hadoop中。        

        启动hadoop，并将程序上传到hadoop中。

./myhadoop.sh start 启动hadoop
cd /user/local/data     #转到文件夹下
ll    #查看是否上传成功
vim student #创立测试文件
hdfs dfs -put student /cs  #将student上传到/cs中

        注意：我这里有cs，如果没有的话，应该先用下面命令创建/cs

        hdfs dfs mkdir /cs  #在hadoop下创建一个cs文件。

        运行jar包：hadoop jar map.jar com.jyd.StudentDriver /cs /ssoutput

查看结果： hdfs dfs -cat /ssoutput/part-r-00000