当前位置: 首页 > news >正文

7 | 计算每个键对应的平均值,并按降序排序

假设您有一个包含销售订单的RDD,其中每个元素是一个键值对,其中键表示产品名称,值表示销售数量。您希望按产品名称对销售订单进行分组,并计算每个产品的总销售数量。最后,希望获得每个产品的总销售数量以及按产品名称分组的详细销售订单列表。

  1. 计算每个键对应的总和和计数。
  2. 计算每个键对应的平均值,并按降序排序。
  3. 打印每个键的平均值。

需求:

  1. 从CSV文件加载数据,CSV文件的格式如下:

    A,1
    B,2
    A,3
    C,4
    B,5
    
  2. 使用map操作将每行数据转换为键值对形式的RDD,其中键是CSV文件的第一列,值是CSV文件的第二列。

  3. 使用reduceByKey聚合数据,计算每个键对应的总和和计数。结果形式为(键, (总和, 计数))

  4. 打印每个键对应的总和和计数。

  5. 计算每个键对应的平均值,即总和除以计数。

  6. 按降序排序平均值,并打印排序后的结果。

package com.bigdata;import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.
http://www.lryc.cn/news/150983.html

相关文章:

  • kafka详解二
  • SAP_ABAP_接口技术_RFC远程函数实践总结
  • 计算机 --> 磁盘 --> 分区
  • 3D视觉测量:形位公差 平面度测量(附源码)
  • vmware虚拟机远程开发
  • Web安全——穷举爆破上篇(仅供学习)
  • POJ 3045 Cow Acrobats 二分+优先队列
  • 手写实现call() apply() bind()函数,附有详细注释,包含this指向、arguments讲解
  • MySQL中日期、时间直接相减的坑
  • 漏洞发现-web应用发现探针类型利用(43)
  • 专门针对开发人员,攻击者利用Rust获取操作系统信息
  • PHP8的箭头函数-PHP8知识详解
  • 初识PHP编程:探索Web开发的起点
  • Git——Windows平台创建gitee私有仓库详解
  • Git基础教程-常用命令整理:学会Git使用方法和错误解决
  • Ops实践 | 国产化KylinOS系统中快速部署企业内部高性能DNS服务器、时间同步服务器 (精选)...
  • stm32之IIC协议
  • 范式 事务 多表查询
  • 基于白鲸算法优化的BP神经网络(预测应用) - 附代码
  • java并发编程 ReentrantLock详解
  • Java获取文件内容IO流
  • Java后端开发面试题——集合篇
  • 如何允许远程访问MySQL
  • 001图机器学习与图神经网络简介
  • 万级数据优化EasyExcel+mybatis流式查询导出封装
  • Unity——脚本序列化
  • es(Elasticsearch)介绍
  • C++中使用 do…while 循环
  • 开源vue动态表单组件
  • 怎么从0到1创建一个PHP框架-1?