当前位置: 首页 > news >正文

RDD触发算子:一些常用的触发算子(count、foreach、saveAsTextFile、first)

文章目录

    • 1、count算子
      • 功能
      • 语法
    • 2、foreach算子
      • 功能
      • 语法
    • 3、saveAsTextFile算子
      • 功能
      • 语法
    • 4、first算子
      • 功能
      • 语法
      • 举例


1、count算子

功能

统计RDD集合中元素的个数,返回一个int值

语法

def count(self) -> int

2、foreach算子

功能

对RDD中每个元素调用一次参数中的函数,没有返回值【与map场景上的区别】

语法

def map(self , f: T -> U ) -> None

3、saveAsTextFile算子

功能

用于将RDD的数据保存到外部文件系统中

语法

def saveAsTextFile(self , path ) -> None

4、first算子

功能

返回RDD集合中的第一个元素【RDD有多个分区,返回的是第一个分区的第一个元素】

语法

def first(self) -> T

举例

如何构造sc对象并创建RDD 参考文章:
【Spark中创建RDD的两种方式】Spark中如何获取sc对象、以及创建RDD的两种方式

rdd1 = sc.parallelize([1,2,3,4,5,6,7,8,9],numSlices=3)
print(rdd1.first()) # 输出结果为 1
http://www.lryc.cn/news/487285.html

相关文章:

  • 搭建RAGFlow
  • css中的box-sizing,记录
  • 使用useCallback引发对闭包的理解
  • gvim添加至右键、永久修改配置、放大缩小快捷键、ctrl + c ctrl +v 直接复制粘贴、右键和还原以前版本(V)冲突
  • 腾讯云-COS
  • 蓝桥杯每日真题 - 第16天
  • 基因组之全局互作热图可视化
  • 基于Lora通讯加STM32空气质量检测WIFI通讯
  • STM32 极速入门第一天基础拓展 驱动i2c屏幕 ( 使用PlatformIO开发STM32单片机 )
  • 【WPF】Prism学习(五)
  • RabbitMQ的基本概念和入门
  • Shell脚本6 -- 条件判断if
  • 经验笔记:从生成 SSH 密钥到成功连接测试(以Gitee为例)
  • Object.defineProperty和响应式
  • 前端web
  • DDNet 服务器配置教程 Linux 环境
  • Vue 2 —监视器实现动态切换表单属性值
  • Qt_day10_程序打包(完结)
  • golang通用后台管理系统09(系统操作日志记录)
  • 如何确保爬取的数据准确性和完整性?
  • 【java】JDK安装
  • 科技改变工作方式:群晖NAS安装内网穿透实现个性化办公office文档分享(1)
  • 基于Java Springboot甘肃旅游管理系统
  • 03-axios常用的请求方法、axios错误处理
  • 《天体》游戏配置要求介绍
  • 【企业级分布式系统】 Kafka集群
  • MySQL 中有哪几种锁?
  • kafka中节点如何服役和退役
  • HTML5实现剪刀石头布小游戏(附源码)
  • 集群聊天服务器(3)muduo网络库