当前位置： 首页 > news >正文

reduce-scatter：适合分布式计算；Reduce、LayerNorm和Broadcast算子的执行顺序对计算结果的影响，以及它们对资源消耗的影响

news 2025/7/2 6:24:05

目录

Gather

Scatter

Reduce

reduce-scatter：适合分布式计算

Reduce、LayerNorm和Broadcast算子的执行顺序对计算结果的影响，以及它们对资源消耗的影响

计算结果理论正确性

资源消耗方面

Gather

这个也很好理解，就是把多个进程的数据拼凑在一起。

Scatter

不同于Broadcast， scatter可以将不同数据分发给不同的进程。

Reduce

reduce就是将多个进程中的数据按照指定的映射函数进行运算得到最后的结果存在一个进程中，例如下面两个图中的归约操作都是求和，将4个不同进程的数据归约求和后存在了第一个进程中

http://www.lryc.cn/news/485473.html

相关文章：

  • DAY64||dijkstra（堆优化版）精讲 ||Bellman_ford 算法精讲
  • 使用Git工具在GitHub的仓库中上传文件夹(超详细）
  • Python酷库之旅-第三方库Pandas(218)
  • 斗鱼大数据面试题及参考答案
  • 后仿真中的GLS测试用例的选取规则
  • 对接阿里云实人认证
  • UI库架构设计
  • 电子应用产品设计方案-9：全自动智能马桶系统设计方案
  • My_SQL day3
  • 【代码随想录day31】【C++复健】56. 合并区间；738.单调递增的数字
  • jmeter常用配置元件介绍总结之逻辑控制器
  • 解决Windows远程桌面 “为安全考虑，已锁定该用户账户，原因是登录尝试或密码更改尝试过多。请稍后片刻再重试，或与系统管理员或技术支持联系“问题
  • 中文书籍对《人月神话》的引用（161-210本）：微软的秘密
  • 关于写React的一些反思和总结
  • Qt 每日面试题 -10
  • 三正科技笔试题
  • Selective attention improves transformer详细解读
  • git配置用户信息
  • 【eNSP】路由基础与路由来源——静态路由实验
  • Python Web 应用开发基础知识
  • STM32 标准库函数 GPIO_SetBits、GPIO_ResetBits、GPIO_WriteBit、GPIO_Write 区别
  • 【Redis_Day4】内部编码和单线程模型
  • Vue模块化开发的理解
  • 在Ubuntu22.04上源码构建ROS noetic环境
  • 算法--解决二叉树遍历问题
  • [刷题]入门1.矩阵转置
  • Flutter开发之flutter_local_notifications
  • Gradle和maven
  • RabbitMQ教程：发布/订阅模式（Publish/Subscribe）（三）
  • 服务器被挂马怎么办？——解决服务器被挂马的方法和步骤