当前位置: 首页 > news >正文

【pytorch】nn.linear 中为什么是y=xA^T+b

我记得读教材的时候是y=Wx+b, 左乘矩阵W,这样才能表示线性变化。
但是pytorch中的nn.linear中,计算方式是y=xA^T+b,其中A是权重矩阵。
为什么右乘也能表示线性变化操作呢?因为pytorch中,照顾到输入是多个样本一起算的(第一个维度是多个样本数,所以输入默认是行向量),所以用y=xA^T+b,输出的y也是行向量。

在这里插入图片描述

我们的教材中默认输入是列向量的,而pytorch为了用户方便,输入当作列向量,维度为(batch, dim),每行是特征

m = nn.Linear(20, 30)
input = torch.randn(128, 20)
output = m(input)print(output.size())
>>> torch.Size([128, 30])
print(m.weight.shape)
>>>torch.Size([30, 20])  # 注意这里的权重维度

我们再看一张图片,理解一下代码中的实现逻辑:
在这里插入图片描述

至此应该对代码的实现很理解了,但是需要注意,大家写文章中用的都还是Wx+b的写法。
不管怎样,文章和代码都是能对应上的,最多是表示方式的区别(有的用行向量,有的用列向量)

http://www.lryc.cn/news/293273.html

相关文章:

  • vite打包原理
  • 导出pdf 加密、加水印、加页脚
  • Flutter 仿抖音 TikTok 上下滑动 播放视频
  • 计算机网络——网络层(2)
  • 01-16Maven-SpringBoot入门
  • 微信小程序(二十七)列表渲染改变量名
  • k8s之安装部署及kuboard发布应用
  • JProfiler for Mac:提升性能和诊断问题的终极工具
  • 力扣202-快乐数
  • 牛客寒假训练营H题
  • ubuntu22.04@laptop 常用基础环境安装
  • Linux第41步_移植ST公司uboot的第2步_修改网络驱动_USB OTG设备树_LCD驱动_以及编译和烧写测试
  • 瑞芯微1808模型转换(onnx到rknn)环境配置过程
  • 测试ASP.NET Core项目调用EasyCaching的基本用法(InMemory)
  • 机器学习系列-2 线性回归训练损失
  • spring-boot-actuator 服务监控
  • 窥探向量乘矩阵的存内计算原理—基于向量乘矩阵的存内计算
  • Python flask 表单详解
  • 【Tomcat与网络3】Tomcat的整体架构
  • k8s中cert-manager管理https证书
  • 如何搭建私有云盘SeaFile并实现远程访问本地文件资料
  • Centos7安装Nginx-1.21
  • React 面试题
  • Postgresql使用update
  • Django视图函数技巧,从入门到实战
  • 部署实战--修改jar中的文件并重新打包成jar文件
  • RT-Thread线程管理(使用篇)
  • 【HarmonyOS】鸿蒙开发之ArkTs初步认识——第2.1章
  • 随手记:uni-app中使用iconfont彩色图标
  • 02-OpenFeign-微服务接入