当前位置: 首页 > news >正文

【Pytorch✨】LSTM04 l理解长期记忆和短期记忆

1. C_t(长期记忆)的特点

它是细胞状态(Cell State),从 t=1 一直传到最后 。
更新方式
Ct = ft *Ct-1 + it *Ct

  • ft *Ct-1 → 旧记忆(经过遗忘门过滤)
  • it *Ct → 新记忆(经过输入门筛选)

关键点

  • C_t 只经过“加法”更新,不经过太多非线性变换,所以信息可以长期保留
  • 遗忘门 ft 可以让旧记忆部分保留很久(甚至很多时间步)
  • 它更像是一本“历史记录本”,有很强的跨时间步信息传递能力

类比

C_t 就像一个人的长期记忆库,你小时候的记忆、昨天的经历、今天早上的早餐……都可能存放在里面,除非你主动遗忘。


2. h_t(短期记忆)的特点

  • 它是输出状态(Hidden State),既包含当前时刻的重要信息,也受当前 C_t 调整

  • 计算方式

    • 先对 C_t 做一次 tanh 压缩(信息被过滤、范围限制)
    • 再用输出门 o_t 决定要输出多少

关键点

  • h_t 是每一步“加工过”的信息,带有很强的即时性
  • 因为每次都会重新计算,并且经过 tanh,所以 h_t 更容易受到当前输入和当前状态影响
  • 不适合长时间保留细节信息,更适合传递“当前时刻的精华”

类比

h_t 就像你现在正在和别人对话时,能马上说出口的内容,它依赖于你的长期记忆(C_t),但会根据当前情境提取一部分。


3. 总结对比

对象全称作用保留时间更新方式类比
C_tCell State长期记忆很久(跨多个时间步)遗忘门 + 输入门(加法更新)长期记忆库
h_tHidden State短期记忆 / 当前输出当前时间步(下一步会重新生成)输出门 + tanh当前说出口的话
http://www.lryc.cn/news/610133.html

相关文章:

  • 第12届蓝桥杯Scratch_选拔赛_初级组_真题2020年8月23日
  • 神经网络---非线性激活
  • C++进阶-封装红黑树模拟实现map和set(难度较高)
  • 李沐写作笔记
  • 嵌入式 C 语言入门:函数指针基础笔记 —— 从计算器优化到指针本质
  • SurferCloud vs LightNode 海外云服务商详细对比
  • 【无标题】标准 I/O 中的一些函数,按功能分类说明其用法和特点
  • [特殊字符] 50 天 50 个项目 — 完结篇
  • 【Docker安装】Ubuntu 24.04.2 LTS系统下安装Docker环境——指定APT源安装方式
  • 基于MobileNet卷积神经网络和Xception神经网络算法的人脸表情识别系统的设计与实现
  • C语言的控制语句
  • 每日一leetcode:移动零
  • 【Java】HashMap线程安全吗?
  • allegro建库--1
  • 【云馨AI-大模型】2025年8月第一周AI浪潮席卷全球:创新与政策双轮驱动
  • MLS平滑滤波
  • 洛谷 P3373 【模板】线段树 2- 普及+/提高
  • 《Python 实用项目与工具制作指南》· 3.1 实战·开发题目数据生成器
  • 思科 UCS Fabric Interconnect 和 UCS Manager 简介
  • 比起登天,孙宇晨更需要安稳着陆
  • C语言编程中常用的预定义宏
  • 浅谈 Python 中的 next() 函数 —— 迭代器的驱动引擎
  • 【深度学习新浪潮】近三年城市级数字孪生的研究进展一览
  • push/pop字节对齐使用场景
  • Next Terminal 实战:内网无密码安全登录
  • cocos2 场景跳转传参
  • 佰力博检测与您探讨介温谱和介电谱的区别?
  • 【实战】Dify从0到100进阶--中药科普助手(1)
  • 7.1、《软件工程》-软件生命周期-CMM-开发模型
  • 【2025/08/04】GitHub 今日热门项目