动手学深度学习｜notebook教程

面向中文读者的能运行、可讨论的深度学习教科书

含 PyTorch、NumPy/MXNet、TensorFlow 和 PaddlePaddle 实现

被全球 70 多个国家 500 多所大学用于教学
github
下面是整理好的，可以直接运行的notebook

• 0 前言
• 1 引言
• 2 预备知识
  • 2.1 数据操作
  • 2.2 数据预处理
  • 2.3 线性代数
  • 2.4 微积分
  • 2.5 自动微分
  • 2.6 概率
  • 2.7 查阅文档
• 3 线性神经网络
  • 3.1 线性回归
  • 3.2 线性回归的从零开始实现
  • 3.3 线性回归的简洁实现
  • 3.4 softmax回归
  • 3.5 图像分类数据集
  • 3.6 softmax回归的从零开始实现
  • 3.7 softmax回归的简洁实现
• 4 多层感知机
  • 4.1 多层感知机
  • 4.10 实战Kaggle比赛：预测房价
  • 4.2 多层感知机的从零开始实现
  • 4.3 多层感知机的简洁实现
  • 4.4 模型选择、欠拟合和过拟合
  • 4.5 权重衰减
  • 4.6 暂退法（Dropout）
  • 4.7 前向传播、反向传播和计算图
  • 4.8 数值稳定性和模型初始化
  • 4.9 环境和分布偏移
• 5 深度学习计算
  • 5.1 层和块
  • 5.2 参数管理
  • 5.3延后初始化
  • 5.4 自定义层
  • 5.5 读写文件
  • 5.6 GPU
• 6 卷积神经网络
  • 6.1 从全连接层到卷积
  • 6.2 图像卷积
  • 6.3 填充和步幅
  • 6.4 多输入多输出通道
  • 6.5 汇聚层
  • 6.6 卷积神经网络（LeNet）
• 7 现代卷积神经网络
  • 7.1 深度卷积神经网络（AlexNet）
  • 7.2 使用块的网络（VGG）
  • 7.3 网络中的网络（NiN）
  • 7.4 含并行连结的网络（GoogLeNet）
  • 7.5 批量规范化
  • 7.6 残差网络（ResNet）
  • 7.7稠密连接网络（DenseNet）
• 8 循环神经网络
  • 8.1 序列模型
  • 8.2 文本预处理
  • 8.3 语言模型和数据集
  • 8.4 循环神经网络
  • 8.5 循环神经网络的从零开始实现
  • 8.6 循环神经网络的简洁实现
  • 8.7 通过时间反向传播
• 9 现代循环神经网络
  • 9.1 门控循环单元（GRU）
  • 9.2 长短期记忆网络（LSTM）
  • 9.3 深度循环神经网络
  • 9.4 双向循环神经网络
  • 9.5 机器翻译与数据集
  • 9.6 编码器-解码器架构
  • 9.7 序列到序列学习（seq2seq）
  • 9.8 束搜索
• 10. 注意力机制
  • 10.1 注意力提示
  • 10.2 注意力汇聚：Nadaraya-Watson 核回归
  • 10.3 注意力评分函数
  • 10.4 Bahdanau 注意力
  • 10.5 多头注意力
  • 10.6 自注意力和位置编码
  • 10.7 Transformer
• 11 优化算法
  • 11.1 优化和深度学习
  • 11.10 Adam算法
  • 11.11 学习率调度器
  • 11.2 凸性
  • 11.3 梯度下降
  • 11.4 随机梯度下降
  • 11.5 小批量随机梯度下降
  • 11.6 动量法
  • 11.7 AdaGrad算法
  • 11.8 RMSProp算法
  • 11.9 Adadelta
• 12 计算性能
  • 12.1 编译器和解释器
  • 12.2异步计算
  • 12.3自动并行
  • 12.4硬件
  • 12.5多GPU训练
  • 12.6 多GPU的简洁实现
  • 12.7参数服务器
• 13 计算机视觉
  • 13.1 图像增广
  • 13.2 微调
  • 13.3 目标检测和边界框
  • 13.4 锚框
  • 13.5 多尺度目标检测
  • 13.6 目标检测数据集
  • 13.7 单发多框检测（SSD）
  • 13.8 区域卷积神经网络（R-CNN）系列
  • 13.9 语义分割和数据集
  • 13.10 转置卷积
  • 13.11 全卷积网络
  • 13.12 风格迁移
  • 13.13 实战 Kaggle 比赛：图像分类 (CIFAR-10)
  • 13.14 实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
• 14 自然语言处理：预训练
  • 14.1 词嵌入（word2vec）
  • 14.10 预训练BERT
  • 14.2 近似训练
  • 14.3 用于预训练词嵌入的数据集
  • 14.4 预训练word2vec
  • 14.5 全局向量的词嵌入（GloVe）
  • 14.6 子词嵌入
  • 14.7 词的相似性和类比任务
  • 14.8 来自Transformers的双向编码器表示（BERT）
  • 14.9 用于预训练BERT的数据集
• 15 自然语言处理：应用
  • 15.1 情感分析及数据集
  • 15.2 情感分析：使用循环神经网络
  • 15.3 情感分析：使用卷积神经网络
  • 15.4 自然语言推断与数据集
  • 15.5 自然语言推断：使用注意力
  • 15.6 针对序列级和词元级应用微调BERT
  • 15.7 自然语言推断：微调BERT