《昇思 25 天学习打卡营第 18 天 | 扩散模型（Diffusion Models） 》
《昇思 25 天学习打卡营第 18 天 | 扩散模型（Diffusion Models） 》
活动地址：https://xihe.mindspore.cn/events/mindspore-training-camp
签名：Sam9029
扩散模型（Diffusion Models）
扩散模型概述
扩散模型（Diffusion Models），特别是去噪扩散概率模型（DDPM），在图像、音频、视频生成领域取得了显著成果。这类模型通过逐步添加和去除噪声来生成数据，与GAN或VAE等其他生成模型相比，具有独特的优势。
实验环境准备
确保安装了MindSpore深度学习框架及其他必要的库。如果需要更换MindSpore版本，可以通过以下命令进行更新：
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
模型简介
Diffusion模型包括两个主要过程：正向扩散过程和逆向去噪过程。正向过程逐步添加噪声，逆向过程则通过训练神经网络逐步去除噪声，恢复图像。
关键概念
- 正向扩散：向图像添加噪声直至变为纯噪声。
- 逆向去噪：学习如何去除噪声，恢复原图。
数据准备与处理
使用Fashion-MNIST数据集，通过MindSpore的ImageFolderDataset进行加载，并进行必要的图像预处理，如随机水平翻转和缩放到固定大小。
模型构建
构建Diffusion模型需要定义多个组件，包括位置向量、ResNet/ConvNeXT块、Attention模块等。这些组件共同构成U-Net结构。
核心组件
- 位置向量：使用正弦位置嵌入编码时间步长信息。
- U-Net结构：结合编码器、瓶颈层和解码器，引入残差连接改善梯度流。
正向扩散过程
定义时间步长和噪声水平，通过前向扩散函数q_sample添加噪声。
训练过程
设置动态学习率和U-Net模型参数，使用Adam优化器进行训练。训练过程中，神经网络学习预测噪声，优化损失函数。
训练步骤
- 定义前向过程和损失函数。
- 使用随机梯度下降优化神经网络。
推理过程（从模型中采样）
通过sample函数从模型中采样图像，展示模型生成效果。
采样步骤
- 从高斯分布中采样纯噪声。
- 使用神经网络逐渐去噪，生成图像。
总结与思考
DDPM论文指出扩散模型是图像生成的有前途的方向。尽管如此，扩散模型的主要缺点是生成图像需要多次正向传递。未来的研究可能集中在如何减少去噪步骤，提高生成效率。
后续工作
- 改进的去噪扩散概率模型，学习条件分布的方差。
- 级联扩散模型，用于高保真图像合成。
- 无分类器扩散指南，不需要分类器指导。
个人思考
在实践过程中发现扩散模型的关键在于如何平衡正向扩散和逆向去噪的过程。此外，模型的性能在很大程度上取决于U-Net结构的设计和优化。尽管当前的实现可能需要多次迭代，但随着研究的深入，扩散模型有望在生成任务中达到更高的效率和质量。