AIGC技术的学习 系列一

前言

在全球智能制造的大潮中，我们见证了技术的飞速发展与产业的深刻变革。然而，即便在这样的背景下，工业设计的道路上仍布满了堵点和痛点，它们如同顽石般阻碍着创新的脚步。随着人工智能生成内容（AIGC）技术的兴起与扩散，我们仿佛站在了一个新的起点。AIGC以其卓越的内容生成能力，正在逐步改变我们对创作过程的理解。它不仅能够辅助设计师快速产出多样化的设计方案，还能够在虚拟现实、增强现实等领域开辟新的应用场景，极大地丰富了设计的表达手法和交互体验。

一、AIGC技术演进

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

1.1 图像视频生成

在图像视频生成方面，生成技术逐渐从变分自编码器（VAEs）、流模型（Flow-based Models）、生成对抗网络（GANs）发展到扩散模型（Diffusions），其中GANs和Diffusions技术极大程度地推动了AIGC的发展，两种模型架构各有自己的特点，共同在图像、音频、视频、3D数据的生成领域发挥重要作用。

• 生成对抗网络（GANs）

  • 生成对抗网络（Generative Adversarial Networks，简称GAN）是由Ian Goodfellow在2014年提出的一种深度学习模型。GAN的核心思想是通过生成器（Generator）和判别器（Discriminator）之间的对抗训练，使得生成器能够生成逼真的数据样本。生成器的任务是从随机噪声中生成尽可能真实的数据样本，而判别器的任务则是区分输入数据是来自真实数据集还是生成器产生的。这两个网络在模型训练过程中相互竞争，共同进化，从而生成高质量的数据样本。
  • GAN的提出是AIGC技术发展的重要里程碑，GAN在图像生成、风格转换、数据增强、图像超分辨率重建、图像修复等领域均有广泛应用，但其训练过程的稳定性、模式崩溃问题、生成结果的多样性等缺点制约其进一步发展。为了解决GAN训练过程中出现的稳定性问题，研究者们提出了多种改进方法，如条件CGAN、PGGAN、CycleGAN、GigaGAN等，旨在提高生成样本的质量和多样性。
    

• 扩散模型（Diffusions）

  • 扩散模型（Diffusion）思想最早由Jascha Sohl-Dickstein于2015年在Deep Unsupervised Learning using Nonequilibrium Thermodynamics中提出，2020年Jonathan Ho提出DDPM将该思想融合进生成式深度学习模型，在此基础上，2021年Robin Rombach提出了Latent Diffusion，从此扩散模型得到了快速发展。扩散模型包含两个主要过程：前向扩散过程和逆向去噪过程。前向过程是逐步向数据中添加噪声的过程，直到最终得到纯高斯噪声。逆向过程则是从最终的噪声逐步恢复原图的过程，使用的是共享参数的U-Net结构。
  • 与生成对抗网络（GANs）相比，扩散模型在生成质量和训练稳定性上有明显优势。GANs在训练过程中存在不稳定性和模式崩溃的问题，这是由于GANs本质是minmax问题的求解，存在鞍点问题; Difffusions本质是标准的凸交叉熵损失最小化问题。扩散模型通过学习数据扩散和逆向去噪的过程，避免了这些问题，并能够生成更多样的样本。虽然在图像合成方面，扩散模型已经超越了GANs，成为了新的SOTA，但其自身存在条件控制和计算效率等问题。为了解决这些问题，研究者在此基础上提出了很多改进方法，如Controlnet、LayerDiffusion、MultiDiffusion、DIT等。

1.2. 文本生成

大型语言模型 (LLM) 主要是指参数量级在十亿级别以上的基于Transformer的与预训练语言模型（PLM