深度学习视频编解码开源项目介绍【持续更新】
DVC (Deep Video Compression)
- 介绍：DVC (Deep Video Compression) 是一个基于深度学习的视频压缩框架，它的目标是通过深度神经网络来提高视频编码的效率，并降低比特率，同时尽可能保持视频质量。DVC 是一个端到端的神经网络模型，它在压缩视频时利用了视频帧之间的时间冗余和空间冗余来进行优化，特别是通过光流估计和预测帧来减少需要编码的比特数。
- GitHub：https://github.com/GuoLusjtu/DVC
VCT (Video Compression Transformer)
- 介绍：VCT (Video Compression Transformer) 是一种基于 Transformer 的深度学习视频压缩模型，旨在利用 Transformer 架构强大的长程依赖建模能力，在视频压缩中实现更高效的压缩性能和更优的视觉质量。与传统的卷积神经网络（CNN）相比，Transformer 擅长处理具有长距离依赖关系的数据，这使得它在视频编码中能够更好地捕捉帧之间的全局信息，从而提高压缩效率。
- GitHub：https://github.com/google-research/google-research/tree/master/vct
Scale-Space Flow (SSF)
-
介绍：Scale-Space Flow (SSF) 是一种基于深度学习的视频压缩方法，它通过结合多尺度光流估计和深度神经网络，优化视频压缩中的时空冗余。SSF 的核心思想是通过提取视频中的时空特征，尤其是视频帧之间的运动信息（光流），来有效地压缩视频数据。这个方法主要应用于提高视频压缩的效率，同时保持较高的视觉质量。
-
论文地址：基于尺度空间流的端到端视频压缩优化方法
OpenDVC
- 介绍：OpenDVC 是一个开源的深度学习视频压缩框架，旨在通过深度学习方法优化视频编码和压缩，类似于其他深度学习视频压缩框架，如 DVC (Deep Video Compression)。OpenDVC 提供了一个基于深度神经网络的视频编码器和解码器，旨在显著提高视频压缩效率，同时保持高质量的视觉效果。与传统的视频编码标准（如 H.264 和 HEVC）相比，OpenDVC 利用神经网络模型来自动学习视频的时空特征，从而进行更高效的压缩。
- GitHub：https://github.com/RenYang-home/OpenDVC
DCVC (Deep Contextual Video Compression)
- 介绍：DCVC (Deep Contextual Video Compression) 是一种基于深度学习的视频压缩方法，它采用深度神经网络来提高视频压缩的效率，并着重于利用视频中的上下文信息来优化编码和解码过程。DCVC 旨在通过深度学习的方式，从视频的上下文信息中提取更加精准的特征，进而提高压缩率和视频质量。
- GitHub：https://github.com/microsoft/DCVC
CompressAI
-
介绍：CompressAI 是一个开源的深度学习视频和图像压缩框架，旨在通过深度学习技术提供高效的图像和视频压缩算法。该框架是由 InterDigital 研究团队开发的，旨在推动现代深度学习方法在数据压缩中的应用。CompressAI 支持基于神经网络的图像和视频压缩模型，涵盖了从端到端训练的压缩方法到基于学习的图像和视频编码器/解码器架构。
-
GitHub：https://github.com/InterDigitalInc/CompressAI
NeRV (Neural Representation for Videos)
- 介绍：NeRV (Neural Representation for Videos) 是一种基于神经网络的视频表示方法，旨在通过神经网络学习和表示视频数据的高效压缩形式。它的核心思想是使用神经网络作为压缩和重建的工具，将视频内容映射到一个低维度的潜在空间，从而达到高效的视频压缩和重建。
NeRV 采用了一种神经表示（Neural Representation）方法，不同于传统的视频压缩方法（如 H.264、HEVC、VVC 等），NeRV 利用深度神经网络的强大表达能力，去学习视频帧的低维表示，并通过这种表示来进行视频的高效编码与解码。 - GitHub：https://github.com/haochen-rye/NeRV