MusicHiFi: Fast High-Fidelity Stereo Vocoding
MusicHiFi: Fast High-Fidelity Stereo Vocoding
相关链接：arxiv github
关键字：音乐生成、高保真立体声、立体声编解码器、生成对抗网络、频带扩展
摘要
MusicHiFi是一种高效的高保真立体声编解码器，它通过将低分辨率的mel频谱图转换为音频，并通过频带扩展提高音频分辨率，最终通过立体声混音生成立体声音频。与以往的工作相比，MusicHiFi提出了一个统一的基于生成对抗网络（GAN）的生成器和鉴别器架构，以及每个阶段的训练过程。此外，还提出了一种新的快速、与下采样兼容的频带扩展模块，以及一种新的快速、与下混音兼容的单声道到立体声混音器，确保输出中保留单声道内容。通过客观和主观的听力测试评估了该方法，并发现其在音频质量、空间化控制方面具有可比性或更优，并且推理速度显著快于以往的工作。
核心方法
- 统一的GAN架构：MusicHiFi采用了三个生成对抗网络（GAN）的级联，每个GAN都使用相同的生成器和鉴别器架构，以及训练目标和模型大小。
- 频带扩展（BWE）：通过在低分辨率音频和高分辨率音频之间添加残差连接，并使用sinc插值块进行上采样，以生成高频内容。
- 单声道到立体声（M2S）混音：使用中侧（mid-side）立体声编码将单声道音频信号转换为立体声信号，并通过调整中侧能量比来控制空间化宽度。
实验说明
实验使用了1800小时的授权器乐音乐（立体声44.1 kHz）作为内部数据集。对于vocoder，使用16,384个样本的随机裁剪，并应用特定的预处理。对于BWE模块，使用与vocoder相同的预处理，但窗口和跳跃大小减半。对于M2S模块，使用与vocoder相同的STFT设置。训练目标使用了特定的权重，并在500k步后选择了最优的检查点。
实验结果数据
| 数据集 | 方法 | Mel-D↓ | STFT-D↓ | ViSQOL↑ | SI-SDR↑ | RTF↑ |
|---|---|---|---|---|---|---|
| DSD100 | HiFi-GAN [14] | 1.09 | 0.65 | 4.47 | 28.62 | 3488 |
| FMA | MusicHiFi-V | 0.87 | 0.35 | 4.67 | 31.57 | 1807 |
结论
MusicHiFi提出了一种新的高效、高保真的立体声编解码方法。该方法通过三个GAN模型的级联，将mel频谱图转换为低质量的音频波形，通过频带扩展将低分辨率音频上采样为高分辨率音频，并最终渲染出高分辨率的立体声音频。与以往的工作相比，MusicHiFi贡献了一个统一的基于GAN的鉴别器和生成器设计，一个新的与下采样兼容的BWE模块，以及一个新颖的保留单声道内容的单声道到立体声模块。通过客观评估和两次主观听力测试，发现MusicHiFi在vocding和BWE结果上具有可比性或更优，并且在空间化宽度控制方面表现更好，效率极高。