Stable Diffusion 长视频真人动画风格互转
Stable Diffusion Temporal-Kit和EbSynth 从娱乐到商用
- 1. Temporal Kit 和 EbSynth
- 1.1 提取关键帧
- 1.2 关键帧风格迁移
- 1.3 生成序列帧
- 2. 真人转卡通
- 3. 卡通转真人
- 4. 编辑技巧
- 5. ControlNet + TemporalNet + 达芬奇Fusion
- 6. Rerender A Video
- 7. DiffSynth-Studio
基于SD的风格化编辑主流方式：
- ControlNet-M2M
- ControlNet img2img
- Mov2mov extension
- SD-CN Animation extension
- Temporal Kit
- Temporal Kit + EbSynth
- EbSynth插件
问题：重绘幅度调整太小，基本上和换脸视频差不多，服装通过lora调整加入，关键词权重调很高，基本上不能把视频中的衣服换掉。尝试各种参数设置，效果可能都不是很好。
减少虚影：减少动画插帧数量。
1. Temporal Kit 和 EbSynth
Temporal Kit 和 EbSynth 都是视频风格转换的工具，用于提取关键帧、补全非关键帧。配合各种SD模型的使用方法：
- TemporalKit / Ebsynth提取关键帧
- Stable Diffusion 风格迁移
- TemporalKit / Ebsynth补全重绘后的关键帧图片之间的序列帧，并拼合出了视频。
区别：用Ebsynth进行补帧和合成，相比于Temporal-kit插件Ebsynth utility生成步骤清晰，后期还能指定更换背景。但Ebsynth utility插件生成的重绘效果有些图片会有阴影，需要单独挑出来再次