Inpaint Anything: 自动化抹除视频元素
自动化抹除视频元素
不用逐帧抠图，直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。
https://github.com/geekyutao/Inpaint-Anything
目录
- 网站
- 演示
- 参考文献
网站
https://huggingface.co/spaces/InpaintAI/Inpaint-Anything
演示
原理就是，只要在视频的第一帧点击下要抹除的目标，tracking模型随即开始跟踪目标并输出对应的bounding box；这个bounding box可以作为SAM的prompt实现分割，即得到每一帧的目标mask；有了mask之后，video inpainting模型就可以进行填补了，目标物体随之从视频中抹去。
理论上上述方法非常可行有效，但做实验下来，发现实际瓶颈在于目前的video inpainting模型的效果不是非常好，导致最后目标移除的效果有限。
参考文献
https://arxiv.org/pdf/2304.06790.pdf
https://www.zhihu.com/question/612195663/answer/3120899437
