当前位置: 首页 > news >正文

音乐人声分离工具:极简的人声和背景音乐分离工具

项目地址:jianchang512/vocal-separate: an extremely simple tool for separating vocals and background music, completely localized for web operation, using 2stems/4stems/5stems models 这是一个极简的人声和背景音乐分离工具,本地化网页操作,无需连接外网 (github.com)

这是一个极简的人声和背景音乐分离工具,本地化网页操作,无需连接外网,使用 2stems/4stems/5stems 模型。

将一首歌曲或者含有背景音乐的音视频文件,拖拽到本地网页中,即可将其中的人声和音乐声分离为单独的音频wav文件,可选单独分离“钢琴声”、“贝斯声”、“鼓声”等

自动调用本地浏览器打开本地网页,模型已内置,无需连接外网下载。

支持视频(mp4/mov/mkv/avi/mpeg)和音频(mp3/wav)格式

只需点两下鼠标,一选择音视频文件,二启动处理。

1、视频演示

2、预编译Win版使用方法/Linux和Mac源码部署

  1. 点击此处打开Releases页面下载预编译文件

  2. 下载后解压到某处,比如 E:/vocal-separate;

  3. 双击 start.exe ,等待自动打开浏览器窗口即可;

  4. 点击页面中的上传区域,在弹窗中找到想分离的音视频文件,或直接拖拽音频文件到上传区域,然后点击“立即分离”,稍等片刻,底部会显示每个分离文件以及播放控件,点击播放;

  5. 如果机器拥有英伟达GPU,并正确配置了CUDA环境,将自动使用CUDA加速。

3、源码部署(Linux/Mac/Window)

  1. 要求 python 3.9->3.11

  2. 创建空目录,比如 E:/vocal-separate, 在这个目录下打开 cmd 窗口,方法是地址栏中输入 cmd, 然后回车。使用git拉取源码到当前目录 git clone git@github.com:jianchang512/vocal-separate.git .

  3. 创建虚拟环境 python -m venv venv

  4. 激活环境,win下命令 %cd%/venv/scripts/activate,linux和Mac下命令 source ./venv/bin/activate

  5. 安装依赖: pip install -r requirements.txt

  6. win下解压 ffmpeg.7z,将其中的ffmpeg.exe和ffprobe.exe放在项目目录下, linux和mac  到 ffmpeg官网下载对应版本ffmpeg,解压其中的ffmpegffprobe二进制程序放到项目根目录下

  7. 下载模型压缩包,在项目根目录下的 pretrained_models 文件夹中解压,解压后,pretrained_models中将有3个文件夹,分别是2stems/3stems/5stems

  8. 执行 python  start.py ,等待自动打开本地浏览器窗口。

API 接口

接口地址: http://127.0.0.1:9999/api

请求方法: POST

请求参数:

file: 要分离的音视频文件model: 模型名称 2stems,4stems,5stems

返回响应: json code:int, 0 处理成功完成,>0 出错

msg:str,  出错时填充错误信息data: List[str], 每个分离后的wav url地址,例如 ['http://127.0.0.1:9999/static/files/2/accompaniment.wav']status_text: dict[str,str], 每个分离后wav文件的包含信息,{'accompaniment': '伴奏', 'bass': '低音', 'drums': '鼓', 'other': '其他', 'piano': '琴', 'vocals': '人声'}
import requests
# 请求地址
url = "http://127.0.0.1:9999/api"
files = {"file": open("C:\\Users\\c1\\Videos\\2.wav", "rb")}
data={"model":"2stems"}
response = requests.request("POST", url, timeout=600, data=data,files=files)
print(response.json()){'code': 0, 'data': ['http://127.0.0.1:9999/static/files/2/accompaniment.wav', 'http://127.0.0.1:9999/static/files/2/vocals.wav'], 'msg': '分离成功
', 'status_text': {'accompaniment': '伴奏', 'bass': '低音', 'drums': '鼓', 'other': '其他', 'piano': '琴', 'vocals': '人声'}}

CUDA 加速支持

安装CUDA工具 详细安装方法

如果你的电脑拥有 Nvidia 显卡,先升级显卡驱动到最新,然后去安装对应的 CUDA Toolkit 11.8 和 cudnn for CUDA11.X。

安装完成成,按Win + R,输入 cmd然后回车,在弹出的窗口中输入nvcc --version,确认有版本信息显示,类似该图 

然后继续输入nvidia-smi,确认有输出信息,并且能看到cuda版本号,类似该图 

注意事项

  1. 中文音乐或中式乐器,建议选择使用2stems模型,其他模型对“钢琴、贝斯、鼓”可单独分离出文件
  2. 如果电脑没有NVIDIA显卡或未配置cuda环境,不要选择 4stems和5stems模型,尤其是处理较长时长的音频时, 否则很可能耗尽内存
http://www.lryc.cn/news/284301.html

相关文章:

  • Go语言基础快速上手
  • Excel 根据日期按月汇总公式
  • 使用 crypto-js 进行 AES 加解密操作
  • Vue-30、Vue非单文件组件。
  • 7-6 实验2_1_判断两数的大小
  • POKT Network (POKT) :进军百亿美元市场规模的人工智能推理市场
  • 【STM32】STM32学习笔记-I2C通信外设(34)
  • 从数据角度分析年龄与NBA球员赛场表现的关系【数据分析项目分享】
  • 深入浅出Spring AOP
  • 火速收藏!2024 新年微信红包封面领取全攻略
  • 【RabbitMQ】RabbitMQ安装与使用详解以及Spring集成
  • 企业多云组网怎么办?
  • 背包问题(贪心) 二维01背包问题 Java
  • 2019年认证杯SPSSPRO杯数学建模D题(第二阶段)5G时代引发的道路规划革命全过程文档及程序
  • 可视化k8s页面(Kubepi)
  • 1434. 数池塘(四方向)-深度优先搜索-DFS
  • Mysql:重点且常用的操作和理论知识整理 ^_^
  • 小车辅助脚本编写
  • Modern C++ 一个例子学习条件变量
  • ora-12154无法解析指定的连接标识符
  • rust跟我学三:文件时间属性获得方法
  • 解决一个mysql的更新属性长度问题
  • [网络安全]DHCP 部署与安全
  • 自建ES集群
  • git rev-parse v406 ‘v4.0.4‘^{} master什么意思?
  • AI 编程的机会和未来:从 Copilot 到 Code Agent
  • git push --set-upstream origin master时超时失败的解决方案
  • beego的模块篇 - config自定义文件配置
  • YOLOv5-第Y2周:训练自己的数据集
  • 解决fxml图标无法显示