MoneyPrinter国内版改造
背景:
MoneyPrinter 是一个自动生成短视频的开源项目。只需要输入短视频主题,然后就可以生成视频。
在国内环境运行时,框架中使用的youtube、抖音文字转语音等功能无法使用,需要对框架进行国内版改造,使其使用国内网络环境。
实现原理:
MoneyPrinter根据输入的主题,调用AI生成视频文案,然后生成检索关键字,去pixel网站检索相关的视频,然后调用语音合成工具生成音频,调用moviepy生成字符,最后将生成的音频、视频、字幕进行合并,完成视频拼接。
关键步骤:
- AI文案:调用g4f,自动检索可用的AI接口。你可以替换成自己付费的API模型,也可以让他自己检索可用的免费AI
- pixel网站:需要你配置自己的账号秘钥,以供接口调用时使用,完全免费的。国内可访问。
- 语音合成工具:将视频脚本转换为语音。
- moviepy:拼接视频
国内版改造:
-
youtube 自动上传功能
-
文字转音频,需要换替换国内可用服务器。之前分享的文章
-
字幕转换,需要转换为中文版
def generate_response(prompt: str, ai_model: str) -> str:"""Generate a script for a video, depending on the subject of the video.Args:video_subject (str): The subject of the video.ai_model (str): The AI model to use for generation.Returns:str: The response from the AI model."""if ai_model == 'g4f':# 使用最新版本的调用方法client = g4f.client.Client()response = client.chat.completions.create(model='gpt-3.5-turbo',messages=[{"role": "user", "content": prompt}],).choices[0].message.contentelif ai_model in ["gpt3.5-turbo", "gpt4"]:model_name = "gpt-3.5-turbo" if ai_model == "gpt3.5-turbo" else "gpt-4-1106-preview"response = openai.chat.completions.create(model=model_name,messages=[{"role": "user", "content": prompt}],).choices[0].message.contentelif ai_model == 'gemmini':model = genai.GenerativeModel('gemini-pro')response_model = model.generate_content(prompt)response = response_model.textelse:raise ValueError("Invalid AI model selected.")return responsedef translate_text(txt: str, /, *, language='Chinese', ai_model: str) -> str:logger.debug(f'待翻译的内容: {txt} \n'f'待翻译为的语言:{language}')prompt = f"translate the following text into {language}: {txt}"logger.debug(f'使用的AI模型:{ai_model}')response = generate_response(prompt, ai_model)logger.info(f'翻译结果:: {response}')return response
-
最终输入的视频存在只显示第一帧画面的问题(
调用moviepy模块后补充close()方法
)
-
使用loguru进行日志管理。
国内版项目使用步骤:
-
项目代码
-
安装ImageMagick
-
修改项目配置文件:
- ImageMagick, 指定安装路径
- PEXELS_API_KEY,填写账号token
- 如果有,AI模型token
# Necessary API Keys # -------------------# ImageMagick Binary Path # Download ImageMagick from https://imagemagick.org/script/download.php IMAGEMAGICK_BINARY="/Downloads/ImageMagick/iMagick/usr/local/bin/magick"# Pexels API Key # Register at https://www.pexels.com/api/ to get your API key. PEXELS_API_KEY=""# Optional API Keys # -----------------# OpenAI API Key # Visit https://openai.com/api/ for details on obtaining an API key. #OPENAI_API_KEY=""# AssemblyAI API Key # Sign up at https://www.assemblyai.com/ to receive an API key. #ASSEMBLY_AI_API_KEY=""
-
后端服务启动
/Backend$ python main.py
-
前端服务启动
python -m http.server 3000
-
浏览器调用
http://127.0.0.1:3000/
-
输入主题,生成第一个视频
-
查看视频
http://127.0.0.1:3000/static/temp/