当前位置: 首页 > news >正文

使用腾讯混元(HunYuanVideo)视频模型FP8量化版本来生成绅士动画,模型体积30G,8G甜品卡可玩,2秒视频需要15分钟

在这里插入图片描述

腾讯混元(HunYuanVideo)视频模型发布以来,视频效果有口皆碑,但由于推理门槛比较高,消费级显卡用户望而却步,最近大神Kijai发布了FP8量化版本模型,使得甜品卡用户也有了一餐秀色的可能。

本次我们利用HunYuanVideo量化版模型来生成绅士视频。

本地部署ComfyUI

首先需要本地部署ComfyUI框架,克隆官方项目:

git clone https://github.com/comfyanonymous/ComfyUI.git

随后进入项目目录,安装torch

cd ComfyUI  
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu124

这里推荐使用 nightly 版本的 torch,以此来获得更高的性能。

随后安装依赖:

pip3 install -r requirements.txt

至此,ComfyUI框架就部署好了。

本地部署ComfyUI-HunyuanVideoWrapper

随后,本地部署 ComfyUI-HunyuanVideoWrapper项目节点,这个节点用来生成视频

cd custom_nodes  
git clone https://github.com/kijai/ComfyUI-HunyuanVideoWrapper.git

除了直接克隆节点项目以外,也可以通过著名的ComfyUI-Manager项目来安装:

cd custom_nodes  
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

接着修改 config.ini 配置文件:

[default]  
preview_method = none  
badge_mode = none  
git_exe =   
channel_url = https://raw.githubusercontent.com/ltdrdata/ComfyUI-Manager/main  
share_option = all  
bypass_ssl = False  
file_logging = True  
default_ui = none  
component_policy = workflow  
double_click_policy = copy-all  
windows_selector_event_loop_policy = False  
model_download_by_agent = False  
downgrade_blacklist =   
security_level = weak

这里把默认的安全等级(security_level):normal改成weak,否则无法在线安装节点。

随后直接在webui界面中安装ComfyUI-HunyuanVideoWrapper节点即可:

下载HunyuanVideo相关的模型

首先下载视频模型的fp8量化版本:

https://huggingface.co/Kijai/HunyuanVideo_comfy/tree/main

这里模型包括fp8本体和vae模型,注意都下载体积小的那个。

模型名称分别是:hunyuan_video_720_cfgdistill_fp8_e4m3fn.safetensors 和 hunyuan_video_vae_bf16.safetensors。

下载成功后,分别放入 models/diffusion_models 目录 和 models/vae 目录即可。

接着下载文本编码模型:

https://huggingface.co/Kijai/llava-llama-3-8b-text-encoder-tokenizer

这个模型基于 llama3-8b

把这个模型放入 models/LLM 目录,目录结构如下:

E:\work\ComfyUI_windows_0.3\ComfyUI\models\LLM>treee  
LLM  
└── llava-llama-3-8b-text-encoder-tokenizer  ├── config.json  ├── generation_config.json  ├── model-00001-of-00004.safetensors  ├── model-00002-of-00004.safetensors  ├── model-00003-of-00004.safetensors  ├── model-00004-of-00004.safetensors  ├── model.safetensors.index.json  ├── special_tokens_map.json  ├── tokenizer.json  └── tokenizer_config.json  E:\work\ComfyUI_windows_0.3\ComfyUI\models\LLM>

最后,下载 clip 模型:

https://huggingface.co/openai/clip-vit-large-patch14

注意,只下载model.safetensors模型和其他配置文件即可,其他格式的模型没有必要下载,随后放到models/clip目录,结构如下:

E:\work\ComfyUI_windows_0.3\ComfyUI\models\clip>treee  
clip  
└── clip-vit-large-patch14  ├── config.json  ├── merges.txt  ├── model.safetensors  ├── preprocessor_config.json  ├── special_tokens_map.json  ├── tokenizer.json  ├── tokenizer_config.json  └── vocab.json

至此,模型就下载好了,注意模型总体积加上环境大概30G左右,硬盘空间告急的朋友请三思。

启动项目:

python3 main.py

导入ComfyUI-HunyuanVideoWrapper目录里面examples的hyvideo_lowvram_blockswap_test.json工作流。

笔者的设备是4060-laptop,显存只有8G,注意精度选择fp16用以节约显存,设备选择offload模式可以节约显存,但是大部分计算让cpu承担,速度会超级慢,2秒的视频需要半个小时才能生成,选择main_device模式速度会快不少,但是有概率爆显存:

单以毛片的角度来评价,这个量化模型的性能还是有保证的。

最后奉上一键整合包:

HunYuanVideo fp8 一键包 https://pan.quark.cn/s/ab875c722947  
HunYuanVideo fp8 workflow https://pan.quark.cn/s/1ee93f104a66
http://www.lryc.cn/news/500012.html

相关文章:

  • 使用Ancona安装node,安装vue
  • 如何“安装Android SDK“?
  • 天童教育:提升孩子的语言表达能力
  • Node.js中JWT的token完整生命周期管理:从生成到销毁
  • Kotlin报错:lateinit property xxx has not been initialized
  • debian编译失败
  • flink-connector-mysql-cdc:03 mysql-cdc常见问题汇总
  • JSP技术发展现状
  • 浏览器同源策略、跨域、跨域请求,服务器处理没、跨域解决方案
  • flink-connector-mysql-cdc:02 mysql-cdc高级扩展
  • Couchbase 简介
  • 我们来学mysql -- 事务并发之幻读(原理篇)
  • Ubuntu Linux 图形界面工具管理磁盘分区和文件系统(八)
  • Eclipse IDE 各个版本的用途和区别
  • 国产GPU中,VLLM0.5.0发布Qwen2.5-14B-Instruct-GPTQ-Int8模型,请求返回结果乱码
  • 在 Vue 3 中实现点击按钮后禁止浏览器前进或后退
  • Linux:软硬链接
  • Delphi XE 安卓Web开发 错误:net::ERR_CLEARTEXT_NOT_PERMITTED
  • 深入理解malloc与vector:内存管理的对比
  • 多个输入框联合搜索
  • 笔记03----NeurIPS2024 涨点!SSA:用于语义分割的语义和空间自适应像素级分类器(即插即用)
  • 自定义比较函数 down 作为 sort 函数的参数实现数组元素从大到小排序
  • 在 Spring Boot 中使用 JPA(Java Persistence API)进行数据库操作
  • 简单聊聊PLT和GOT
  • FaRM译文
  • 用vue框架写一个时钟的页面
  • HTML表单-第二部分
  • PyQt5:一个逗号引发的闪退血案
  • AI智能体Prompt预设词指令大全+GPTs应用使用
  • SSM整合原理实战案例《任务列表案例》