一、介绍
Hunyuan-DiT是由腾讯混元推出的扩散模型,支持中文和英文双语输入,其他开源模型相比,Hunyuan-DiT 在中文到图像生成方面树立了新的水平。
二、部署流程
环境要求:
所需的最小 GPU 内存为 11GB,
建议使用具有 32GB 内存的 GPU,以获得更好的生成质量。
1. 部署 ComfyUI
本篇的模型部署是在 ComfyUI 的基础上进行,如果没有部署过 ComfyUI,请按照下面流程先进行部署,如已安装请跳过该步:
(1)使用命令克隆 ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
(2)安装 conda(如已安装则跳过)
下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version
进行检查。下面是 Mimiconda 的安装过程:
- 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
- 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
- 遵循安装提示并初始化
按 Enter 键查看许可证条款,阅读完毕后输入 yes
接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes
并按 Enter 键。
- 运行
source ~/.bashrc
命令激活 conda 环境 - 再次输入
conda --version
命令来验证是否安装成功,如果出现类似conda 4.10.3
这样的输出就成功了。
(3)创建虚拟环境
输入下面的命令:
conda create -n comfyui
conda activate comfyui
(4)安装 pytorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(5)安装项目依赖
pip install -r requirements.txt
此时所需环境就已经搭建完成,通过下面命令进行启动:
python main.py
访问网址得到类似下图界面即表示成功启动:
到这里 Comfy UI 就初步搭建好了(这里只是简单实现 ComfyUI 的基础功能,如果想要安装更多细节,请看我“Comfy UI”部署教程)
2. 部署 hunyuan-DiT
如果你的 ComfyUI 是在 Flux.1 模型发布前部署的,那么建议先进行更新。
(1)下载模型
在 hugging face 搜索栏搜索”hunyuan_dit_comfyui“,点击进去可以看到一共有三个版本,我们选择最新的v1.2版本进行下载,如下图:
将下载的模型放置到 /ComfyUI/models/checkpoints/
文件夹下
(2)下载 Clip 模型
进入网站:Hunyuan DiT Examples | ComfyUI_examples (comfyanonymous.github.io)并将下图下载,然后拖入 Comfy UI 中:
然后你的 ComfyUI 中应该会出选相应的工作流,类似下图:
也就是一个基础的工作流。
至此 HunyuanDiT 模型就部署在 Comfy UI 中了,开启你的探索之旅吧!