一、介绍

Hallo是由复旦大学、百度公司、苏黎世联邦理工学院和南京大学的研究人员共同提出的一个AI对口型肖像图像动画技术，可基于语音音频输入来驱动生成逼真且动态的肖像图像视频。

该框架采用了基于扩散的生成模型和分层音频驱动视觉合成模块，提高了音频与视觉输出之间的同步精度。Hallo的网络架构整合了UNet去噪器、时间对齐技术和参考网络，以增强动画的质量和真实感，不仅提升了图像和视频的质量，还显著增强了唇动同步的精度，并增加了动作的多样性。

二、部署过程

环境配置基础要求：

系统：Ubuntu22.04系统，

显卡：RTX3090，

显存：24G

1.基础环境

• 查看系统是否有Miniconda3的虚拟环境

  conda -V
  

  如果输入命令没有显示Conda版本号，则需要安装。

2.更新系统命令

输入下列命令将系统更新及系统缺失命令下载

apt-get update apt-get upgrade apt-get install -y vim wget unzip lsof net-tools openssh-server git git-lfs gcc cmake build-essential

3.下载模型

输入下列命令对hallo模型进行下载

git clone https://gitclone.com/github.com/fudan-generative-vision/hallo.git

4.创建虚拟Python环境

• 创建一个名为"hallo"的虚拟镜像，python版本为3.10

conda create -n hallo python=3.10

• 进入"hallo"虚拟环境

conda activate hallo

5.安装cuda118

使用下列命令下载cuda安装包:

wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run

运行cuda:

sh cuda_11.8.0_520.61.05_linux.run

编辑配置文件：

（1）进入文件

vim ~/.bashrc

（2）在 .bashrc添加：

export PATH="/usr/local/cuda-11.8/bin:$PATH" 
export LD_LIBRARY_PATH="/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH"

（3）保存并加载环境变量

source ~/.bashrc

6.下载模型依赖包

输入下列命令：

pip install -r requirements.txt 
pip install .

下载ffmpeg:

apt-get install ffmpeg

(使用基础命令时已经下载过)

7.添加模型文件

输入下列命令：

git lfs install 
git clone https://hf-mirror.com/fudan-generative-ai/hallo pretrained_models

8.运行推理

使用下列命令运行项目呈现模型的成功界面

python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

三、Web界面演示

输入下列命令启动界面：

conda activate hallo cd hallo export GRADIO_SERVER_NAME=0.0.0.0 export GRADIO_SERVER_PORT=8080 python scripts/app.py