实战千问2大模型第五天——VLLM 运行 Qwen2-VL-7B（多模态）

一、简介

VLLM 是一种高效的深度学习推理库，通过PagedAttention算法有效管理大语言模型的注意力内存，其特点包括24倍的吞吐提升和3.5倍的TGI性能，无需修改模型结构，专门设计用于加速大规模语言模型（LLM）的推理过程。它通过优化显存管理、支持大模型的批处理推理以及减少不必要的内存占用，来提高多 GPU 环境下的推理速度和效率。

VLLM 的核心特点包括：

显存高效性：VLLM 能够动态管理显存，支持在有限的显存资源下运行大规模语言模型。
并行化推理：它可以在多个 GPU 上分配任务，实现多线程并行处理，以提高推理速度。
模型优化：通过优化 GPU 和 CPU 之间的数据传输，使得推理时间大幅缩短。
低延迟：VLLM 专注于减少推理时的延迟，使其在实时应用中表现出色。

这使得 VLLM 非常适合需要快速、大规模推理的任务，例如在生产环境中部署大语言模型进行实时文本生成或问答等应用。

二、安装环境

https://github.com/vllm-project/vllm

pip install -U vllm
pip install -U --force git+https://github.com/huggingface/transformers
pip install qwen-vl-utils

三、测试

准备1.jpg和下面脚本即可运行测试。

from PIL import Image
from transformers import AutoProcessor
from vllm import LLM, SamplingParams
from qwen_vl_utils import process_vision_infoMODEL_PATH = 'qwen/Qwen2-VL-7B-Instruct'
IMAGE_PATH = '1.jpg'
VIDEO_PATH = '/path/to/video.mp4'llm = LLM(model=MODEL_PATH,limit_mm_per_prompt={'image': 10, 'video': 10},
)sampling_params = SamplingParams(temperature=0.1, top_p=0.001, repetition_penalty=1.05, max_tokens=256,stop_token_ids=[],
)messages = [{'role': 'system', 'content': 'You are a helpful assistant.'},{'role': 'user', 'content': [{'type': 'image','image': IMAGE_PATH,# min_pixels & max_pixels are optional'max_pixels': 12845056,},# You can also pass one or more videos:# {#     'type': 'video',#     'video': VIDEO_PATH,# }{'type': 'text','text': 'What does this diagram illustrate?',},]},
]processor = AutoProcessor.from_pretrained(MODEL_PATH)
prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True,
)
image_inputs, video_inputs = process_vision_info(messages)mm_data = {}
if image_inputs is not None:mm_data['image'] = image_inputs
if video_inputs is not None:mm_data['video'] = video_inputsllm_inputs = {'prompt': prompt,'multi_modal_data': mm_data,
}outputs = llm.generate([llm_inputs], sampling_params=sampling_params)
generated_text = outputs[0].outputs[0].textprint(generated_text)