阿里发布Qwen3-Omni全模态模型家族三引擎驱动多模态交互新纪元【免费下载链接】Qwen3-Omni-30B-A3B-Thinking项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Omni-30B-A3B-Thinking2025年10月10日阿里巴巴正式开源Qwen3-Omni-30B-A3B系列全模态基础模型包括Instruct、Thinking和Captioner三款核心产品。该系列模型突破传统单模态限制实现文本、图像、音频、视频的原生端到端处理并支持文本与自然语音的实时流式输出标志着开源多模态AI技术进入全场景交互新阶段。全模态交互的技术突破Qwen3-Omni-30B-A3B系列采用创新的混合专家MoE架构设计通过Thinker-Talker双模块协同与AuT预训练技术构建起兼具深度推理与自然交互能力的多模态处理系统。其核心优势在于实现跨模态信息的无缝融合——在支持音频/视频输入输出的同时保持文本与图像单模态性能不降级这一特性在36项国际音频/视频基准测试中创下22项SOTA成绩其中32项保持开源领域领先地位语音识别与对话能力已媲美行业标杆Gemini 2.5 Pro。如上图所示Qwen3-Omni通过四大核心特性构建全模态交互能力更智能的推理引擎支持复杂数学问题求解多语言系统覆盖119种文本语言低延迟架构实现实时响应长序列处理能力满足会议记录等场景需求。这一设计直观展现了模型如何通过模块化架构平衡性能与效率为开发者提供兼顾通用性与专业度的多模态工具集。在跨语言支持方面该系列实现19种语音输入与10种语音输出能力覆盖中、英、日、韩、德、法等主流语种同时支持粤语、阿拉伯语等特色语言。通过系统提示词定制功能开发者可灵活调整模型行为模式快速适配教育、医疗、工业等垂直领域需求。值得关注的是同步开源的Qwen3-Omni-30B-A3B-Captioner音频描述模型凭借高细节还原与低幻觉率特性填补了开源社区在音频细粒度解析领域的技术空白。三引擎模型矩阵解析Qwen3-Omni-30B-A3B系列提供三款功能互补的模型选择形成从底层推理到终端交互的完整技术链条Qwen3-Omni-30B-A3B-Instruct作为全功能指令微调模型集成Thinker与Talker双模块支持多模态输入与文本/音频输出。适用于构建智能客服、虚拟助手等实时交互系统通过动态调整系统提示词可实现从技术支持到情感陪伴的角色切换。Qwen3-Omni-30B-A3B-Thinking专注于思维链推理的核心引擎保留完整思考者组件接收多模态输入并输出结构化文本结果。特别适合需要深度分析的场景如视频内容理解、多模态数据分析等专业任务开发者可通过该模型构建自定义推理流程。Qwen3-Omni-30B-A3B-Captioner针对音频理解优化的专业模型能生成细节丰富的音频描述文本在环境音识别、音乐解析等领域表现突出。其低幻觉特性确保输出内容的可靠性为视障辅助、音频内容检索等应用提供关键技术支撑。用户可通过以下命令获取模型文件# 通过ModelScope下载推荐中国大陆用户 pip install -U modelscope modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Instruct --local_dir ./Qwen3-Omni-30B-A3B-Instruct modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Thinking --local_dir ./Qwen3-Omni-30B-A3B-Thinking modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Captioner --local_dir ./Qwen3-Omni-30B-A3B-Captioner # 通过Hugging Face下载 pip install -U huggingface_hub[cli] huggingface-cli download Qwen/Qwen3-Omni-30B-A3B-Instruct --local_dir ./Qwen3-Omni-30B-A3B-Instruct多框架部署指南Transformers快速启动Qwen3-Omni系列已完整支持Hugging Face Transformers生态开发者需先安装最新版依赖pip install githttps://github.com/huggingface/transformers pip install accelerate qwen-omni-utils flash-attn --no-build-isolation以下代码示例展示多模态交互流程实现图像与音频的联合理解import soundfile as sf from transformers import Qwen3OmniMoeForConditionalGeneration, Qwen3OmniMoeProcessor from qwen_omni_utils import process_mm_info model Qwen3OmniMoeForConditionalGeneration.from_pretrained( Qwen/Qwen3-Omni-30B-A3B-Instruct, dtypeauto, device_mapauto, attn_implementationflash_attention_2 ) processor Qwen3OmniMoeProcessor.from_pretrained(Qwen/Qwen3-Omni-30B-A3B-Instruct) # 构建多模态对话 conversation [{ role: user, content: [ {type: image, image: https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/cars.jpg}, {type: audio, audio: https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/cough.wav}, {type: text, text: What can you see and hear? Answer in one short sentence.} ] }] # 处理输入并生成结果 text processor.apply_chat_template(conversation, add_generation_promptTrue, tokenizeFalse) audios, images, videos process_mm_info(conversation, use_audio_in_videoTrue) inputs processor(texttext, audioaudios, imagesimages, videosvideos, return_tensorspt, paddingTrue) inputs inputs.to(model.device).to(model.dtype) text_ids, audio model.generate(**inputs, speakerEthan) response processor.batch_decode(text_ids.sequences[:, inputs[input_ids].shape[1]:], skip_special_tokensTrue) print(response[0]) # 输出多模态理解结果 if audio is not None: sf.write(response.wav, audio.reshape(-1).detach().cpu().numpy(), samplerate24000)vLLM高性能部署方案对于高并发场景推荐使用vLLM框架进行部署需通过源码安装最新适配版本git clone -b qwen3_omni https://github.com/wangxiongts/vllm.git cd vllm pip install -r requirements/build.txt pip install -r requirements/cuda.txt VLLM_USE_PRECOMPILED1 pip install -e . -v --no-build-isolationvLLM部署示例代码from vllm import LLM, SamplingParams from transformers import Qwen3OmniMoeProcessor from qwen_omni_utils import process_mm_info llm LLM( modelQwen/Qwen3-Omni-30B-A3B-Instruct, trust_remote_codeTrue, gpu_memory_utilization0.95, tensor_parallel_sizetorch.cuda.device_count(), limit_mm_per_prompt{image:3, video:3, audio:3}, max_num_seqs8 ) messages [{ role: user, content: [{type: video, video: https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/draw.mp4}] }] text processor.apply_chat_template(messages, add_generation_promptTrue, tokenizeFalse) audios, images, videos process_mm_info(messages, use_audio_in_videoTrue) inputs {prompt: text, multi_modal_data: {}, mm_processor_kwargs: {use_audio_in_video: True}} if videos: inputs[multi_modal_data][video] videos outputs llm.generate([inputs], SamplingParams(temperature0.6, max_tokens16384)) print(outputs[0].outputs[0].text)实践指南与性能优化硬件配置建议Qwen3-Omni系列对GPU内存有一定要求在BF16精度下Instruct模型处理15秒视频需78.85GB显存30秒视频需88.52GBThinking模型因不含对话者模块内存需求降低约12%。建议采用A100 80GB或以上配置通过FlashAttention 2实现内存效率最大化。多模态交互最佳实践在视频处理场景中启用use_audio_in_video参数可同步解析视频中的音频信息提升内容理解准确性。需注意在数据预处理、模型加载与生成过程中保持参数一致性# 数据预处理阶段 audios, images, videos process_mm_info(messages, use_audio_in_videoTrue) # 模型输入阶段 inputs processor(..., use_audio_in_videoTrue) # 生成阶段 text_ids, audio model.generate(..., use_audio_in_videoTrue)对于Thinking模型的推理任务建议在多模态输入中添加明确的文本指令如messages [{ role: user, content: [ {type: audio, audio: /path/to/audio.wav}, {type: image, image: /path/to/image.png}, {type: text, text: 分析这段音频和图像中的关联信息并总结关键发现} ] }]开源生态与未来展望Qwen3-Omni-30B-A3B系列的开源将加速多模态AI技术的民主化进程其模块化设计允许开发者根据需求灵活组合功能从基础研究到产业应用均可受益。阿里巴巴表示未来将持续优化模型效率降低部署门槛并拓展更多专业领域的下游模型。该系列模型的技术报告与完整文档已同步发布开发者可通过官方渠道获取最新信息。随着全模态交互技术的成熟我们有望看到智能客服、内容创作、辅助诊断等领域的应用创新推动AI从工具向协作伙伴的角色转变。作为开源社区的重要贡献Qwen3-Omni不仅提供先进的技术工具更通过开放架构促进多模态AI的标准化发展为构建安全可控的通用人工智能奠定基础。【免费下载链接】Qwen3-Omni-30B-A3B-Thinking项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Omni-30B-A3B-Thinking创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/11/4 1:36:39 · 阅读 1.2k 阿里发布Qwen3-Omni全模态模型家族：三引擎驱动多模态交互新纪元
阿里发布Qwen3-Omni全模态模型家族三引擎驱动多模态交互新纪元【免费下载链接】Qwen3-Omni-30B-A3B-Thinking项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Omni-30B-A3B-Thinking2025年10月10日阿里巴巴正式开源Qwen3-Omni-30B-A3B系列全模态基础模型包括Instruct、Thinking和Captioner三款核心产品。该系列模型突破传统单模态限制实现文本、图像、音频、视频的原生端到端处理并支持文本与自然语音的实时流式输出标志着开源多模态AI技术进入全场景交互新阶段。全模态交互的技术突破Qwen3-Omni-30B-A3B系列采用创新的混合专家MoE架构设计通过Thinker-Talker双模块协同与AuT预训练技术构建起兼具深度推理与自然交互能力的多模态处理系统。其核心优势在于实现跨模态信息的无缝融合——在支持音频/视频输入输出的同时保持文本与图像单模态性能不降级这一特性在36项国际音频/视频基准测试中创下22项SOTA成绩其中32项保持开源领域领先地位语音识别与对话能力已媲美行业标杆Gemini 2.5 Pro。如上图所示Qwen3-Omni通过四大核心特性构建全模态交互能力更智能的推理引擎支持复杂数学问题求解多语言系统覆盖119种文本语言低延迟架构实现实时响应长序列处理能力满足会议记录等场景需求。这一设计直观展现了模型如何通过模块化架构平衡性能与效率为开发者提供兼顾通用性与专业度的多模态工具集。在跨语言支持方面该系列实现19种语音输入与10种语音输出能力覆盖中、英、日、韩、德、法等主流语种同时支持粤语、阿拉伯语等特色语言。通过系统提示词定制功能开发者可灵活调整模型行为模式快速适配教育、医疗、工业等垂直领域需求。值得关注的是同步开源的Qwen3-Omni-30B-A3B-Captioner音频描述模型凭借高细节还原与低幻觉率特性填补了开源社区在音频细粒度解析领域的技术空白。三引擎模型矩阵解析Qwen3-Omni-30B-A3B系列提供三款功能互补的模型选择形成从底层推理到终端交互的完整技术链条Qwen3-Omni-30B-A3B-Instruct作为全功能指令微调模型集成Thinker与Talker双模块支持多模态输入与文本/音频输出。适用于构建智能客服、虚拟助手等实时交互系统通过动态调整系统提示词可实现从技术支持到情感陪伴的角色切换。Qwen3-Omni-30B-A3B-Thinking专注于思维链推理的核心引擎保留完整思考者组件接收多模态输入并输出结构化文本结果。特别适合需要深度分析的场景如视频内容理解、多模态数据分析等专业任务开发者可通过该模型构建自定义推理流程。Qwen3-Omni-30B-A3B-Captioner针对音频理解优化的专业模型能生成细节丰富的音频描述文本在环境音识别、音乐解析等领域表现突出。其低幻觉特性确保输出内容的可靠性为视障辅助、音频内容检索等应用提供关键技术支撑。用户可通过以下命令获取模型文件# 通过ModelScope下载推荐中国大陆用户 pip install -U modelscope modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Instruct --local_dir ./Qwen3-Omni-30B-A3B-Instruct modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Thinking --local_dir ./Qwen3-Omni-30B-A3B-Thinking modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Captioner --local_dir ./Qwen3-Omni-30B-A3B-Captioner # 通过Hugging Face下载 pip install -U huggingface_hub[cli] huggingface-cli download Qwen/Qwen3-Omni-30B-A3B-Instruct --local_dir ./Qwen3-Omni-30B-A3B-Instruct多框架部署指南Transformers快速启动Qwen3-Omni系列已完整支持Hugging Face Transformers生态开发者需先安装最新版依赖pip install githttps://github.com/huggingface/transformers pip install accelerate qwen-omni-utils flash-attn --no-build-isolation以下代码示例展示多模态交互流程实现图像与音频的联合理解import soundfile as sf from transformers import Qwen3OmniMoeForConditionalGeneration, Qwen3OmniMoeProcessor from qwen_omni_utils import process_mm_info model Qwen3OmniMoeForConditionalGeneration.from_pretrained( Qwen/Qwen3-Omni-30B-A3B-Instruct, dtypeauto, device_mapauto, attn_implementationflash_attention_2 ) processor Qwen3OmniMoeProcessor.from_pretrained(Qwen/Qwen3-Omni-30B-A3B-Instruct) # 构建多模态对话 conversation [{ role: user, content: [ {type: image, image: https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/cars.jpg}, {type: audio, audio: https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/cough.wav}, {type: text, text: What can you see and hear? Answer in one short sentence.} ] }] # 处理输入并生成结果 text processor.apply_chat_template(conversation, add_generation_promptTrue, tokenizeFalse) audios, images, videos process_mm_info(conversation, use_audio_in_videoTrue) inputs processor(texttext, audioaudios, imagesimages, videosvideos, return_tensorspt, paddingTrue) inputs inputs.to(model.device).to(model.dtype) text_ids, audio model.generate(**inputs, speakerEthan) response processor.batch_decode(text_ids.sequences[:, inputs[input_ids].shape[1]:], skip_special_tokensTrue) print(response[0]) # 输出多模态理解结果 if audio is not None: sf.write(response.wav, audio.reshape(-1).detach().cpu().numpy(), samplerate24000)vLLM高性能部署方案对于高并发场景推荐使用vLLM框架进行部署需通过源码安装最新适配版本git clone -b qwen3_omni https://github.com/wangxiongts/vllm.git cd vllm pip install -r requirements/build.txt pip install -r requirements/cuda.txt VLLM_USE_PRECOMPILED1 pip install -e . -v --no-build-isolationvLLM部署示例代码from vllm import LLM, SamplingParams from transformers import Qwen3OmniMoeProcessor from qwen_omni_utils import process_mm_info llm LLM( modelQwen/Qwen3-Omni-30B-A3B-Instruct, trust_remote_codeTrue, gpu_memory_utilization0.95, tensor_parallel_sizetorch.cuda.device_count(), limit_mm_per_prompt{image:3, video:3, audio:3}, max_num_seqs8 ) messages [{ role: user, content: [{type: video, video: https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/draw.mp4}] }] text processor.apply_chat_template(messages, add_generation_promptTrue, tokenizeFalse) audios, images, videos process_mm_info(messages, use_audio_in_videoTrue) inputs {prompt: text, multi_modal_data: {}, mm_processor_kwargs: {use_audio_in_video: True}} if videos: inputs[multi_modal_data][video] videos outputs llm.generate([inputs], SamplingParams(temperature0.6, max_tokens16384)) print(outputs[0].outputs[0].text)实践指南与性能优化硬件配置建议Qwen3-Omni系列对GPU内存有一定要求在BF16精度下Instruct模型处理15秒视频需78.85GB显存30秒视频需88.52GBThinking模型因不含对话者模块内存需求降低约12%。建议采用A100 80GB或以上配置通过FlashAttention 2实现内存效率最大化。多模态交互最佳实践在视频处理场景中启用use_audio_in_video参数可同步解析视频中的音频信息提升内容理解准确性。需注意在数据预处理、模型加载与生成过程中保持参数一致性# 数据预处理阶段 audios, images, videos process_mm_info(messages, use_audio_in_videoTrue) # 模型输入阶段 inputs processor(..., use_audio_in_videoTrue) # 生成阶段 text_ids, audio model.generate(..., use_audio_in_videoTrue)对于Thinking模型的推理任务建议在多模态输入中添加明确的文本指令如messages [{ role: user, content: [ {type: audio, audio: /path/to/audio.wav}, {type: image, image: /path/to/image.png}, {type: text, text: 分析这段音频和图像中的关联信息并总结关键发现} ] }]开源生态与未来展望Qwen3-Omni-30B-A3B系列的开源将加速多模态AI技术的民主化进程其模块化设计允许开发者根据需求灵活组合功能从基础研究到产业应用均可受益。阿里巴巴表示未来将持续优化模型效率降低部署门槛并拓展更多专业领域的下游模型。该系列模型的技术报告与完整文档已同步发布开发者可通过官方渠道获取最新信息。随着全模态交互技术的成熟我们有望看到智能客服、内容创作、辅助诊断等领域的应用创新推动AI从工具向协作伙伴的角色转变。作为开源社区的重要贡献Qwen3-Omni不仅提供先进的技术工具更通过开放架构促进多模态AI的标准化发展为构建安全可控的通用人工智能奠定基础。【免费下载链接】Qwen3-Omni-30B-A3B-Thinking项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Omni-30B-A3B-Thinking创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考