【免费下载链接】InternVL-Chat-V1-2项目地址https://ai.gitcode.com/OpenGVLab/InternVL-Chat-V1-2点击查看免费下载InternVL-Chat-V1-2 是 OpenGVLab 开源的 400 亿参数多模态大语言模型MLLM由 InternViT-6B 视觉编码器与 Nous-Hermes-2-Yi-34B 语言模型融合而成。本文手把手教你使用 transformers 的TextIteratorStreamer实现流式输出Streaming Output让模型逐字实时聊天告别等待整段回复的黑盒体验。为什么需要流式输出默认的model.chat()调用会等模型生成完全部内容后才一次性返回结果。对于长回复用户需要干等十几秒体验很差。流式输出则完全不同模型每生成一小段文字立刻推送给终端或前端界面实现打字机式的逐字实时效果——这正是 ChatGPT、文心一言等主流对话产品的标准交互方式。实现思路一句话总结把耗时的模型生成放到后台线程主线程通过TextIteratorStreamer迭代器实时接住新产生的文本。主线程 for new_text in streamer: 打印/推送到界面 ▲ 后台线程 model.chat(...) → generate 逐 token 产出 → streamer一键克隆获取 InternVL-Chat-V1-2 仓库如果还没有模型文件先克隆仓库含模型权重与自定义代码git clone https://gitcode.com/OpenGVLab/InternVL-Chat-V1-2仓库内示例素材位于 examples/ 目录image1.jpg是一张可爱的小熊猫照片本教程将用它做流式问答演示。核心原理TextIteratorStreamer 如何工作TextIteratorStreamer是 transformers 官方提供的文本流迭代器transformers.utils模块它是BaseStreamer的子类。工作机制如下注册把 streamer 实例传入generation_configgenerate()在每生成完一批 token 后就调用它解码streamer 内部调用 tokenizer 把新 token 解码成文本片段迭代streamer 本身实现了__iter__主线程for new_text in streamer即可拿到持续产出的文本块线程解耦生成过程在后台Thread中运行主线程不会被阻塞可以边收边显示。在 InternVL-Chat-V1-2 中chat()方法会把整个generation_config含streamer字段透传给底层的self.generate()最终到达 LLM 的generate因此无需修改任何模型源码即可接入流式输出相关实现在 modeling_internvl_chat.py 的chat与 modeling_internvl_chat.py 的generate中。逐字实时聊天四步实现流式对话第一步加载模型与分词器沿用 README.md 中标准加载方式建议transformers4.37.2开启 FlashAttention 提速import torch from transformers import AutoTokenizer, AutoModel, CLIPImageProcessor from PIL import Image path OpenGVLab/InternVL-Chat-V1-2 model AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue).eval().cuda() tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse)第二步准备图片输入InternVL-Chat-V1-2 固定使用 448×448 的图片分辨率每图 256 个视觉 token图片预处理配置见 preprocessor_config.jsonimage_processor CLIPImageProcessor.from_pretrained(path) image Image.open(./examples/image1.jpg).resize((448, 448)) pixel_values image_processor(imagesimage, return_tensorspt).pixel_values.to(torch.bfloat16).cuda()下面这张小熊猫照片就是官方示例中用于图文问答的examples/image1.jpg模型将围绕它进行描述第三步初始化 TextIteratorStreamer 并开启后台线程from transformers import TextIteratorStreamer from threading import Thread # 初始化流式输出器 streamer TextIteratorStreamer(tokenizer, skip_promptTrue, skip_special_tokensTrue, timeout10) # 关键把 streamer 塞进 generation_config generation_config dict(max_new_tokens1024, do_sampleFalse, streamerstreamer) question image\n请用三句话描述这张图片里的动物。 thread Thread(targetmodel.chat, kwargsdict( tokenizertokenizer, pixel_valuespixel_values, questionquestion, historyNone, return_historyFalse, generation_configgeneration_config, )) thread.start()几个关键参数说明参数作用skip_promptTrue跳过提示词部分只输出新生成的文本skip_special_tokensTrue自动过滤img、IMG_CONTEXT等特殊 tokentimeout10主线程每次等待最多 10 秒超时退出循环防止永久挂起do_sampleFalse官方示例使用贪心解码结果稳定、可复现第四步主线程迭代 streamer逐字打印generated_text for new_text in streamer: if new_text model.conv_template.sep: break # 遇到对话模板分隔符即停止截断尾部模板内容 generated_text new_text print(new_text, end, flushTrue) # flushTrue 保证实时显示运行后你会看到回答像打字机一样实时蹦出来flushTrue是实时显示的关键——它强制 Python 立即刷新输出缓冲区。新手常见坑位排查清单⚠️ 以下 5 个坑基本覆盖了流式输出的全部常见报错忘记flushTrue文本看似攒了一大段才显示其实是输出缓冲导致加上flushTrue即可超时死循环timeout参数务必设置若模型意外中断主线程会卡死在for循环里do_sample与流式冲突官方示例流式代码使用do_sampleFalse如需采样式生成需自行验证 streamer 行为4-bit 量化BNB 4-bit禁用InternViT-6B在 4-bit 量化下误差大模型可能输出乱码甚至看不懂图官方建议至少用 8-bit多 GPU 场景需按 README.md 中的split_model方式分配device_map保证 LLM 首尾层在同一设备上。 另外model.conv_template.sep来自对话模板本模型使用 Hermes-2 模板模板定义在 conversation.py流式循环中遇到它就要break否则会把模板尾部字符也打印出来。相关源码与配置文件速查文件说明modeling_internvl_chat.pychat()对话入口generation_config 在此透传给 generatemodeling_intern_vit.pyInternViT-6B 视觉编码器实现conversation.pyHermes-2 对话模板定义conv_template.sep来源config.json模型结构配置40B6B ViT MLP 34B LLMREADME.md官方 Quick Start含官方流式输出示例代码总结流式输出三要素TextIteratorStreamer注册进generation_config 后台Thread跑model.chat 主线程for循环迭代实时显示关键print(..., end, flushTrue)工程细节设置timeout、在sep处break、避免 BNB 4-bit 量化。照本教程操作你只需约 20 行额外代码就能让 InternVL-Chat-V1-2 具备与商业产品一致的逐字实时聊天体验非常适合快速搭建自己的多模态对话 Demo。赞分享【免费下载链接】InternVL-Chat-V1-2项目地址https://ai.gitcode.com/OpenGVLab/InternVL-Chat-V1-2点击查看免费下载相关推荐让InternVL2_5-38B-MPO实现实时多模态交互TextIteratorStreamer流式输出完整教程让InternVL2_5 38B MPO实现实时多模态交互TextIteratorStreamer流式输出完整教程 InternVL2_5 38B MPO 是InternVL2_5-78B流式输出实战如何实现ChatGPT般的逐字实时响应InternVL2_5 78B流式输出实战如何实现ChatGPT般的逐字实时响应 InternVL2_5 78B 是开源多模态大语言模型MLLMInte如何自定义训练基于DeBERTa-v3-large-zeroshot-v2.0的Few-shot学习完整指南如何自定义训练基于DeBERTa v3 large zeroshot v2.0的Few shot学习完整指南 想要在少量标注数据上实现高质量的文本分类吗De上一篇OcrLiteAndroidNcnn 实战指南基于 NCNN 的超轻量级中文 OCR Android 集成与编译下一篇Marketch3步装好的Sketch插件尺寸和CSS随点随取创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/19 1:54:03 · 阅读 1.2k InternVL-Chat-V1-2流式输出实战：用TextIteratorStreamer实现逐字实时聊天的完整教程
【免费下载链接】InternVL-Chat-V1-2项目地址https://ai.gitcode.com/OpenGVLab/InternVL-Chat-V1-2点击查看免费下载InternVL-Chat-V1-2 是 OpenGVLab 开源的 400 亿参数多模态大语言模型MLLM由 InternViT-6B 视觉编码器与 Nous-Hermes-2-Yi-34B 语言模型融合而成。本文手把手教你使用 transformers 的TextIteratorStreamer实现流式输出Streaming Output让模型逐字实时聊天告别等待整段回复的黑盒体验。为什么需要流式输出默认的model.chat()调用会等模型生成完全部内容后才一次性返回结果。对于长回复用户需要干等十几秒体验很差。流式输出则完全不同模型每生成一小段文字立刻推送给终端或前端界面实现打字机式的逐字实时效果——这正是 ChatGPT、文心一言等主流对话产品的标准交互方式。实现思路一句话总结把耗时的模型生成放到后台线程主线程通过TextIteratorStreamer迭代器实时接住新产生的文本。主线程 for new_text in streamer: 打印/推送到界面 ▲ 后台线程 model.chat(...) → generate 逐 token 产出 → streamer一键克隆获取 InternVL-Chat-V1-2 仓库如果还没有模型文件先克隆仓库含模型权重与自定义代码git clone https://gitcode.com/OpenGVLab/InternVL-Chat-V1-2仓库内示例素材位于 examples/ 目录image1.jpg是一张可爱的小熊猫照片本教程将用它做流式问答演示。核心原理TextIteratorStreamer 如何工作TextIteratorStreamer是 transformers 官方提供的文本流迭代器transformers.utils模块它是BaseStreamer的子类。工作机制如下注册把 streamer 实例传入generation_configgenerate()在每生成完一批 token 后就调用它解码streamer 内部调用 tokenizer 把新 token 解码成文本片段迭代streamer 本身实现了__iter__主线程for new_text in streamer即可拿到持续产出的文本块线程解耦生成过程在后台Thread中运行主线程不会被阻塞可以边收边显示。在 InternVL-Chat-V1-2 中chat()方法会把整个generation_config含streamer字段透传给底层的self.generate()最终到达 LLM 的generate因此无需修改任何模型源码即可接入流式输出相关实现在 modeling_internvl_chat.py 的chat与 modeling_internvl_chat.py 的generate中。逐字实时聊天四步实现流式对话第一步加载模型与分词器沿用 README.md 中标准加载方式建议transformers4.37.2开启 FlashAttention 提速import torch from transformers import AutoTokenizer, AutoModel, CLIPImageProcessor from PIL import Image path OpenGVLab/InternVL-Chat-V1-2 model AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue).eval().cuda() tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse)第二步准备图片输入InternVL-Chat-V1-2 固定使用 448×448 的图片分辨率每图 256 个视觉 token图片预处理配置见 preprocessor_config.jsonimage_processor CLIPImageProcessor.from_pretrained(path) image Image.open(./examples/image1.jpg).resize((448, 448)) pixel_values image_processor(imagesimage, return_tensorspt).pixel_values.to(torch.bfloat16).cuda()下面这张小熊猫照片就是官方示例中用于图文问答的examples/image1.jpg模型将围绕它进行描述第三步初始化 TextIteratorStreamer 并开启后台线程from transformers import TextIteratorStreamer from threading import Thread # 初始化流式输出器 streamer TextIteratorStreamer(tokenizer, skip_promptTrue, skip_special_tokensTrue, timeout10) # 关键把 streamer 塞进 generation_config generation_config dict(max_new_tokens1024, do_sampleFalse, streamerstreamer) question image\n请用三句话描述这张图片里的动物。 thread Thread(targetmodel.chat, kwargsdict( tokenizertokenizer, pixel_valuespixel_values, questionquestion, historyNone, return_historyFalse, generation_configgeneration_config, )) thread.start()几个关键参数说明参数作用skip_promptTrue跳过提示词部分只输出新生成的文本skip_special_tokensTrue自动过滤img、IMG_CONTEXT等特殊 tokentimeout10主线程每次等待最多 10 秒超时退出循环防止永久挂起do_sampleFalse官方示例使用贪心解码结果稳定、可复现第四步主线程迭代 streamer逐字打印generated_text for new_text in streamer: if new_text model.conv_template.sep: break # 遇到对话模板分隔符即停止截断尾部模板内容 generated_text new_text print(new_text, end, flushTrue) # flushTrue 保证实时显示运行后你会看到回答像打字机一样实时蹦出来flushTrue是实时显示的关键——它强制 Python 立即刷新输出缓冲区。新手常见坑位排查清单⚠️ 以下 5 个坑基本覆盖了流式输出的全部常见报错忘记flushTrue文本看似攒了一大段才显示其实是输出缓冲导致加上flushTrue即可超时死循环timeout参数务必设置若模型意外中断主线程会卡死在for循环里do_sample与流式冲突官方示例流式代码使用do_sampleFalse如需采样式生成需自行验证 streamer 行为4-bit 量化BNB 4-bit禁用InternViT-6B在 4-bit 量化下误差大模型可能输出乱码甚至看不懂图官方建议至少用 8-bit多 GPU 场景需按 README.md 中的split_model方式分配device_map保证 LLM 首尾层在同一设备上。 另外model.conv_template.sep来自对话模板本模型使用 Hermes-2 模板模板定义在 conversation.py流式循环中遇到它就要break否则会把模板尾部字符也打印出来。相关源码与配置文件速查文件说明modeling_internvl_chat.pychat()对话入口generation_config 在此透传给 generatemodeling_intern_vit.pyInternViT-6B 视觉编码器实现conversation.pyHermes-2 对话模板定义conv_template.sep来源config.json模型结构配置40B6B ViT MLP 34B LLMREADME.md官方 Quick Start含官方流式输出示例代码总结流式输出三要素TextIteratorStreamer注册进generation_config 后台Thread跑model.chat 主线程for循环迭代实时显示关键print(..., end, flushTrue)工程细节设置timeout、在sep处break、避免 BNB 4-bit 量化。照本教程操作你只需约 20 行额外代码就能让 InternVL-Chat-V1-2 具备与商业产品一致的逐字实时聊天体验非常适合快速搭建自己的多模态对话 Demo。赞分享【免费下载链接】InternVL-Chat-V1-2项目地址https://ai.gitcode.com/OpenGVLab/InternVL-Chat-V1-2点击查看免费下载相关推荐让InternVL2_5-38B-MPO实现实时多模态交互TextIteratorStreamer流式输出完整教程让InternVL2_5 38B MPO实现实时多模态交互TextIteratorStreamer流式输出完整教程 InternVL2_5 38B MPO 是InternVL2_5-78B流式输出实战如何实现ChatGPT般的逐字实时响应InternVL2_5 78B流式输出实战如何实现ChatGPT般的逐字实时响应 InternVL2_5 78B 是开源多模态大语言模型MLLMInte如何自定义训练基于DeBERTa-v3-large-zeroshot-v2.0的Few-shot学习完整指南如何自定义训练基于DeBERTa v3 large zeroshot v2.0的Few shot学习完整指南 想要在少量标注数据上实现高质量的文本分类吗De上一篇OcrLiteAndroidNcnn 实战指南基于 NCNN 的超轻量级中文 OCR Android 集成与编译下一篇Marketch3步装好的Sketch插件尺寸和CSS随点随取创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考