每次有人问我“大模型到底是个啥”我都要先深呼吸因为这个词背后有一大串吓人的术语参数、训练、微调、Tokenizer、注意力机制、幻觉、上下文窗口……听完的人多半一脸懵最后只能尴尬地点头。说实话我在刚接触这个领域的时候也被绕晕过很多词单独看都能查到定义但连在一起就不知道它们之间是什么关系。这篇东西就是奔着解决这个问题来的。我把大模型里最核心、最高频的术语按“模型本身 — 怎么训练 — 内部原理 — 怎么用 — 进阶玩法 — 怎么评价”这条逻辑线拆开讲全部用生活化的类比和实际例子解释不堆公式不抄文档。无论你是刚入行的开发、转行做产品的还是单纯好奇AI原理的路人都可以把它当成一份随时翻查的速查手册看完心里会踏实很多。1. 模型、参数与训练数据看懂大模型的“骨架”1.1 模型到底是个什么东西它不是“一个软件”很多人把大模型想象成一个安装在电脑里的程序双击就能跑。这种理解没错但不够准确。更本质地说大模型是一组经过大量计算调整好的数字这些数字外加一套固定的计算规则当输入一串文本时它能按这套规则算出一串新的文本作为输出。你可以把模型想象成一个超级压缩包。人类几十年积累的书籍、文章、代码、对话被压缩成几亿到几万亿个数字存放起来。平时这个压缩包不占多少空间相比原始文本但一旦给它一个问题它就解压相关的“知识片段”组织成回答。所以模型不是一个独立软件它更像是“知识库计算引擎”的结合体。1.2 参数大模型“脑容量”的计数单位参数这个词出现频率极高比如“千亿参数模型”“万亿参数模型”。参数本质上就是前面说的那些数字每个参数在模型内部都是一个可以调节的数值模型通过调整这些数值来“记住”训练数据里的规律。打个比方如果训练数据是大模型吃的“食物”那参数就是模型的消化器官的数量和复杂度。器官越多、结构越精细它能消化的知识就越丰富但也意味着更贵、更慢、需要更多“食物”数据来支撑。常见的参数规模从几亿小模型到几千亿大模型不等而且参数不是越多越聪明后面第6章我会专门讲这个关系。1.3 训练数据模型学知识的“课本”模型不会天生就会说话、懂逻辑它必须“读”海量文本才能学会。这些被它读过的文本就叫训练数据包括网页文章、书籍、维基百科、技术文档、对话记录等等。训练数据决定了模型的上限——如果给它看的都是“垃圾”它学出来的也只会胡说八道。这也是为什么很多团队在收集数据时要花大量精力做清洗、去重、去敏感内容。这里有一个特别容易误解的点模型并不是把训练数据“背下来”而是从数据里提取统计规律。比如它读了无数句“今天天气真好”就知道“天气”后面大概率跟着“真”或“很”这类词。所谓“学知识”本质上是学会了一种概率猜词游戏。2. 模型是怎么“长大”的预训练、微调与推理2.1 预训练让模型学会“通识”预训练是大模型的“大学基础教育”阶段。在这个阶段模型被喂入海量通用文本通过“预测下一个词”这种看似简单的任务来自我学习。比如给它“我爱北”三个字它要猜下一个字是“京”而不是“极”猜错了就调整参数一点点。经过无数轮这样的练习模型就掌握了语言的基本规律、常识和知识结构。这个过程非常耗钱通常需要几千张高性能显卡连续运行数周甚至数月。但预训练的好处是它能产出一个“通才”——什么都懂一点什么话题都能接上几句。市面上很多开源模型的底座就是预训练出来的基础版本。2.2 监督微调教模型“懂规矩”预训练出来的模型虽然知识丰富但回答问题很“野生”——可能说话没礼貌、容易跑题、甚至照搬网上的粗暴用语。这时候需要监督微调。微调就是拿一批“问题和标准答案”的配对样本让模型照着练学会用符合人类期望的方式回答。最直观的例子预训练模型被问“怎么评价天气”可能会回答“天气是一种大气现象包括温度湿度……”这种百科腔。微调之后它就懂得说“今天挺不错的适合出去走走”这种有温度的回答。微调的成本比预训练低几个数量级这也让很多中小企业可以基于开源模型做自家场景的定制而不是从零训练。2.3 推理模型真正“干活”的时刻推理是指模型已经训练完成后你向它提问、它给你回答的整个过程。在这个阶段模型的参数已经固定不变它只是运行前面学到的规则来生成输出。可以这样理解预训练和微调是“上学”推理是“工作”前者是昂贵的后者相对便宜但仍消耗算力。很多人混淆训练和推理。记住一句话训练时模型在“变聪明”推理时模型在“秀智商”。真正部署到产品里的都是推理阶段。3. 藏在背后的硬核机制Transformer、注意力与Tokenizer3.1 Transformer结构为什么它成了“绝对主流”现在几乎所有大模型都是基于Transformer架构搭起来的。这个概念是2017年一篇论文提出的它最大的创新是抛弃了传统按顺序逐字处理文本的方式改成一次能看到整句话甚至整段文字然后同时分析它们之间的关系。用个生活类比老式的文本处理像“逐字朗读”读完前面才能读后面Transformer像“扫一眼全页”眼睛能同时看到开头、中间、结尾这样就能更快抓住重点。也正是因为这种并行处理能力它才能驾驭海量数据训练成为大模型的“地基”。如果你在文章里看到“基于Transformer架构”“LLM”这些词基本可以默认为说的是一回事。3.2 注意力机制让模型知道“现在该关注谁”注意力机制是Transformer里的核心组件也是它真正“聪明”的地方。它的作用是当模型在处理某个词时能计算句子中其他所有词对这个词的重要程度然后依此分配“注意力”。举个扎心的例子“小明因为自行车坏了所以今天迟到了但老师没有批评他。”模型理解“他”指谁时注意力机制会让它重点关注“小明”而不是“批评”。注意力机制让模型能捕捉长距离的依赖关系这是老式模型做不到的。你看过的所有大模型回答本质上都是注意力机制在背后疯狂“划重点”的结果。3.3 Tokenizer分词器文本如何变成数字模型不能直接读中文或英文它只能处理数字。Tokenizer就是那个把文本翻译成数字的工具。这里要引入一个高频概念Token。简单说Token是模型处理文本的最小单位可能是一个词、一个汉字、半个词或者一个标点。比如英文里单词“unbelievable”可能被拆成“un”“believable”。中文里“大模型真是神奇”可能被拆成“大”“模型”“真是”“神奇”或者更细。因此你会看到“上下文窗口是多少Token”“这个模型一次支持几K Token”这类说法。这里有个实用技巧表情符号、空格、特殊字符都会占Token不同分词器对同一句话拆出的Token数量差别很大。如果你要控制成本尽量用简洁表达能省不少调用费。3.4 上下文窗口模型一次性能“看”多长上下文窗口指的是模型在生成回答时最多能同时“看到”的输入和输出文本长度单位是Token。比如一个模型的上下文窗口是8000 Token那它最多能把8000个Token的内容作为参考超过的部分它根本看不到。这个指标直接决定了你能否跟模型聊长对话、扔进去一整份合同让它分析、或者让它读一篇长博客。窗口越大越好但代价是计算量和内存消耗都会暴涨所以现在很多模型都在平衡“长窗口”和“实际效率”。需要注意窗口大不等于“记忆力好”它只是在一次会话里“视野广”并不意味着它能把之前的会话永久记下来。4. 用得时候才遇到的词提示词、温度与幻觉4.1 提示词工程和模型“好好说话”的艺术提示词就是你输入给模型的那段文字看似简单但提示词的水平直接决定回答质量。同一个模型你问“怎么做番茄炒蛋”和“请以一位有20年经验的厨师身份列举五个常见失败原因并给出避坑建议”得到的答案可能天差地别。提示词工程就是研究“如何写提示词才能让模型发挥得更好”。核心原则是明确角色、明确任务、明确格式、给出示例。比如你希望答案用表格输出就直接说“请用Markdown表格列出三项”你希望它口语化就说“以朋友聊天的语气回复”。这些看似不起眼的指令往往比换一个更大参数量的模型更有效。实际上我在调模型时发现花十分钟优化提示词效果常常比重训模型便宜得多。4.2 温度参数为什么有时候输出会“飘”温度是控制模型输出随机性的参数取值范围通常是0到2之间不同模型略有不同。温度低比如0.1模型输出的概率分布更“尖”每次都选最可能的词回答稳定但有点死板。温度高比如1.5输出更多样更有“创意”但也更容易跑题甚至胡说。用个比喻温度像是调“创意旋钮”。写代码、做数学题请把温度调到0左右做头脑风暴、想文案拉到0.7到1.0之间体验会更好。但切记超过1.0以后随机性会急剧增加多数场景根本用不到并不是越高越有创造力。4.3 幻觉问题模型“一本正经地胡说八道”的真相幻觉是指模型生成的内容看似合理但实际是编造的。比如你问它某个冷门作家是不是某部小说的作者它可能会给出一个具体又自信的答案但实际上那个名字根本不存在。原因是模型本质是概率猜词器当训练数据里缺少相关知识时它就会“猜”而且猜得越流畅越容易被你信以为真。应对幻觉的方法有很多提问时给出更明确的范围、要求模型标注“不确定”、或者使用后面会讲的RAG技术让模型在回答时能查阅外部真实资料。记住凡是涉及事实核查、数字、引用这类场景永远不要盲信模型给出的一手回答务必二次确认。5. 走向实战的进阶术语RAG、Agent与多模态5.1 RAG检索增强生成给模型装个“外挂大脑”RAG的全称是检索增强生成解决的核心问题是大模型的训练知识是固定的它不了解你公司的内部资料、最新新闻或者你个人的私密文档。RAG的思路是先把你自己的资料做索引存储收到问题后先去这个索引里检索出最相关的片段再把片段连同问题一起交给大模型让它基于片段作答。这就像把模型从“一个只能背课本的人”升级成“一个懂得查工具书的人”。当下很多企业做知识库问答用的都是RAG方案因为它不用重新训练模型就能让模型“知道”原本不知道的事情还能大幅减少幻觉。RAG的难点不在接入而在怎么把资料切分好、检索得准。5.2 Agent智能体让模型不只是“聊天”如果说普通大模型是“嘴强王者”Agent就是给这个“嘴”装上了“手脚”。Agent是指让大模型能够自主规划、调用外部工具搜索、写文件、发邮件、执行代码、多轮迭代完成任务的一种应用形态。比如你让Agent“帮我查一下周末天气如果下雨就提醒我带伞”它不是简单回答你而是会先后调用天气查询接口、判断是否下雨、再组织语言提醒你。Agent的核心术语还包括“工具调用”“任务规划”“多步推理”等。现在的Agent还远达不到完全可靠的程度但在自动化办公、数据处理这类场景已经能实际帮着干不少活了。5.3 多模态让模型拥有“眼睛和耳朵”多模态指模型能够处理和生成的不只是文字还包括图像、音频、视频。比如你可以给模型发一张电路板照片问它哪个元件可能坏了或者让它看图写一段描述再或者让它听一段语音然后转写成文字并总结要点。多模态模型的核心做法是把不同模态的数据统一映射到同一个“理解空间”里让模型既能理解像素和声音也能理解文字。这比纯文本模型要复杂得多但是它能覆盖更多的真实场景。目前多模态还比较典型的应用是图片理解、图片生成、语音对话视频理解还在快速迭代中。6. 衡量模型好不好的标尺规模、能力与评测6.1 参数量与能力的关系为什么“越大越聪明”不绝对参数越多的模型通常能记住更多规律因此整体能力更强这就是大家常说的“大力出奇迹”。但注意这种规律只在相近的架构和训练条件下成立。模型能力还取决于训练数据质量、算法优化程度、对齐训练做得好不好等因素。一个只有70亿参数的模型如果训练数据非常干净、优化得很充分完全可以在某些任务上打赢更大规模但训练粗糙的模型。所以选模型不能只看参数还要看基准分数、实际试用效果、社区口碑。参数是营销术语能力是实测数据别把前者当圣旨。6.2 评测基准如何客观地打分为了比较不同模型的强弱行业里出现了很多公开评测集涵盖知识问答、数学、逻辑推理、代码生成、中文理解等维度。模型在这些评测集上的得分就成了通用的“标尺”比如某个榜单上的综合得分、某道数学题的通过率。评测基准的问题在于模型很容易“钻空子”——背下评测题目的答案或者因为测试题被公开而出现过拟合。所以现在更受认可的是“专家人工评测”让几十位标注员给模型的真实回答打分。看评测的时候最好看哪些任务是盲测、答案有没有随机性、样本量够不够大否则数字好看也没用。6.3 过拟合与泛化模型“死记硬背”的坏处过拟合用大白话说就是模型在训练数据上表现极好一到没见过的真实输入就表现拉胯。原因是模型把训练数据里的“噪声”和“偶然规律”也背下来了反而失去了通用的概括能力。泛化则相反指的是模型能处理“没见过的情况”比如让它读了一堆科技新闻它也能流畅回答情感咨询让它学了中文也能应对夹杂英文的提问。好的大模型追求的是高泛化率而不是高死记率。训练时的数据多样性、正则化手段、早停策略都是为了在过拟合和泛化之间找平衡。这一点当你自己尝试微调模型时会感受得特别明显——训练集正确率接近100%换到测试集立刻掉到70%那就是典型的过拟合信号。把这些术语串起来其实大模型的世界并不神秘先有海量数据和Transformer架构再通过预训练和微调得到会聊天、能办事的模型最后配上提示词技巧、RAG检索和Agent能力就构成了今天五花八门的AI应用。以后再看到一篇新闻里蹦出“参数”“幻觉”“上下文窗口”这些词你应该不会再慌了吧。 
长河君 · 2026/10/16 8:44:54 · 阅读 1.2k 大模型核心术语全解读：从参数、预训练到RAG一篇文章搞懂
每次有人问我“大模型到底是个啥”我都要先深呼吸因为这个词背后有一大串吓人的术语参数、训练、微调、Tokenizer、注意力机制、幻觉、上下文窗口……听完的人多半一脸懵最后只能尴尬地点头。说实话我在刚接触这个领域的时候也被绕晕过很多词单独看都能查到定义但连在一起就不知道它们之间是什么关系。这篇东西就是奔着解决这个问题来的。我把大模型里最核心、最高频的术语按“模型本身 — 怎么训练 — 内部原理 — 怎么用 — 进阶玩法 — 怎么评价”这条逻辑线拆开讲全部用生活化的类比和实际例子解释不堆公式不抄文档。无论你是刚入行的开发、转行做产品的还是单纯好奇AI原理的路人都可以把它当成一份随时翻查的速查手册看完心里会踏实很多。1. 模型、参数与训练数据看懂大模型的“骨架”1.1 模型到底是个什么东西它不是“一个软件”很多人把大模型想象成一个安装在电脑里的程序双击就能跑。这种理解没错但不够准确。更本质地说大模型是一组经过大量计算调整好的数字这些数字外加一套固定的计算规则当输入一串文本时它能按这套规则算出一串新的文本作为输出。你可以把模型想象成一个超级压缩包。人类几十年积累的书籍、文章、代码、对话被压缩成几亿到几万亿个数字存放起来。平时这个压缩包不占多少空间相比原始文本但一旦给它一个问题它就解压相关的“知识片段”组织成回答。所以模型不是一个独立软件它更像是“知识库计算引擎”的结合体。1.2 参数大模型“脑容量”的计数单位参数这个词出现频率极高比如“千亿参数模型”“万亿参数模型”。参数本质上就是前面说的那些数字每个参数在模型内部都是一个可以调节的数值模型通过调整这些数值来“记住”训练数据里的规律。打个比方如果训练数据是大模型吃的“食物”那参数就是模型的消化器官的数量和复杂度。器官越多、结构越精细它能消化的知识就越丰富但也意味着更贵、更慢、需要更多“食物”数据来支撑。常见的参数规模从几亿小模型到几千亿大模型不等而且参数不是越多越聪明后面第6章我会专门讲这个关系。1.3 训练数据模型学知识的“课本”模型不会天生就会说话、懂逻辑它必须“读”海量文本才能学会。这些被它读过的文本就叫训练数据包括网页文章、书籍、维基百科、技术文档、对话记录等等。训练数据决定了模型的上限——如果给它看的都是“垃圾”它学出来的也只会胡说八道。这也是为什么很多团队在收集数据时要花大量精力做清洗、去重、去敏感内容。这里有一个特别容易误解的点模型并不是把训练数据“背下来”而是从数据里提取统计规律。比如它读了无数句“今天天气真好”就知道“天气”后面大概率跟着“真”或“很”这类词。所谓“学知识”本质上是学会了一种概率猜词游戏。2. 模型是怎么“长大”的预训练、微调与推理2.1 预训练让模型学会“通识”预训练是大模型的“大学基础教育”阶段。在这个阶段模型被喂入海量通用文本通过“预测下一个词”这种看似简单的任务来自我学习。比如给它“我爱北”三个字它要猜下一个字是“京”而不是“极”猜错了就调整参数一点点。经过无数轮这样的练习模型就掌握了语言的基本规律、常识和知识结构。这个过程非常耗钱通常需要几千张高性能显卡连续运行数周甚至数月。但预训练的好处是它能产出一个“通才”——什么都懂一点什么话题都能接上几句。市面上很多开源模型的底座就是预训练出来的基础版本。2.2 监督微调教模型“懂规矩”预训练出来的模型虽然知识丰富但回答问题很“野生”——可能说话没礼貌、容易跑题、甚至照搬网上的粗暴用语。这时候需要监督微调。微调就是拿一批“问题和标准答案”的配对样本让模型照着练学会用符合人类期望的方式回答。最直观的例子预训练模型被问“怎么评价天气”可能会回答“天气是一种大气现象包括温度湿度……”这种百科腔。微调之后它就懂得说“今天挺不错的适合出去走走”这种有温度的回答。微调的成本比预训练低几个数量级这也让很多中小企业可以基于开源模型做自家场景的定制而不是从零训练。2.3 推理模型真正“干活”的时刻推理是指模型已经训练完成后你向它提问、它给你回答的整个过程。在这个阶段模型的参数已经固定不变它只是运行前面学到的规则来生成输出。可以这样理解预训练和微调是“上学”推理是“工作”前者是昂贵的后者相对便宜但仍消耗算力。很多人混淆训练和推理。记住一句话训练时模型在“变聪明”推理时模型在“秀智商”。真正部署到产品里的都是推理阶段。3. 藏在背后的硬核机制Transformer、注意力与Tokenizer3.1 Transformer结构为什么它成了“绝对主流”现在几乎所有大模型都是基于Transformer架构搭起来的。这个概念是2017年一篇论文提出的它最大的创新是抛弃了传统按顺序逐字处理文本的方式改成一次能看到整句话甚至整段文字然后同时分析它们之间的关系。用个生活类比老式的文本处理像“逐字朗读”读完前面才能读后面Transformer像“扫一眼全页”眼睛能同时看到开头、中间、结尾这样就能更快抓住重点。也正是因为这种并行处理能力它才能驾驭海量数据训练成为大模型的“地基”。如果你在文章里看到“基于Transformer架构”“LLM”这些词基本可以默认为说的是一回事。3.2 注意力机制让模型知道“现在该关注谁”注意力机制是Transformer里的核心组件也是它真正“聪明”的地方。它的作用是当模型在处理某个词时能计算句子中其他所有词对这个词的重要程度然后依此分配“注意力”。举个扎心的例子“小明因为自行车坏了所以今天迟到了但老师没有批评他。”模型理解“他”指谁时注意力机制会让它重点关注“小明”而不是“批评”。注意力机制让模型能捕捉长距离的依赖关系这是老式模型做不到的。你看过的所有大模型回答本质上都是注意力机制在背后疯狂“划重点”的结果。3.3 Tokenizer分词器文本如何变成数字模型不能直接读中文或英文它只能处理数字。Tokenizer就是那个把文本翻译成数字的工具。这里要引入一个高频概念Token。简单说Token是模型处理文本的最小单位可能是一个词、一个汉字、半个词或者一个标点。比如英文里单词“unbelievable”可能被拆成“un”“believable”。中文里“大模型真是神奇”可能被拆成“大”“模型”“真是”“神奇”或者更细。因此你会看到“上下文窗口是多少Token”“这个模型一次支持几K Token”这类说法。这里有个实用技巧表情符号、空格、特殊字符都会占Token不同分词器对同一句话拆出的Token数量差别很大。如果你要控制成本尽量用简洁表达能省不少调用费。3.4 上下文窗口模型一次性能“看”多长上下文窗口指的是模型在生成回答时最多能同时“看到”的输入和输出文本长度单位是Token。比如一个模型的上下文窗口是8000 Token那它最多能把8000个Token的内容作为参考超过的部分它根本看不到。这个指标直接决定了你能否跟模型聊长对话、扔进去一整份合同让它分析、或者让它读一篇长博客。窗口越大越好但代价是计算量和内存消耗都会暴涨所以现在很多模型都在平衡“长窗口”和“实际效率”。需要注意窗口大不等于“记忆力好”它只是在一次会话里“视野广”并不意味着它能把之前的会话永久记下来。4. 用得时候才遇到的词提示词、温度与幻觉4.1 提示词工程和模型“好好说话”的艺术提示词就是你输入给模型的那段文字看似简单但提示词的水平直接决定回答质量。同一个模型你问“怎么做番茄炒蛋”和“请以一位有20年经验的厨师身份列举五个常见失败原因并给出避坑建议”得到的答案可能天差地别。提示词工程就是研究“如何写提示词才能让模型发挥得更好”。核心原则是明确角色、明确任务、明确格式、给出示例。比如你希望答案用表格输出就直接说“请用Markdown表格列出三项”你希望它口语化就说“以朋友聊天的语气回复”。这些看似不起眼的指令往往比换一个更大参数量的模型更有效。实际上我在调模型时发现花十分钟优化提示词效果常常比重训模型便宜得多。4.2 温度参数为什么有时候输出会“飘”温度是控制模型输出随机性的参数取值范围通常是0到2之间不同模型略有不同。温度低比如0.1模型输出的概率分布更“尖”每次都选最可能的词回答稳定但有点死板。温度高比如1.5输出更多样更有“创意”但也更容易跑题甚至胡说。用个比喻温度像是调“创意旋钮”。写代码、做数学题请把温度调到0左右做头脑风暴、想文案拉到0.7到1.0之间体验会更好。但切记超过1.0以后随机性会急剧增加多数场景根本用不到并不是越高越有创造力。4.3 幻觉问题模型“一本正经地胡说八道”的真相幻觉是指模型生成的内容看似合理但实际是编造的。比如你问它某个冷门作家是不是某部小说的作者它可能会给出一个具体又自信的答案但实际上那个名字根本不存在。原因是模型本质是概率猜词器当训练数据里缺少相关知识时它就会“猜”而且猜得越流畅越容易被你信以为真。应对幻觉的方法有很多提问时给出更明确的范围、要求模型标注“不确定”、或者使用后面会讲的RAG技术让模型在回答时能查阅外部真实资料。记住凡是涉及事实核查、数字、引用这类场景永远不要盲信模型给出的一手回答务必二次确认。5. 走向实战的进阶术语RAG、Agent与多模态5.1 RAG检索增强生成给模型装个“外挂大脑”RAG的全称是检索增强生成解决的核心问题是大模型的训练知识是固定的它不了解你公司的内部资料、最新新闻或者你个人的私密文档。RAG的思路是先把你自己的资料做索引存储收到问题后先去这个索引里检索出最相关的片段再把片段连同问题一起交给大模型让它基于片段作答。这就像把模型从“一个只能背课本的人”升级成“一个懂得查工具书的人”。当下很多企业做知识库问答用的都是RAG方案因为它不用重新训练模型就能让模型“知道”原本不知道的事情还能大幅减少幻觉。RAG的难点不在接入而在怎么把资料切分好、检索得准。5.2 Agent智能体让模型不只是“聊天”如果说普通大模型是“嘴强王者”Agent就是给这个“嘴”装上了“手脚”。Agent是指让大模型能够自主规划、调用外部工具搜索、写文件、发邮件、执行代码、多轮迭代完成任务的一种应用形态。比如你让Agent“帮我查一下周末天气如果下雨就提醒我带伞”它不是简单回答你而是会先后调用天气查询接口、判断是否下雨、再组织语言提醒你。Agent的核心术语还包括“工具调用”“任务规划”“多步推理”等。现在的Agent还远达不到完全可靠的程度但在自动化办公、数据处理这类场景已经能实际帮着干不少活了。5.3 多模态让模型拥有“眼睛和耳朵”多模态指模型能够处理和生成的不只是文字还包括图像、音频、视频。比如你可以给模型发一张电路板照片问它哪个元件可能坏了或者让它看图写一段描述再或者让它听一段语音然后转写成文字并总结要点。多模态模型的核心做法是把不同模态的数据统一映射到同一个“理解空间”里让模型既能理解像素和声音也能理解文字。这比纯文本模型要复杂得多但是它能覆盖更多的真实场景。目前多模态还比较典型的应用是图片理解、图片生成、语音对话视频理解还在快速迭代中。6. 衡量模型好不好的标尺规模、能力与评测6.1 参数量与能力的关系为什么“越大越聪明”不绝对参数越多的模型通常能记住更多规律因此整体能力更强这就是大家常说的“大力出奇迹”。但注意这种规律只在相近的架构和训练条件下成立。模型能力还取决于训练数据质量、算法优化程度、对齐训练做得好不好等因素。一个只有70亿参数的模型如果训练数据非常干净、优化得很充分完全可以在某些任务上打赢更大规模但训练粗糙的模型。所以选模型不能只看参数还要看基准分数、实际试用效果、社区口碑。参数是营销术语能力是实测数据别把前者当圣旨。6.2 评测基准如何客观地打分为了比较不同模型的强弱行业里出现了很多公开评测集涵盖知识问答、数学、逻辑推理、代码生成、中文理解等维度。模型在这些评测集上的得分就成了通用的“标尺”比如某个榜单上的综合得分、某道数学题的通过率。评测基准的问题在于模型很容易“钻空子”——背下评测题目的答案或者因为测试题被公开而出现过拟合。所以现在更受认可的是“专家人工评测”让几十位标注员给模型的真实回答打分。看评测的时候最好看哪些任务是盲测、答案有没有随机性、样本量够不够大否则数字好看也没用。6.3 过拟合与泛化模型“死记硬背”的坏处过拟合用大白话说就是模型在训练数据上表现极好一到没见过的真实输入就表现拉胯。原因是模型把训练数据里的“噪声”和“偶然规律”也背下来了反而失去了通用的概括能力。泛化则相反指的是模型能处理“没见过的情况”比如让它读了一堆科技新闻它也能流畅回答情感咨询让它学了中文也能应对夹杂英文的提问。好的大模型追求的是高泛化率而不是高死记率。训练时的数据多样性、正则化手段、早停策略都是为了在过拟合和泛化之间找平衡。这一点当你自己尝试微调模型时会感受得特别明显——训练集正确率接近100%换到测试集立刻掉到70%那就是典型的过拟合信号。把这些术语串起来其实大模型的世界并不神秘先有海量数据和Transformer架构再通过预训练和微调得到会聊天、能办事的模型最后配上提示词技巧、RAG检索和Agent能力就构成了今天五花八门的AI应用。以后再看到一篇新闻里蹦出“参数”“幻觉”“上下文窗口”这些词你应该不会再慌了吧。