大模型这个词这几年几乎被说烂了。但有个很有意思的现象很多人每天都在用各种大模型产品能说得出它很聪明它有时会胡说八道可真被问到大模型到底是个什么结构为什么参数越多越聪明Temperature调低是什么意思的时候就卡壳了。这篇就是想把大模型的基础概念讲通透——不堆公式不抄论文用从业者的视角把这套东西掰开揉碎让你建立一张概念地图。后面无论你是要读论文、调API还是准备训练自己的小模型都能把新知识挂到这张图上不至于越学越乱。这篇文章适合三类人刚入行想做AI方向的开发者、每天在调大模型接口但没搞懂原理的产品或运营、以及学了一堆名词但串不起来的自学者。我会从技术演进的来龙去脉讲起再拆解大的本质、关键术语、训练范式和能力边界最后给出一条我自己验证过的学习路径。1. 从猜词游戏到大模型一条绕不开的技术演进路线1.1 早期NLP的笨办法规则和统计模型为什么走不通很多人以为大模型是突然冒出来的其实这条技术路走了好几十年。早期的自然语言处理NLP基本是两条路规则派和统计派。规则派的做法是最朴素的想法——把语言规则写成代码。比如判断一句话的情感就维护一个词典好棒是正向词差烂是负向词再写一堆if-else处理否定、程度副词。问题很明显语言太灵活了我服了你在不同语境下可以是夸也可以是骂呵呵到底是笑还是讽刺规则根本穷举不完。语言的组合爆炸意味着你永远写不完所有规则而且每换一个领域整套规则就要重写。统计派往前走了一步不再写死规则而是从语料里统计词和词的共现关系。n-gram模型就是典型的统计派产物根据前n-1个词预测第n个词出现的概率。比如今天天气很____统计语料里好糟热这些词跟在很后面出现的频率选个概率最高的填进去。但n-gram有个致命缺陷它只看得到前后几个词一旦需要跨长距离才能确认的信息就抓瞎。比如句子是小明昨天去了图书馆他在那里读了整整一下午的____要填书还是操场上跑步靠只往前看三四个词的n-gram根本做不到。这个长距离依赖问题在NLP领域困扰了研究者很多年。1.2 词向量让语义第一次变成可以计算的坐标2013年前后Word2Vec这类词嵌入方法的出现是个标志性事件。它做了一件很关键的事把每个词映射成一个几百维的稠密向量语义相似的词在向量空间里距离更近。最有名的例子是国王 - 男 女 ≈ 女王。你拿国王的向量减去男性的向量再加上女性的向量得到的结果和女王的向量非常接近。这说明词汇的语义关系被编码成了向量空间中的几何关系机器第一次有了可以计算语义的抓手。词向量的意义怎么强调都不过分——在此之前词对于机器来说就是一个字典里的编号词和词之间毫无关系词向量出现之后语义有了距离相似词可以直接通过余弦相似度计算。今天大模型里的Embedding层本质上还是这个思路的延伸只是把词变成了token维度更高、包含的信息更丰富。1.3 RNN和LSTM虽然能处理序列但记忆依然有限有了词向量研究者开始尝试让模型真正读懂序列。循环神经网络RNN的设计思路很自然每读一个词就把上一时刻的状态一起更新相当于模型带着记忆在读句子。理论上RNN可以记住任意长的历史但实际上训练时会出现梯度消失——反向传播时误差信号在传递很多步之后指数级衰减早先的信息根本更新不了参数。结果就是RNN记不住早出现的内容长句子的效果很差。后来LSTM长短期记忆网络通过门控机制缓解了这个问题让模型可以选择性记住或遗忘信息确实把可记忆的长度拉长了。但LSTM的问题是训练是串行的——后一个时刻必须等前一个时刻算完很难并行加速模型规模一大训练就慢得离谱。1.4 注意力机制与Transformer大模型的真正地基真正的拐点是2017年那篇提出Transformer架构的论文核心是自注意力机制Self-Attention。它的想法非常优雅对序列里的每一个位置直接计算它和其他所有位置的相关性权重然后把全局信息加权融合进来。这意味着两件事。第一长距离依赖问题在结构上被解决了——不管两个词隔多远在自注意力里都是直接相连都能建立关联。第二所有位置可以并行计算不需要像RNN那样一个个往后传这让大规模训练成为可能。你可以把自注意力理解成一个全员会议每个人发言时都能同时听到其他所有人的声音然后按相关性决定重点听谁说的而不是只能听邻座的转述。Transformer之后分了两个流派一类是BERT这种只用编码器Encoder的模型擅长理解任务比如文本分类、命名实体识别另一类是GPT这种只用解码器Decoder的模型擅长生成任务一个词一个词往外蹦。后来的故事大家都知道了GPT这条只顾生成的路线越走越宽最终演变成今天的大模型。1.5 为什么大成为关键Scaling Law与涌现能力技术路线定了之后研究者发现一个反直觉的现象只要把模型规模、训练数据、算力一起堆上去模型能力就会稳定提升。OpenAI提出的Scaling Law把这个规律量化了——模型性能与参数量、数据量、算力之间存在幂律关系而不是简单的线性增长。更让整个领域兴奋的是涌现能力。某些能力并不是随着规模增大平滑提升而是在规模突破某个阈值后突然出现。比如思维链推理让模型一步一步思考再给出答案、上下文学习给几个示例模型就能照着做在小模型上几乎为0但到了百亿、千亿参数规模后直接冒出来。这就像砌墙矮的时候你看不出它跟土堆有什么区别但砌到一定高度结构自稳性突然就出来了——能撑住房梁了。研究界对涌现能力还有争议有人说它是评测方式的产物但作为工程上的观察结论模型够大能力会质变这一点已经是被反复验证过的经验。2. 大在哪里参数量、训练数据与算力三者的关系2.1 参数量决定模型记住什么的物理天花板大模型的大首先体现在参数量上。GPT-1是1.17亿参数GPT-2到了15亿GPT-3是1750亿到了GPT-4世代行业普遍猜测已经达到万亿级别参数而且采用了MoE混合专家架构每次推理只激活其中一部分参数但知识容量是整个模型共享的。参数是什么说白了就是神经网络里那些不断被调整的权重和偏置。每条连接有一个权重每个神经元有一个偏置这些数值放在一起就是模型的记忆和能力。参数越多模型能刻进去的模式就越丰富。你可以把参数理解成一个人的神经元连接读书越多、经历越多神经元之间的连接就越复杂能调用的知识就越广。一个直观的体感今天开源社区的7B、14B级别模型常识问答、文案写作已经相当流畅但你要它做深度的逻辑推理、写特别长的结构化内容它和几百B的模型比还是有明显差距。参数量的差距在高难度任务上会清晰暴露出来。2.2 训练数据互联网级别的阅读量喂出的认知底座光有参数不够还得有东西往里填。大模型的训练数据已经从早期的维基百科、书籍、新闻扩展到了整个互联网的网页抓取数据。这些语料动辄几万亿个token相当于人类几千年才能读完的文本量。模型在预训练阶段把这些文本通读一遍所有领域的基础知识、语言模式、常识关联就都压进了参数里。数据质量直接影响模型能力的上限。粗糙的爬虫数据里有无意义重复、有错误信息、甚至有恶意内容所以训练之前要做清洗过滤。更关键的是数据的多样性——如果只喂代码模型可能不擅长写诗如果只喂新闻模型可能不会聊天。理想的训练语料要覆盖数学、代码、科学、人文、对话等各种领域模型才能形成综合能力。一个行业里常见的认知误区是数据越多越好。其实到后期数据的多样性和质量比数量更重要。业内有个说法高质量的token和低质量的token对模型能力的影响不是一个量级的。这也是为什么很多团队会在预训练的中期阶段提高高质量语料比如书籍、论文、精编问答的采样权重。2.3 算力和成本为什么训练一次动辄千万级参数量和训练数据都得靠算力来炼化。训练大模型的成本高到什么程度以1750亿参数级别的模型为例完整训练一次需要数千张高端GPU并行跑几个月单次训练的电费和硬件损耗成本就在千万美元级别。这还没算反复实验、调超参、失败重来的成本。算力之所以耗得这么夸张有个简单的显存计算可以感受一下一个70亿参数的模型用FP16半精度存权重就需要大约14GB显存。训练时还不止存权重要同时保存梯度、优化器状态Adam优化器会为每个参数额外存两份状态加起来轻松超过权重的7到10倍。所以70亿参数的模型单卡32GB根本别想训练推理倒是勉强可以。这也是为什么出现了各种并行训练技术——数据并行、张量并行、流水线并行——本质上都是因为一张卡塞不下必须把模型和数据切开分到很多卡上。对普通开发者和研究者来说这个现象的直接启示是现阶段你基本不用考虑从零训练一个大模型成本不是个人或者小团队能承受的。更现实的做法是站在巨人肩膀上——用开源模型做微调或者直接调商业模型的API。2.4 三者之间的不可能三角参数、数据、算力不是独立的它们构成了一个互相约束的系统。Scaling Law告诉我们模型能力的提升需要参数、数据、算力同步增长只放大其中一个效果会迅速触及瓶颈。这也是很多团队踩过的坑拿着一个大模型架构却只准备了一点点数据结果训练出来的模型严重欠拟合浪费了GPU或者数据准备了海量但模型尺寸太小数据再多也记不住。把三者当成一个整体来规划比单点抠任何一个都重要。3. 想用好大模型先搞懂这几个词3.1 Token模型理解文本的最小单位Token是大模型处理文本的最小单元所有输入输出都先被切成token再映射成数字ID喂给模型。为什么不用字或者词做单位因为不同语言分词规则不同一个字在中文里信息量很大在英文里又太碎而模型需要一个统一的、可学习的粒度。具体切法大致是这样的英文通常按子词切分一个常见的英文词大约对应1-2个token粗略估算4个英文字符约等于1个token中文一个字通常对应1个到1个多token具体看分词器的词表设计。可以看个示意# 示意估算不同分词器的实际结果会有差异 def estimate_tokens(text, is_chineseFalse): if is_chinese: return round(len(text) * 1.3) # 中文一字约1~2个token return round(len(text) / 4) # 英文约4字符1个token text_cn 大模型的基础概念 text_en Large language model basics print(estimate_tokens(text_cn, is_chineseTrue)) # 大约9 print(estimate_tokens(text_en, is_chineseFalse)) # 大约9这个细节为什么重要两点。第一API计费是按token计费的你觉得自己发了一段话没几个字翻译成token可能直接翻倍第二模型对长文本的处理上限也是按token算的你输入的内容占了多少token直接决定了还能给它留多少思考空间去生成回答。3.2 上下文窗口模型的工作台面积上下文窗口Context Window指模型一次能看到的token总量包括你输入的提示词、历史对话以及它生成的内容。你可以把它理解成模型的工作台——台面越大它能同时摊开的资料越多。早期的GPT-3上下文窗口只有2048个token写一篇长文就塞不下后来慢慢扩展到8k、32k、128k现在甚至有超过百万token的模型相当于能一次性读完几本厚书。上下文窗口越大模型处理长文档、长对话的能力越强但代价是计算量大幅上升而且并不是窗口越大模型就越能有效利用这和人类的注意力机制有点像。一个实测中的常见现象是Lost in the Middle——模型对输入开头和结尾的内容利用得比较充分但夹在中间的信息容易被遗漏。所以你让模型分析一份长文档时最好把关键信息放在提示词的靠前或靠后位置而不是藏在中间段落里。3.3 Temperature和Top_p控制创造力的两个旋钮用过AI绘画或者对话模型的人一定见过Temperature参数。它控制的是模型生成时的随机程度本质上是在采样下一个token时如何对待概率分布。Temperature等于1时保持模型原始计算的概率分布采样低于1比如0.2概率分布变得更尖锐高概率的token更容易被选中输出更确定、更保守高于1比如0.8以上注意不是说就能超过1很多有些接口限制分布变得平坦低概率的token也有机会被抽中输出更多样、更有发散性。实践中我的经验是做信息抽取、代码生成、翻译这类追求准确的任务Temperature调到0.1到0.3做创意写作、头脑风暴、文案润色调到0.7到1.0。但不要盲目拉高超过1.2之后输出基本就开始语义飘忽甚至出现胡言乱语。Top_p则是另一种采样策略它从累计概率达到某一阈值的token集合里采样。比如Top_p0.9就是把概率从高到低累加直到累计概率超过0.9的这批token作为候选集。有些模型推荐要么调Temperature要么调Top_p不要同时猛调因为两个旋钮互相干扰效果容易失控。3.4 Embedding文字背后的高维坐标前面提过Word2Vec大模型里的Embedding是它的升级版。每个token都被映射成一个高维向量常见维度是4096、8192甚至更高这个向量就是该token在模型内部语义空间里的坐标。Embedding最值钱的一点是语义相似的内容在高维空间里距离近语义对立的可能在方向上有规律。比如猫和狗的向量距离很近猫和汽车的向量距离很远。这种空间结构使得模型可以进行语义搜索——把问题转成向量再去向量数据库里找最相关的内容这就是RAG检索增强生成最底层的原理。理解Embedding还有一个更实用的场景做语义搜索时不要直接拿模型生成的文本去匹配而是用它的Embedding向量算余弦相似度。很多入门者一开始不懂这个直接用关键词字符串匹配效果差还很慢其实本质问题就是没有把文本转成可计算的语义坐标。4. 模型的能力从哪来预训练、微调与对齐4.1 预训练让模型读完整互联网的猜词游戏大模型的第一阶段叫预训练目标非常简单粗暴给定一段文本的前面部分预测下一个token是什么。你可能会觉得这不过是猜词凭什么能学会知识和逻辑关键就在数据的规模和模型的容量。当模型在几十万亿token上反复做下一个词预测时为了降低预测误差它被迫学会大量隐藏在文本里的规律事实性知识、句法结构、推理模式、甚至代码的执行逻辑。所有知识都被压缩进了参数里。这个过程不依赖任何人工标注互联网上现成的文本就是训练数据这也是大模型能通读全网的原因。这也是为什么大模型看起来什么都知道——它不是真的检索了知识而是把知识压缩进了神经网络参数里。你问它北京是哪个国家的首都它不是去查资料而是根据参数中蕴含的模式生成最可能正确的答案。理解这一点非常重要它是解释后面所有翻车现象的根源。4.2 微调从会说话到会听话预训练做完的模型像一个读了很多书但不会聊天的人——你问一句它可能顺着概率接一句不相干的话因为它只会续写不会遵循指令。这时就需要微调SFT监督微调。微调的做法是收集大量高质量的指令-回答对比如请用三句话解释一下什么是内存配上人工写好的标准答案让模型基于这些数据继续训练。数据量通常不大几千到几万条就可以有明显效果重点是质量要高。你会发现微调之后模型学会了回答问题的格式明白了用户提问后我应该给出一个针对性的、完整的回答这个行为模式而不是继续自由联想。微调的本质是给已经装满知识的模型规训出一套行为规则。这个阶段的训练成本比预训练低好几个数量级也是中小企业最常接触的方式——拿开源基座模型用自己行业的问答数据微调就能得到一个懂行的客服机器人或文档助手。4.3 对齐让模型符合人类的偏好和意图微调让模型会听话但会听话不等于说人话。模型仍然可能输出冗长重复的内容、给出种族歧视言论、或者一本正经地胡说八道。这就轮到对齐阶段出场最经典的方法是RLHF基于人类反馈的强化学习。RLHF大致分三步先让模型生成多个回答请人工给这些回答的质量排序然后用排序数据训练一个奖励模型用来给任何回答打分最后用强化学习算法比如PPO调整原模型让它尽量输出奖励模型评分高的内容。整个过程下来模型的回答风格会明显更贴近人类偏好——更简洁、更有帮助、更不容易跑偏。行业里后来也出现了更简化的对齐方法比如DPO不需要单独训练奖励模型直接在偏好数据上优化效果在不少场景下和RLHF相当而且工程上更省事。但这些都属于让模型输出的东西更符合人的期待这一目标下的不同手段。4.4 一条训练数据从互联网到爆款产品的完整旅程把三个阶段串起来。预训练阶段模型吸收了互联网上海量文本学到了知识和语言模式但还不会对话微调阶段用人工编写的高质量问答对教会了它用户提问我就回答回答要完整直接的行为对齐阶段通过人类偏好反馈让它在能回答的基础上进一步做到答得好、答得安全。这个过程可以类比成一个孩子长大成人的路径预训练是通读万卷书构建知识框架微调是父母老师教他规矩和待人接物的方式对齐是社会反馈让他更懂分寸、更讨人喜欢。三个环节少哪一个最后的产品体验都会差一大截。5. 再强的模型也会翻车幻觉、知识截止与上下文限制5.1 幻觉一本正经地胡说八道是怎么发生的幻觉是大模型最广为人知的毛病——它会用非常笃定的语气编造一个看起来完全合理但实际错误的内容。比如问它某本书写了什么它可能直接给你编一本不存在的书的情节连作者名和出版社都对不上。根源在生成机制模型本质在做概率预测它选择的是最可能的下一段内容而不是真实的内容。当遇到知识盲区时模型不会像人一样说我不知道它仍然会按照语言模式编出一个最像答案的东西。尤其是它被训练得特别擅长迎合用户你没给它查证的机会它就顺着你的话一路编。应对幻觉的常用手段一是RAG先从一个可信的知识库里检索相关内容把检索结果拼进提示词再让模型基于这些材料作答而不是让它凭空发挥二是明确要求模型标注不确定信息或者给出推理依据三是在关键场景里加入人工复核环节把模型当作初稿生成器而非最终答案。你不可能完全消灭幻觉但可以在流程上把幻觉造成的损失控制住。5.2 知识截止日期模型不是实时联网的搜索引擎每个预训练模型都有一个知识截止时间比如某个模型只知道2024年之前的事之后发生的一切它都不了解。这不是模型笨是因为它的知识来源是训练语料而训练语料收集有一个时间节点。很多人用大模型的第一个坑就是把它当搜索引擎用今天股票行情怎么样下周天气如何模型要么一本正经地编一个要么明确说不知道。工程上的解法是给模型接上联网搜索能力让它需要实时信息时主动去搜然后把搜索结果作为上下文的一部分再生成回答。很多AI搜索产品就是这么做的模型本身并没有变是外面的流程变了。5.3 多轮对话中的记忆衰退上下文窗口虽然越来越大但终究有限。多轮对话时早期输入的信息可能会被后续内容挤占或遗忘即使没被挤出窗口模型对中间段信息的关注度也会下降这在前面提过的Lost in the Middle现象里已经体现过了。实际使用中有个很典型的场景你上传了一份50页的文档让模型分析前10个问题答得都挺好第11个问题问我刚才提到的第二个项目的预算是多少模型可能就懵了——不是它忘了是这份信息在注意力里的权重已经被其他内容冲淡了。工程上可以通过总结历史对话、把关键信息单独提取出来放在提示词开头、或者用外置记忆组件来解决。5.4 精确计算和多步骤逻辑的局限还有一类容易被忽视的翻车数学精确计算。你让模型算1234567乘以7654321它可能给你一串明显不对的数字。原因同样在于它的生成方式是预测概率分布而不是真的在运算——它不是计算器它只是看着像答案的文本预测器。处理这类问题的正确姿势不是让它算而是让它写代码告诉它用Python算一下它写出正确的计算代码然后执行答案是准确的。这也是为什么现在模型工具的Agent模式越来越火——模型负责理解意图和拆解任务计算、查表、调用API这类确定性操作全部外接给专门工具各干各的擅长的部分。6. 给入门者的大模型学习路径与我的心法6.1 我建议的学习顺序先建框架再补细节经常有人问我想学大模型该从哪开始我的建议从来不是一上来就读论文而是按这个顺序先搞懂机器学习的基础概念损失函数、梯度下降、过拟合再学深度学习基础全连接网络、反向传播然后是NLP基础词向量、RNN、LSTM、注意力机制接着精读Transformer原论文然后动手跑一个开源小模型的推理和微调最后再根据实际需求补强化学习、模型并行、量化部署这些进阶话题。这个顺序的核心逻辑是避免空中楼阁。很多人直接跳到最后一步用现成框架调API跑通了但出了报错完全看不懂因为底层概念是空的。反过来你如果理解了损失函数和反向传播Transformer里的那些模块看起来就是一堆熟悉组件的组合根本不用背。6.2 实操上我的建议先跑通一个最小闭环理论看十遍不如上手跑一遍。具体做法第一步找一个开源小模型7B左右那种在本地或者云GPU上跑通推理体验一下它的输出风格顺便看看显存占用、推理延迟这些工程指标第二步准备几百条自己领域的问答数据对模型做一次微调感受训练过程的Loss曲线变化以及微调前后模型风格的变化第三步自己搭一个极简的RAG流程用一个向量数据库把自己的文档转成Embedding让模型基于检索结果回答问题。这三步走完你对大模型的能力边界、成本结构、常见坑都会有一个非常具体的体感。之后不管是做产品还是深入研究你的判断就不会只停留在它很厉害或它很蠢这种笼统层面而是能精确到这个任务适合用什么模型、配什么流程、花多少钱。6.3 最后说点概念之外的东西学大模型基础概念这几年我最大的体感是第一性认知最重要。大模型本质上是一个在巨大数据上训练出来的概率模型不是一个精确的知识库。想明白这一点后面所有怪现象——幻觉、不会算数、知识过时——都变得非常好解释因为它本来就不是冲着一个正确答案去的它是冲着最像答案的东西去的。所以入门阶段我反而不太建议大家过度纠结参数大小和榜单分数。那些东西今天刷榜明天就被超但你脑子里关于序列预测Scaling Law对齐的概念框架会一直有解释力。概念之间的连接才是真正能迁移的能力。另外一个很现实的建议边学边用。你不需要把这篇文章里的所有概念背下来再去动手而是可以现在就打开手边任何一个大模型产品做一个任务然后回头想想——它的输入是怎么被切分成token的它在哪个阶段学会了这个知识它生成的这句话是靠什么机制保证逻辑的带着问题回来看概念效率远高于单纯啃文档。概念是为问题服务的解决问题才是目的这个顺序别搞反了。 
长河君 · 2026/10/20 8:36:19 · 阅读 1.2k 大模型入门：从Transformer到Token与微调，一文读懂核心概念
大模型这个词这几年几乎被说烂了。但有个很有意思的现象很多人每天都在用各种大模型产品能说得出它很聪明它有时会胡说八道可真被问到大模型到底是个什么结构为什么参数越多越聪明Temperature调低是什么意思的时候就卡壳了。这篇就是想把大模型的基础概念讲通透——不堆公式不抄论文用从业者的视角把这套东西掰开揉碎让你建立一张概念地图。后面无论你是要读论文、调API还是准备训练自己的小模型都能把新知识挂到这张图上不至于越学越乱。这篇文章适合三类人刚入行想做AI方向的开发者、每天在调大模型接口但没搞懂原理的产品或运营、以及学了一堆名词但串不起来的自学者。我会从技术演进的来龙去脉讲起再拆解大的本质、关键术语、训练范式和能力边界最后给出一条我自己验证过的学习路径。1. 从猜词游戏到大模型一条绕不开的技术演进路线1.1 早期NLP的笨办法规则和统计模型为什么走不通很多人以为大模型是突然冒出来的其实这条技术路走了好几十年。早期的自然语言处理NLP基本是两条路规则派和统计派。规则派的做法是最朴素的想法——把语言规则写成代码。比如判断一句话的情感就维护一个词典好棒是正向词差烂是负向词再写一堆if-else处理否定、程度副词。问题很明显语言太灵活了我服了你在不同语境下可以是夸也可以是骂呵呵到底是笑还是讽刺规则根本穷举不完。语言的组合爆炸意味着你永远写不完所有规则而且每换一个领域整套规则就要重写。统计派往前走了一步不再写死规则而是从语料里统计词和词的共现关系。n-gram模型就是典型的统计派产物根据前n-1个词预测第n个词出现的概率。比如今天天气很____统计语料里好糟热这些词跟在很后面出现的频率选个概率最高的填进去。但n-gram有个致命缺陷它只看得到前后几个词一旦需要跨长距离才能确认的信息就抓瞎。比如句子是小明昨天去了图书馆他在那里读了整整一下午的____要填书还是操场上跑步靠只往前看三四个词的n-gram根本做不到。这个长距离依赖问题在NLP领域困扰了研究者很多年。1.2 词向量让语义第一次变成可以计算的坐标2013年前后Word2Vec这类词嵌入方法的出现是个标志性事件。它做了一件很关键的事把每个词映射成一个几百维的稠密向量语义相似的词在向量空间里距离更近。最有名的例子是国王 - 男 女 ≈ 女王。你拿国王的向量减去男性的向量再加上女性的向量得到的结果和女王的向量非常接近。这说明词汇的语义关系被编码成了向量空间中的几何关系机器第一次有了可以计算语义的抓手。词向量的意义怎么强调都不过分——在此之前词对于机器来说就是一个字典里的编号词和词之间毫无关系词向量出现之后语义有了距离相似词可以直接通过余弦相似度计算。今天大模型里的Embedding层本质上还是这个思路的延伸只是把词变成了token维度更高、包含的信息更丰富。1.3 RNN和LSTM虽然能处理序列但记忆依然有限有了词向量研究者开始尝试让模型真正读懂序列。循环神经网络RNN的设计思路很自然每读一个词就把上一时刻的状态一起更新相当于模型带着记忆在读句子。理论上RNN可以记住任意长的历史但实际上训练时会出现梯度消失——反向传播时误差信号在传递很多步之后指数级衰减早先的信息根本更新不了参数。结果就是RNN记不住早出现的内容长句子的效果很差。后来LSTM长短期记忆网络通过门控机制缓解了这个问题让模型可以选择性记住或遗忘信息确实把可记忆的长度拉长了。但LSTM的问题是训练是串行的——后一个时刻必须等前一个时刻算完很难并行加速模型规模一大训练就慢得离谱。1.4 注意力机制与Transformer大模型的真正地基真正的拐点是2017年那篇提出Transformer架构的论文核心是自注意力机制Self-Attention。它的想法非常优雅对序列里的每一个位置直接计算它和其他所有位置的相关性权重然后把全局信息加权融合进来。这意味着两件事。第一长距离依赖问题在结构上被解决了——不管两个词隔多远在自注意力里都是直接相连都能建立关联。第二所有位置可以并行计算不需要像RNN那样一个个往后传这让大规模训练成为可能。你可以把自注意力理解成一个全员会议每个人发言时都能同时听到其他所有人的声音然后按相关性决定重点听谁说的而不是只能听邻座的转述。Transformer之后分了两个流派一类是BERT这种只用编码器Encoder的模型擅长理解任务比如文本分类、命名实体识别另一类是GPT这种只用解码器Decoder的模型擅长生成任务一个词一个词往外蹦。后来的故事大家都知道了GPT这条只顾生成的路线越走越宽最终演变成今天的大模型。1.5 为什么大成为关键Scaling Law与涌现能力技术路线定了之后研究者发现一个反直觉的现象只要把模型规模、训练数据、算力一起堆上去模型能力就会稳定提升。OpenAI提出的Scaling Law把这个规律量化了——模型性能与参数量、数据量、算力之间存在幂律关系而不是简单的线性增长。更让整个领域兴奋的是涌现能力。某些能力并不是随着规模增大平滑提升而是在规模突破某个阈值后突然出现。比如思维链推理让模型一步一步思考再给出答案、上下文学习给几个示例模型就能照着做在小模型上几乎为0但到了百亿、千亿参数规模后直接冒出来。这就像砌墙矮的时候你看不出它跟土堆有什么区别但砌到一定高度结构自稳性突然就出来了——能撑住房梁了。研究界对涌现能力还有争议有人说它是评测方式的产物但作为工程上的观察结论模型够大能力会质变这一点已经是被反复验证过的经验。2. 大在哪里参数量、训练数据与算力三者的关系2.1 参数量决定模型记住什么的物理天花板大模型的大首先体现在参数量上。GPT-1是1.17亿参数GPT-2到了15亿GPT-3是1750亿到了GPT-4世代行业普遍猜测已经达到万亿级别参数而且采用了MoE混合专家架构每次推理只激活其中一部分参数但知识容量是整个模型共享的。参数是什么说白了就是神经网络里那些不断被调整的权重和偏置。每条连接有一个权重每个神经元有一个偏置这些数值放在一起就是模型的记忆和能力。参数越多模型能刻进去的模式就越丰富。你可以把参数理解成一个人的神经元连接读书越多、经历越多神经元之间的连接就越复杂能调用的知识就越广。一个直观的体感今天开源社区的7B、14B级别模型常识问答、文案写作已经相当流畅但你要它做深度的逻辑推理、写特别长的结构化内容它和几百B的模型比还是有明显差距。参数量的差距在高难度任务上会清晰暴露出来。2.2 训练数据互联网级别的阅读量喂出的认知底座光有参数不够还得有东西往里填。大模型的训练数据已经从早期的维基百科、书籍、新闻扩展到了整个互联网的网页抓取数据。这些语料动辄几万亿个token相当于人类几千年才能读完的文本量。模型在预训练阶段把这些文本通读一遍所有领域的基础知识、语言模式、常识关联就都压进了参数里。数据质量直接影响模型能力的上限。粗糙的爬虫数据里有无意义重复、有错误信息、甚至有恶意内容所以训练之前要做清洗过滤。更关键的是数据的多样性——如果只喂代码模型可能不擅长写诗如果只喂新闻模型可能不会聊天。理想的训练语料要覆盖数学、代码、科学、人文、对话等各种领域模型才能形成综合能力。一个行业里常见的认知误区是数据越多越好。其实到后期数据的多样性和质量比数量更重要。业内有个说法高质量的token和低质量的token对模型能力的影响不是一个量级的。这也是为什么很多团队会在预训练的中期阶段提高高质量语料比如书籍、论文、精编问答的采样权重。2.3 算力和成本为什么训练一次动辄千万级参数量和训练数据都得靠算力来炼化。训练大模型的成本高到什么程度以1750亿参数级别的模型为例完整训练一次需要数千张高端GPU并行跑几个月单次训练的电费和硬件损耗成本就在千万美元级别。这还没算反复实验、调超参、失败重来的成本。算力之所以耗得这么夸张有个简单的显存计算可以感受一下一个70亿参数的模型用FP16半精度存权重就需要大约14GB显存。训练时还不止存权重要同时保存梯度、优化器状态Adam优化器会为每个参数额外存两份状态加起来轻松超过权重的7到10倍。所以70亿参数的模型单卡32GB根本别想训练推理倒是勉强可以。这也是为什么出现了各种并行训练技术——数据并行、张量并行、流水线并行——本质上都是因为一张卡塞不下必须把模型和数据切开分到很多卡上。对普通开发者和研究者来说这个现象的直接启示是现阶段你基本不用考虑从零训练一个大模型成本不是个人或者小团队能承受的。更现实的做法是站在巨人肩膀上——用开源模型做微调或者直接调商业模型的API。2.4 三者之间的不可能三角参数、数据、算力不是独立的它们构成了一个互相约束的系统。Scaling Law告诉我们模型能力的提升需要参数、数据、算力同步增长只放大其中一个效果会迅速触及瓶颈。这也是很多团队踩过的坑拿着一个大模型架构却只准备了一点点数据结果训练出来的模型严重欠拟合浪费了GPU或者数据准备了海量但模型尺寸太小数据再多也记不住。把三者当成一个整体来规划比单点抠任何一个都重要。3. 想用好大模型先搞懂这几个词3.1 Token模型理解文本的最小单位Token是大模型处理文本的最小单元所有输入输出都先被切成token再映射成数字ID喂给模型。为什么不用字或者词做单位因为不同语言分词规则不同一个字在中文里信息量很大在英文里又太碎而模型需要一个统一的、可学习的粒度。具体切法大致是这样的英文通常按子词切分一个常见的英文词大约对应1-2个token粗略估算4个英文字符约等于1个token中文一个字通常对应1个到1个多token具体看分词器的词表设计。可以看个示意# 示意估算不同分词器的实际结果会有差异 def estimate_tokens(text, is_chineseFalse): if is_chinese: return round(len(text) * 1.3) # 中文一字约1~2个token return round(len(text) / 4) # 英文约4字符1个token text_cn 大模型的基础概念 text_en Large language model basics print(estimate_tokens(text_cn, is_chineseTrue)) # 大约9 print(estimate_tokens(text_en, is_chineseFalse)) # 大约9这个细节为什么重要两点。第一API计费是按token计费的你觉得自己发了一段话没几个字翻译成token可能直接翻倍第二模型对长文本的处理上限也是按token算的你输入的内容占了多少token直接决定了还能给它留多少思考空间去生成回答。3.2 上下文窗口模型的工作台面积上下文窗口Context Window指模型一次能看到的token总量包括你输入的提示词、历史对话以及它生成的内容。你可以把它理解成模型的工作台——台面越大它能同时摊开的资料越多。早期的GPT-3上下文窗口只有2048个token写一篇长文就塞不下后来慢慢扩展到8k、32k、128k现在甚至有超过百万token的模型相当于能一次性读完几本厚书。上下文窗口越大模型处理长文档、长对话的能力越强但代价是计算量大幅上升而且并不是窗口越大模型就越能有效利用这和人类的注意力机制有点像。一个实测中的常见现象是Lost in the Middle——模型对输入开头和结尾的内容利用得比较充分但夹在中间的信息容易被遗漏。所以你让模型分析一份长文档时最好把关键信息放在提示词的靠前或靠后位置而不是藏在中间段落里。3.3 Temperature和Top_p控制创造力的两个旋钮用过AI绘画或者对话模型的人一定见过Temperature参数。它控制的是模型生成时的随机程度本质上是在采样下一个token时如何对待概率分布。Temperature等于1时保持模型原始计算的概率分布采样低于1比如0.2概率分布变得更尖锐高概率的token更容易被选中输出更确定、更保守高于1比如0.8以上注意不是说就能超过1很多有些接口限制分布变得平坦低概率的token也有机会被抽中输出更多样、更有发散性。实践中我的经验是做信息抽取、代码生成、翻译这类追求准确的任务Temperature调到0.1到0.3做创意写作、头脑风暴、文案润色调到0.7到1.0。但不要盲目拉高超过1.2之后输出基本就开始语义飘忽甚至出现胡言乱语。Top_p则是另一种采样策略它从累计概率达到某一阈值的token集合里采样。比如Top_p0.9就是把概率从高到低累加直到累计概率超过0.9的这批token作为候选集。有些模型推荐要么调Temperature要么调Top_p不要同时猛调因为两个旋钮互相干扰效果容易失控。3.4 Embedding文字背后的高维坐标前面提过Word2Vec大模型里的Embedding是它的升级版。每个token都被映射成一个高维向量常见维度是4096、8192甚至更高这个向量就是该token在模型内部语义空间里的坐标。Embedding最值钱的一点是语义相似的内容在高维空间里距离近语义对立的可能在方向上有规律。比如猫和狗的向量距离很近猫和汽车的向量距离很远。这种空间结构使得模型可以进行语义搜索——把问题转成向量再去向量数据库里找最相关的内容这就是RAG检索增强生成最底层的原理。理解Embedding还有一个更实用的场景做语义搜索时不要直接拿模型生成的文本去匹配而是用它的Embedding向量算余弦相似度。很多入门者一开始不懂这个直接用关键词字符串匹配效果差还很慢其实本质问题就是没有把文本转成可计算的语义坐标。4. 模型的能力从哪来预训练、微调与对齐4.1 预训练让模型读完整互联网的猜词游戏大模型的第一阶段叫预训练目标非常简单粗暴给定一段文本的前面部分预测下一个token是什么。你可能会觉得这不过是猜词凭什么能学会知识和逻辑关键就在数据的规模和模型的容量。当模型在几十万亿token上反复做下一个词预测时为了降低预测误差它被迫学会大量隐藏在文本里的规律事实性知识、句法结构、推理模式、甚至代码的执行逻辑。所有知识都被压缩进了参数里。这个过程不依赖任何人工标注互联网上现成的文本就是训练数据这也是大模型能通读全网的原因。这也是为什么大模型看起来什么都知道——它不是真的检索了知识而是把知识压缩进了神经网络参数里。你问它北京是哪个国家的首都它不是去查资料而是根据参数中蕴含的模式生成最可能正确的答案。理解这一点非常重要它是解释后面所有翻车现象的根源。4.2 微调从会说话到会听话预训练做完的模型像一个读了很多书但不会聊天的人——你问一句它可能顺着概率接一句不相干的话因为它只会续写不会遵循指令。这时就需要微调SFT监督微调。微调的做法是收集大量高质量的指令-回答对比如请用三句话解释一下什么是内存配上人工写好的标准答案让模型基于这些数据继续训练。数据量通常不大几千到几万条就可以有明显效果重点是质量要高。你会发现微调之后模型学会了回答问题的格式明白了用户提问后我应该给出一个针对性的、完整的回答这个行为模式而不是继续自由联想。微调的本质是给已经装满知识的模型规训出一套行为规则。这个阶段的训练成本比预训练低好几个数量级也是中小企业最常接触的方式——拿开源基座模型用自己行业的问答数据微调就能得到一个懂行的客服机器人或文档助手。4.3 对齐让模型符合人类的偏好和意图微调让模型会听话但会听话不等于说人话。模型仍然可能输出冗长重复的内容、给出种族歧视言论、或者一本正经地胡说八道。这就轮到对齐阶段出场最经典的方法是RLHF基于人类反馈的强化学习。RLHF大致分三步先让模型生成多个回答请人工给这些回答的质量排序然后用排序数据训练一个奖励模型用来给任何回答打分最后用强化学习算法比如PPO调整原模型让它尽量输出奖励模型评分高的内容。整个过程下来模型的回答风格会明显更贴近人类偏好——更简洁、更有帮助、更不容易跑偏。行业里后来也出现了更简化的对齐方法比如DPO不需要单独训练奖励模型直接在偏好数据上优化效果在不少场景下和RLHF相当而且工程上更省事。但这些都属于让模型输出的东西更符合人的期待这一目标下的不同手段。4.4 一条训练数据从互联网到爆款产品的完整旅程把三个阶段串起来。预训练阶段模型吸收了互联网上海量文本学到了知识和语言模式但还不会对话微调阶段用人工编写的高质量问答对教会了它用户提问我就回答回答要完整直接的行为对齐阶段通过人类偏好反馈让它在能回答的基础上进一步做到答得好、答得安全。这个过程可以类比成一个孩子长大成人的路径预训练是通读万卷书构建知识框架微调是父母老师教他规矩和待人接物的方式对齐是社会反馈让他更懂分寸、更讨人喜欢。三个环节少哪一个最后的产品体验都会差一大截。5. 再强的模型也会翻车幻觉、知识截止与上下文限制5.1 幻觉一本正经地胡说八道是怎么发生的幻觉是大模型最广为人知的毛病——它会用非常笃定的语气编造一个看起来完全合理但实际错误的内容。比如问它某本书写了什么它可能直接给你编一本不存在的书的情节连作者名和出版社都对不上。根源在生成机制模型本质在做概率预测它选择的是最可能的下一段内容而不是真实的内容。当遇到知识盲区时模型不会像人一样说我不知道它仍然会按照语言模式编出一个最像答案的东西。尤其是它被训练得特别擅长迎合用户你没给它查证的机会它就顺着你的话一路编。应对幻觉的常用手段一是RAG先从一个可信的知识库里检索相关内容把检索结果拼进提示词再让模型基于这些材料作答而不是让它凭空发挥二是明确要求模型标注不确定信息或者给出推理依据三是在关键场景里加入人工复核环节把模型当作初稿生成器而非最终答案。你不可能完全消灭幻觉但可以在流程上把幻觉造成的损失控制住。5.2 知识截止日期模型不是实时联网的搜索引擎每个预训练模型都有一个知识截止时间比如某个模型只知道2024年之前的事之后发生的一切它都不了解。这不是模型笨是因为它的知识来源是训练语料而训练语料收集有一个时间节点。很多人用大模型的第一个坑就是把它当搜索引擎用今天股票行情怎么样下周天气如何模型要么一本正经地编一个要么明确说不知道。工程上的解法是给模型接上联网搜索能力让它需要实时信息时主动去搜然后把搜索结果作为上下文的一部分再生成回答。很多AI搜索产品就是这么做的模型本身并没有变是外面的流程变了。5.3 多轮对话中的记忆衰退上下文窗口虽然越来越大但终究有限。多轮对话时早期输入的信息可能会被后续内容挤占或遗忘即使没被挤出窗口模型对中间段信息的关注度也会下降这在前面提过的Lost in the Middle现象里已经体现过了。实际使用中有个很典型的场景你上传了一份50页的文档让模型分析前10个问题答得都挺好第11个问题问我刚才提到的第二个项目的预算是多少模型可能就懵了——不是它忘了是这份信息在注意力里的权重已经被其他内容冲淡了。工程上可以通过总结历史对话、把关键信息单独提取出来放在提示词开头、或者用外置记忆组件来解决。5.4 精确计算和多步骤逻辑的局限还有一类容易被忽视的翻车数学精确计算。你让模型算1234567乘以7654321它可能给你一串明显不对的数字。原因同样在于它的生成方式是预测概率分布而不是真的在运算——它不是计算器它只是看着像答案的文本预测器。处理这类问题的正确姿势不是让它算而是让它写代码告诉它用Python算一下它写出正确的计算代码然后执行答案是准确的。这也是为什么现在模型工具的Agent模式越来越火——模型负责理解意图和拆解任务计算、查表、调用API这类确定性操作全部外接给专门工具各干各的擅长的部分。6. 给入门者的大模型学习路径与我的心法6.1 我建议的学习顺序先建框架再补细节经常有人问我想学大模型该从哪开始我的建议从来不是一上来就读论文而是按这个顺序先搞懂机器学习的基础概念损失函数、梯度下降、过拟合再学深度学习基础全连接网络、反向传播然后是NLP基础词向量、RNN、LSTM、注意力机制接着精读Transformer原论文然后动手跑一个开源小模型的推理和微调最后再根据实际需求补强化学习、模型并行、量化部署这些进阶话题。这个顺序的核心逻辑是避免空中楼阁。很多人直接跳到最后一步用现成框架调API跑通了但出了报错完全看不懂因为底层概念是空的。反过来你如果理解了损失函数和反向传播Transformer里的那些模块看起来就是一堆熟悉组件的组合根本不用背。6.2 实操上我的建议先跑通一个最小闭环理论看十遍不如上手跑一遍。具体做法第一步找一个开源小模型7B左右那种在本地或者云GPU上跑通推理体验一下它的输出风格顺便看看显存占用、推理延迟这些工程指标第二步准备几百条自己领域的问答数据对模型做一次微调感受训练过程的Loss曲线变化以及微调前后模型风格的变化第三步自己搭一个极简的RAG流程用一个向量数据库把自己的文档转成Embedding让模型基于检索结果回答问题。这三步走完你对大模型的能力边界、成本结构、常见坑都会有一个非常具体的体感。之后不管是做产品还是深入研究你的判断就不会只停留在它很厉害或它很蠢这种笼统层面而是能精确到这个任务适合用什么模型、配什么流程、花多少钱。6.3 最后说点概念之外的东西学大模型基础概念这几年我最大的体感是第一性认知最重要。大模型本质上是一个在巨大数据上训练出来的概率模型不是一个精确的知识库。想明白这一点后面所有怪现象——幻觉、不会算数、知识过时——都变得非常好解释因为它本来就不是冲着一个正确答案去的它是冲着最像答案的东西去的。所以入门阶段我反而不太建议大家过度纠结参数大小和榜单分数。那些东西今天刷榜明天就被超但你脑子里关于序列预测Scaling Law对齐的概念框架会一直有解释力。概念之间的连接才是真正能迁移的能力。另外一个很现实的建议边学边用。你不需要把这篇文章里的所有概念背下来再去动手而是可以现在就打开手边任何一个大模型产品做一个任务然后回头想想——它的输入是怎么被切分成token的它在哪个阶段学会了这个知识它生成的这句话是靠什么机制保证逻辑的带着问题回来看概念效率远高于单纯啃文档。概念是为问题服务的解决问题才是目的这个顺序别搞反了。