这两年问我大模型怎么入门的人特别多但大部分人一开始就被Transformer注意力机制微调这些词吓退了。其实零基础学大模型难点根本不在数学而在你手里拿着一张错误的地图以为必须先把深度学习啃完才能动手以为本地部署需要几万块的显卡以为微调是遥不可及的操作。这篇内容我按考点的方式重新梳理了一遍把大模型学习里最常考、也最容易被误解的知识点拆开讲清楚哪些需要背、哪些需要理解、哪些上手敲一遍就懂都会交代明白适合准备面试、转行入门或者刚接手大模型相关项目但还没系统过一遍基础的朋友。1. 大模型不是搜索引擎先纠正两个基础认知1.1 大模型是语言的概率模型不是知识库很多人第一次用大模型时都会产生一个错觉它像个超级搜索引擎什么问题都能检索出来。这个理解会在后续学习里反复误导你。搜索的核心是匹配已有内容而大模型的核心是预测下一个词。你输入一句话大模型做的事情只有一件计算下一个词最有可能是什么把那个词输出然后继续算下一个词。所谓的回答其实是它一个词一个词地接龙出来的。LLMLarge Language Model这个名字本身就很说明问题重点在Language Model语言模型而不是Knowledge Base知识库。它学习的是海量文本里的统计规律不是把文章背下来。比如你问它3.8和3.11哪个大如果你输入的是3.8大还是3.11大这样的歧义表述它可能直接答错因为从统计规律上看3.8大于3.11在编程版本号语境里是错的在普通语境里却是对的。它没有数学符号的概念只有文本序列的规律。理解这一点你就明白为什么大模型会一本正经地胡说八道——它不是故意骗你而是它的生成机制决定了它只负责说一句概率最高的话不负责说一句绝对正确的话。1.2 训练和推理一个像背资料一个像上台考试大模型有两个完全不同阶段训练和推理。训练阶段模型读入海量文本不断调整内部参数目的是让预测下一个词的准确率越来越高。这个过程有个形象的类比训练像是考前一个月天天背资料资料量越大背得越久模型掌握的语言规律就越丰富。参数就是模型大脑里的连接权重7B、8B、70B里的B就是Billion十亿参数。参数越多容量越大但训练和部署成本也越高。推理阶段模型不再更新参数而是根据你给的输入一个词一个词地生成输出。你敲入提示词它开始计算生成第一个词然后把这个词拼进输入再预测下一个词循环往复。这也是为什么大模型回答的速度用多少token每秒来衡量而不是多少字每秒。我把这两个概念放最前面是因为后面所有考点都挂在它们身上微调是训练阶段的事部署主要关心推理阶段的事上下文窗口是推理时的输入限制Token更是两个阶段都要用到的底层单位。基础概念不纠正后面会一直别扭。2. 考卷里的硬骨头Tokenizer、注意力机制与上下文窗口2.1 Tokenizer模型眼里的字和你不一样大模型处理文本的第一步是把人类语言切成Token也就是模型能理解的最小文本单元。这个过程叫Tokenizer。它和人类理解的字词不是一回事。英文里一个常见单词可能就是一个Token比如hello也可能一个词被切成多个Token比如unbelievable可能切成un、believ、able三段。中文因为字符密度高通常一个字对应一个Token也有的模型会把常用词整体切成一个Token。所以当你问这个模型支持多少上下文时看到的是Token数不是字数。一条大概500个汉字的消息换算成Token可能接近700到900具体要看你用的分词器。很多零基础的人第一次跑大模型就被Token这个概念坑了写了个一万字的长文档进去结果模型直接报错说超出上下文限制。这不是模型读不完而是Token额度用完了。我在实际测试中经常建议用一个小技巧把内容按标题、段落、结论分块先送结论再逐步追问细节能省下大量Token。这也顺带说明了大模型如何理解文档这个高频问题——它不是一口气读完而是先切块再通过注意力机制逐块理解。2.2 自注意力机制让模型学会回看前文考点里最绕不开的是注意力机制尤其自注意力。很多教程一上来就甩Query、Key、Value三个矩阵吓得零基础读者直接放弃。我换个说法解释。你读一段话的时候遇到代词它脑子里会自动回溯前面内容确认它指的是什么。自注意力机制做的事情就是这个回溯只是它做得更夸张模型在计算每个词的含义时会同时查看前面所有词给每个词分配一个权重决定当前这个词应该重点关注前面的哪些词。Query是你当前想找什么Key是前面每个词挂了什么标签Value是前面每个词的具体内容。先做匹配再取内容加权求和得到当前词的语境化表示。多头注意力则是多组这样的查找过程并行进行一组关注语法关系一组关注语义关联一组关注位置远近。这也是Transformer能成为大模型基石的真正原因它让每个词的理解都建立在全局上下文之上而不是只看前后几个词。考试里如果只让你背注意力机制的定义那是在考名词真正会考的是给你一个句子让你分析为什么银行这个词在不同上下文里含义不同答案就是注意力权重决定它以哪种语境为主。2.3 上下文窗口与文档理解的真实关系上下文窗口是个数字比如128K、1M表示模型一次能处理的Token上限。大模型的上下文长度这两年不断被刷新但你要明白一件事窗口大不等于记忆好更不等于理解深。实测中很多长窗口模型在中间部分的信息利用率明显低于开头和结尾学术上叫中间遗忘现象。就好比一个人能听完三个小时的报告但让他复述中间半小时的内容他可能只记得个大概。所以当你需要让模型处理一份很长的文档时最稳妥的做法不是直接整篇塞进去而是先切块、做检索、再喂给模型这也是下一代技术的核心动机。这块我强烈建议零基础者亲手做一次实验找一段五千字的文章分别用完整输入和先切片再逐段提问两种方式问同一个问题对比效果。你会发现后者的答案稳定得多而且更省Token。理解了这一层后面学RAG检索增强生成就是顺水推舟的事情。3. 提示词、RAG、微调的三选一考点怎么考项目怎么选3.1 提示词工程零成本得分的起点提示词工程是所有考点里投入产出比最高的一个零基础也能当天上手。核心考点有三个System Prompt、Few-shot、思维链。System Prompt是系统提示词规定模型的角色和回答边界比如你是某公司的客服只能使用正式语气回答这相当于给模型立规矩。Few-shot是给模型几个示例让它模仿格式回答示例的数量和质量直接影响输出效果。思维链则要求模型先讲推理过程再给结论特别适合数学题、逻辑题错误率能降不少。我见过很多人问大模型都这么强了还要学提示词吗答案是当然要。提示词是成本最低的杠杆你改几个字输出质量就能差一个档次。而且提示词工程是所有高级技术的基础RAG需要把检索结果整理成提示词Agent需要用提示词给模型下任务微调后的模型也需要配合提示词才能发挥最佳效果。考纲里如果只让你掌握一项技能我会建议先学这个。3.2 RAG让模型学会查资料RAG的全称是检索增强生成核心思路是模型遇到不懂的问题时先从一个外部资料库检索相关内容把检索结果拼进提示词再生成答案。这里有个考点辨析模型掌握的知识截止在训练时新知识它不知道临时查资料更靠谱。RAG刚好解决这个问题。它由三个关键环节组成知识库里的文档先被切块并向量化用户提问后系统做相似度检索最后把召回内容与问题一起送进大模型。与之关联的高频词还包括向量数据库、召回、重排等知识点。有个叫OneKE的知识抽取框架也经常出现在相关考题里作用是从文档里自动抽取结构化信息比如把一份合同抽成甲方、乙方、金额、期限这样的结构再把这些结构化内容灌进知识库RAG的检索效果会明显好于直接存整段原文。我在做企业内部文档问答时吃过这个亏文档不结构化就直接建索引用户问这份合同什么时候到期检索出来的是一大段无关杂讯答案自然也是错的。先在输入端做知识抽取再进向量库是很多人踩过坑之后总结出来的成熟做法。3.3 微调改变模型的行为习惯微调是在预训练模型的基础上用特定格式的数据再做一轮训练让模型适应你的任务风格。它和RAG有本质区别RAG是给模型配一个外部记忆库模型本身没变微调是模型本身的行为习惯变了。我再举个例子。如果想让模型用前辈教训后辈的口吻写作提示词能临时让它模仿但每次都要写很长效果还不一定稳定用一百条这种口吻的对话数据做微调模型会真正养成这个风格。同样如果业务里有大量特殊术语和固定格式微调的效果会非常明显。微调有三种常见粒度。全参数微调需要考量和投入较大消费级用户一般用不了LoRA低秩适配是训练一小部分新增参数来近似模拟全量微调的效果显存占用小得多是最常用方案QLoRA在LoRA基础上再叠加量化让普通消费级显卡也能微调。考点里出现GPU微调大模型时问的绝大多数是后两者。这里有个常见误区微调不改变模型的知识储备只改变表达方式。想让模型知道2026年某新产品发布了用微调解决不了得上RAG。3.4 一张表解决选择题遇到具体场景该选哪个可以按这张表来对号入座。业务场景首选方案原因临时调整回答风格提示词工程零成本改提示词即可回答私有知识库问题RAG知识可更新无需重新训练让模型沿用固定写作格式微调LoRA行为风格稳定复现处理上万字长文档RAG切块避免超出上下文窗口私有数据不离内网私有化部署RAG数据不出本地模型本地运行既要求格式又要求新知识微调RAG组合两者解决不同维度的问题考试里最常见的问法就是给你一个业务需求让你选方案。记住一句话RAG管知识的获取微调管风格的养成提示词管当场的约束。三者不是竞争关系而是叠加关系高级项目往往是三件套一起用。4. 把考点落到机器上本地部署与显存估算的实战逻辑4.1 先算显存账模型能不能跑由它决定本地部署大模型的核心约束不是CPU不是网络而是显存。显存不够模型根本加载不进去。零基础先学会估算显存比盲目下载模型重要得多。有一个粗略但实用的公式模型文件大小约为参数量乘以每个参数占用的字节数。FP16半精度下每个参数占2字节所以一个8B参数的模型FP16权重大约16GB。也就是说没有量化的情况下8B模型需要约16GB显存才能完整加载。如果显卡只有8GB就只能靠量化来压缩。量化就是把模型权重从高精度降到低精度比如从FP162字节压到INT40.5字节。8B模型量化到INT4权重部分降到约4到5GB再加上KV Cache和激活显存实测中8GB显卡勉强能跑但速度不快。所以选模型的建议是8GB显存以下优先考虑1.5B、3B、4B级别的小模型8GB到12GB可以跑7B到8B的量化版本24GB以上才有余力跑14B模型想跑70B模型就得上多卡或大显存方案了。考试里如果出现为什么量化后的模型回答质量下降答案是低位宽表示损失了部分精度模型输出的确定性和细腻程度都受影响尤其逻辑推理类任务更明显。所以部署时要根据任务严肃程度决定量化位宽内部闲聊可以Q4业务输出至少Q8。4.2 GGUF、Ollama与LM Studio本地部署的三个常用词现在本地跑大模型的主流路线已经非常成熟Ollama是很多人入门的第一站。它把模型下载、加载、API服务全封装好了命令行下两件事就能跑起来ollama pull qwen2.5:7b ollama run qwen2.5:7bpull是把模型下载到本地run是启动交互式对话。下载下来的文件是GGUF格式这也是热点问题Ollama安装的大模型是一个什么文件的答案GGUF是一种经过量化的模型权重封装格式专为CPU/GPU混合推理设计文件里包含模型的张量数据、超参数和分词器信息。换句话说Ollama帮你去掉了解压、转换、写推理代码的环节GGUF就是那个开箱即用的模型包。不想用命令行的可以用LM Studio图形界面下载模型和启动聊天都很方便。它还能起一个本地API服务供其他程序调用。有朋友问过Visual Studio 2022能不能直接连LM Studio的本地模型写代码答案是可以启动LM Studio的本地API后在代码编辑器里接上接口地址就能把补全模型当AI结对工具用完全本地运行代码不出机器。内网离线环境部署是另一个高频需求。做法是找一台能上网的机器把模型拉到缓存目录然后拷贝到内网机器再用Ollama从本地文件导入手动写一个Modelfile指向该路径。很多企业大模型私有化部署第一步就是这么干的听着高大上拆开就是文件搬运加配置。需要注意离线机器上除了模型文件还得把Ollama安装包也带进去离线安装时选GCC或Radeon对应的版本别选错运行时。4.3 推理加速考点里的性能题零基础经常忽略推理性能这个考点但实际部署时它最影响体验。推理慢的原因在于模型每生成一个Token都要重新计算一遍前面所有Token的注意力权重重复计算非常多。KV Cache就是把这些历史计算结果缓存下来避免每次从头算这是最基础的加速手段。更进一步vLLM这类推理框架实现了PagedAttention和连续批处理。PagedAttention思想类似操作系统里的分页把KV Cache切成小块按需分配减少显存浪费连续批处理则是多个请求实时混在一起推理而不是等一批全部结束再进下一批吞吐量能提升好几倍。这就是为什么同样一张显卡裸跑Ollama和用vLLM部署的服务并发性能可能差一个数量级。顺带提一句硬件趋势除了NVIDIA显卡AMD的NPU、主流CPU厂商的新品也在做端侧大模型加速。实测下来NPU跑中小模型功耗低但生态还不完全统一零基础阶段不必纠结先把显存、量化、KV Cache这套通用逻辑搞定换什么硬件都适用。5. 多模态与Agent近两年最爱出的新题5.1 多模态图像、语音和文本进同一个模型大模型早期只处理文本现在多模态已经成为基本面。多模态大模型指的是用一个统一的模型架构同时理解文本、图像、音频、视频等输入。核心思想是把不同模态的数据映射到同一个向量空间比如把一张猫的图片和猫这个词映射到相近的位置模型就能在模态之间做关联推理。实际应用里最常见的组合是图片输入文本输出和语音输入文本输出。前者典型如截图识别、图表分析你给模型一张报表图它能读出数据并总结趋势后者典型如实时语音转写前端先做语音识别成文本再把文本交给大模型处理和应答。有些绘图模型走的是相反方向输入一句话输出一张符合描述的图比如文生图模型造相-z-image-turbo这类工具背后就依赖多模态理解能力完成文本-图像的对齐。零基础遇到多模态考题记住一点多模态的关键不是同时处理多种数据而是不同模态之间存在对齐关系。模型算的是图片里的视觉特征和文本里的语义特征之间的距离距离近就是语义相关。围绕这个点展开答题就不会跑偏。5.2 Agent给大模型装上手和行动计划Agent智能体是把大模型从问答工具升级为执行者的技术形态。仅靠大模型本身它能说话但做不了事。Agent给模型接入工具让它能调用搜索引擎、操作API、读写数据库同时让它具备规划能力能把一个复杂任务拆成多个步骤去执行并循环观察结果、修正下一步。考点里常出现AI智能体应用案例我举一个最典型的客服Agent工作流用户提问我想查订单模型解析意图调用订单查询API拿到订单状态后生成答复合订。整个流程的关键词是Retrieval检索、Planning规划、Memory记忆、Tool Calling工具调用。其中工具调用是最近两三年最热的考点。Dify这类平台把Agent工作流可视化你可以在界面上拖拽节点把大模型、检索、工具调用串起来然后接入本地模型。另一项值得关注的新技术是MCP一种统一工具调用的标准协议它让模型对接数据库代码库浏览器等外部工具时不再需要每家单独写适配器。此前就有游戏引擎官方把大模型MCP接入编辑器开发者可以在引擎内直接用自然语言触发资源生成或场景调整这正是Agent走向生产环境的信号。做题时如果遇到Agent相关题目最容易丢分点有两个一是只答大模型是大脑没提工具和记忆二是没考虑循环失控问题。实际开发中Agent一旦规划出错可能反复调用工具停不下来所以工程实现上必须加最大循环次数和人工确认节点。5.3 一道综合应用题的完整拆解这类考点在面试里经常以综合题出现比如为一个公司做一个内部制度文档问答助理要求回答必须依据公司文档、不能胡说、还要在内部网络运行。拆解下来就是五步。第一步需求分析明确问题类型是知识问答资料是已有的制度文档数据敏感不能出内网。第二步方案选型私域知识优先选RAG不需要微调环境限制要求私有化部署。第三步知识库构建把制度文档切块、清洗用OneKE等工具做结构化抽取再向量化存入向量数据库。第四步部署推理在内网服务器上部署量化后的7B或8B模型通过Ollama或vLLM提供API服务。第五步联调与护栏设置System Prompt约束回答只能依据检索内容检索不到就明说不知道必要时接上Dify做个可视化后台方便业务人员维护。这道题综合了RAG、私有化部署、提示词工程、Agent集成四个考点。能做通这五步大模型应用的核心框架就已经掌握得差不多了。考试里不管题干怎么换数据从哪来、模型在哪跑、行为怎么控这三问永远是主线。6. 四周清扫一遍零基础的学习路线与自测清单6.1 四周分阶段把考点过一遍网上各种大模型学习路线长到看不见尽头我根据大量零基础学员的实际进度给一条更克制的路线四周够用。第一周只学提示词和基础概念大模型是什么、Token、上下文窗口、训练与推理的区别。这些用最小模型就能验证不需要GPU免费API也能学。第二周专攻Transformer注意力机制、位置编码、为什么自注意力能并行。这一阶段不要死磕公式能画清楚Query和Key做匹配、Value取内容的流程就够了。第三周做工程实践把RAG跑通、微调一次LoRA、部署一次本地模型。目标不是做大项目而是建立我能从头到尾搭一遍的信心。第四周补齐多模态和Agent看几个多模态应用案例用Dify配置一个带工具调用的Agent。这样四周下来你既有了理论考点也有了可以写进简历的实操记录。6.2 考点掌握程度分三层别平均用力学习大模型最容易犯的错是平均用力。我的建议是完全按三个层次分配精力。第一层是了解主要指多模态、Agent、MCP这类新概念知道它解决什么问题能说清楚关键词即可占学习时间的不到两成。第二层是理解主要包括RAG的检索逻辑、微调与RAG的区别、上下文窗口的限制原理这部分不但要懂原理还要能在场景题里做选择占三成精力。第三层是实操提示词工程、本地部署、显存估算、LoRA微调流程每一项都要亲手做一遍占一半以上时间。面试和实际项目中最终考验的永远是第三层。遇到热词里从零构建大模型PDFAI大模型教程这类资料先别急着囤。零基础阶段最好的资料是一份能跑通的最小代码示例而不是几百页的理论文档。可以先把资料目录收藏等动手遇到具体问题再回去查对应章节效率高得多。6.3 十道自测题做完再去看真题学完上面的内容用这十道题检验一下LLM的L为什么是Language而不是Knowledge一段1000字中文大约会切成多少Token为什么长上下文模型也会漏掉文档中间的信息模型回答时为什么要循环生成而不是一次性输出全文8B模型FP16权重大概占多少显存量化到INT4后呢业务需要更新知识库应该用RAG还是微调LoRA和全参数微调的本质区别是什么为什么量化后模型逻辑推理能力可能下降Agent遗忘之前对话历史时应该靠什么组件解决私有化部署时模型文件该通过什么方式进入内网前六题如果你能直接答出来说明基础已经很扎实后几题哪怕答得不完整只要知道关键方向也足以应对大多数入门级场景。说实话带过这么多人从零开始学大模型我最深的体会是考点精讲最怕变成名词堆砌。一个知识如果你能当场上手试一遍哪怕用的是3B的小模型记忆牢固度也远超背十遍PPT。所以别等我给你列更多理论了找个平台申请一个免费API额度或者直接在本地装个Ollama拉个7B左右的小模型跑起来把那十道自测题变成十次小实验一周后你回头看这篇内容会发现很多考点其实早就是常识了。 
长河君 · 2026/10/28 18:10:59 · 阅读 1.2k 零基础大模型入门指南：从核心考点到实践部署
这两年问我大模型怎么入门的人特别多但大部分人一开始就被Transformer注意力机制微调这些词吓退了。其实零基础学大模型难点根本不在数学而在你手里拿着一张错误的地图以为必须先把深度学习啃完才能动手以为本地部署需要几万块的显卡以为微调是遥不可及的操作。这篇内容我按考点的方式重新梳理了一遍把大模型学习里最常考、也最容易被误解的知识点拆开讲清楚哪些需要背、哪些需要理解、哪些上手敲一遍就懂都会交代明白适合准备面试、转行入门或者刚接手大模型相关项目但还没系统过一遍基础的朋友。1. 大模型不是搜索引擎先纠正两个基础认知1.1 大模型是语言的概率模型不是知识库很多人第一次用大模型时都会产生一个错觉它像个超级搜索引擎什么问题都能检索出来。这个理解会在后续学习里反复误导你。搜索的核心是匹配已有内容而大模型的核心是预测下一个词。你输入一句话大模型做的事情只有一件计算下一个词最有可能是什么把那个词输出然后继续算下一个词。所谓的回答其实是它一个词一个词地接龙出来的。LLMLarge Language Model这个名字本身就很说明问题重点在Language Model语言模型而不是Knowledge Base知识库。它学习的是海量文本里的统计规律不是把文章背下来。比如你问它3.8和3.11哪个大如果你输入的是3.8大还是3.11大这样的歧义表述它可能直接答错因为从统计规律上看3.8大于3.11在编程版本号语境里是错的在普通语境里却是对的。它没有数学符号的概念只有文本序列的规律。理解这一点你就明白为什么大模型会一本正经地胡说八道——它不是故意骗你而是它的生成机制决定了它只负责说一句概率最高的话不负责说一句绝对正确的话。1.2 训练和推理一个像背资料一个像上台考试大模型有两个完全不同阶段训练和推理。训练阶段模型读入海量文本不断调整内部参数目的是让预测下一个词的准确率越来越高。这个过程有个形象的类比训练像是考前一个月天天背资料资料量越大背得越久模型掌握的语言规律就越丰富。参数就是模型大脑里的连接权重7B、8B、70B里的B就是Billion十亿参数。参数越多容量越大但训练和部署成本也越高。推理阶段模型不再更新参数而是根据你给的输入一个词一个词地生成输出。你敲入提示词它开始计算生成第一个词然后把这个词拼进输入再预测下一个词循环往复。这也是为什么大模型回答的速度用多少token每秒来衡量而不是多少字每秒。我把这两个概念放最前面是因为后面所有考点都挂在它们身上微调是训练阶段的事部署主要关心推理阶段的事上下文窗口是推理时的输入限制Token更是两个阶段都要用到的底层单位。基础概念不纠正后面会一直别扭。2. 考卷里的硬骨头Tokenizer、注意力机制与上下文窗口2.1 Tokenizer模型眼里的字和你不一样大模型处理文本的第一步是把人类语言切成Token也就是模型能理解的最小文本单元。这个过程叫Tokenizer。它和人类理解的字词不是一回事。英文里一个常见单词可能就是一个Token比如hello也可能一个词被切成多个Token比如unbelievable可能切成un、believ、able三段。中文因为字符密度高通常一个字对应一个Token也有的模型会把常用词整体切成一个Token。所以当你问这个模型支持多少上下文时看到的是Token数不是字数。一条大概500个汉字的消息换算成Token可能接近700到900具体要看你用的分词器。很多零基础的人第一次跑大模型就被Token这个概念坑了写了个一万字的长文档进去结果模型直接报错说超出上下文限制。这不是模型读不完而是Token额度用完了。我在实际测试中经常建议用一个小技巧把内容按标题、段落、结论分块先送结论再逐步追问细节能省下大量Token。这也顺带说明了大模型如何理解文档这个高频问题——它不是一口气读完而是先切块再通过注意力机制逐块理解。2.2 自注意力机制让模型学会回看前文考点里最绕不开的是注意力机制尤其自注意力。很多教程一上来就甩Query、Key、Value三个矩阵吓得零基础读者直接放弃。我换个说法解释。你读一段话的时候遇到代词它脑子里会自动回溯前面内容确认它指的是什么。自注意力机制做的事情就是这个回溯只是它做得更夸张模型在计算每个词的含义时会同时查看前面所有词给每个词分配一个权重决定当前这个词应该重点关注前面的哪些词。Query是你当前想找什么Key是前面每个词挂了什么标签Value是前面每个词的具体内容。先做匹配再取内容加权求和得到当前词的语境化表示。多头注意力则是多组这样的查找过程并行进行一组关注语法关系一组关注语义关联一组关注位置远近。这也是Transformer能成为大模型基石的真正原因它让每个词的理解都建立在全局上下文之上而不是只看前后几个词。考试里如果只让你背注意力机制的定义那是在考名词真正会考的是给你一个句子让你分析为什么银行这个词在不同上下文里含义不同答案就是注意力权重决定它以哪种语境为主。2.3 上下文窗口与文档理解的真实关系上下文窗口是个数字比如128K、1M表示模型一次能处理的Token上限。大模型的上下文长度这两年不断被刷新但你要明白一件事窗口大不等于记忆好更不等于理解深。实测中很多长窗口模型在中间部分的信息利用率明显低于开头和结尾学术上叫中间遗忘现象。就好比一个人能听完三个小时的报告但让他复述中间半小时的内容他可能只记得个大概。所以当你需要让模型处理一份很长的文档时最稳妥的做法不是直接整篇塞进去而是先切块、做检索、再喂给模型这也是下一代技术的核心动机。这块我强烈建议零基础者亲手做一次实验找一段五千字的文章分别用完整输入和先切片再逐段提问两种方式问同一个问题对比效果。你会发现后者的答案稳定得多而且更省Token。理解了这一层后面学RAG检索增强生成就是顺水推舟的事情。3. 提示词、RAG、微调的三选一考点怎么考项目怎么选3.1 提示词工程零成本得分的起点提示词工程是所有考点里投入产出比最高的一个零基础也能当天上手。核心考点有三个System Prompt、Few-shot、思维链。System Prompt是系统提示词规定模型的角色和回答边界比如你是某公司的客服只能使用正式语气回答这相当于给模型立规矩。Few-shot是给模型几个示例让它模仿格式回答示例的数量和质量直接影响输出效果。思维链则要求模型先讲推理过程再给结论特别适合数学题、逻辑题错误率能降不少。我见过很多人问大模型都这么强了还要学提示词吗答案是当然要。提示词是成本最低的杠杆你改几个字输出质量就能差一个档次。而且提示词工程是所有高级技术的基础RAG需要把检索结果整理成提示词Agent需要用提示词给模型下任务微调后的模型也需要配合提示词才能发挥最佳效果。考纲里如果只让你掌握一项技能我会建议先学这个。3.2 RAG让模型学会查资料RAG的全称是检索增强生成核心思路是模型遇到不懂的问题时先从一个外部资料库检索相关内容把检索结果拼进提示词再生成答案。这里有个考点辨析模型掌握的知识截止在训练时新知识它不知道临时查资料更靠谱。RAG刚好解决这个问题。它由三个关键环节组成知识库里的文档先被切块并向量化用户提问后系统做相似度检索最后把召回内容与问题一起送进大模型。与之关联的高频词还包括向量数据库、召回、重排等知识点。有个叫OneKE的知识抽取框架也经常出现在相关考题里作用是从文档里自动抽取结构化信息比如把一份合同抽成甲方、乙方、金额、期限这样的结构再把这些结构化内容灌进知识库RAG的检索效果会明显好于直接存整段原文。我在做企业内部文档问答时吃过这个亏文档不结构化就直接建索引用户问这份合同什么时候到期检索出来的是一大段无关杂讯答案自然也是错的。先在输入端做知识抽取再进向量库是很多人踩过坑之后总结出来的成熟做法。3.3 微调改变模型的行为习惯微调是在预训练模型的基础上用特定格式的数据再做一轮训练让模型适应你的任务风格。它和RAG有本质区别RAG是给模型配一个外部记忆库模型本身没变微调是模型本身的行为习惯变了。我再举个例子。如果想让模型用前辈教训后辈的口吻写作提示词能临时让它模仿但每次都要写很长效果还不一定稳定用一百条这种口吻的对话数据做微调模型会真正养成这个风格。同样如果业务里有大量特殊术语和固定格式微调的效果会非常明显。微调有三种常见粒度。全参数微调需要考量和投入较大消费级用户一般用不了LoRA低秩适配是训练一小部分新增参数来近似模拟全量微调的效果显存占用小得多是最常用方案QLoRA在LoRA基础上再叠加量化让普通消费级显卡也能微调。考点里出现GPU微调大模型时问的绝大多数是后两者。这里有个常见误区微调不改变模型的知识储备只改变表达方式。想让模型知道2026年某新产品发布了用微调解决不了得上RAG。3.4 一张表解决选择题遇到具体场景该选哪个可以按这张表来对号入座。业务场景首选方案原因临时调整回答风格提示词工程零成本改提示词即可回答私有知识库问题RAG知识可更新无需重新训练让模型沿用固定写作格式微调LoRA行为风格稳定复现处理上万字长文档RAG切块避免超出上下文窗口私有数据不离内网私有化部署RAG数据不出本地模型本地运行既要求格式又要求新知识微调RAG组合两者解决不同维度的问题考试里最常见的问法就是给你一个业务需求让你选方案。记住一句话RAG管知识的获取微调管风格的养成提示词管当场的约束。三者不是竞争关系而是叠加关系高级项目往往是三件套一起用。4. 把考点落到机器上本地部署与显存估算的实战逻辑4.1 先算显存账模型能不能跑由它决定本地部署大模型的核心约束不是CPU不是网络而是显存。显存不够模型根本加载不进去。零基础先学会估算显存比盲目下载模型重要得多。有一个粗略但实用的公式模型文件大小约为参数量乘以每个参数占用的字节数。FP16半精度下每个参数占2字节所以一个8B参数的模型FP16权重大约16GB。也就是说没有量化的情况下8B模型需要约16GB显存才能完整加载。如果显卡只有8GB就只能靠量化来压缩。量化就是把模型权重从高精度降到低精度比如从FP162字节压到INT40.5字节。8B模型量化到INT4权重部分降到约4到5GB再加上KV Cache和激活显存实测中8GB显卡勉强能跑但速度不快。所以选模型的建议是8GB显存以下优先考虑1.5B、3B、4B级别的小模型8GB到12GB可以跑7B到8B的量化版本24GB以上才有余力跑14B模型想跑70B模型就得上多卡或大显存方案了。考试里如果出现为什么量化后的模型回答质量下降答案是低位宽表示损失了部分精度模型输出的确定性和细腻程度都受影响尤其逻辑推理类任务更明显。所以部署时要根据任务严肃程度决定量化位宽内部闲聊可以Q4业务输出至少Q8。4.2 GGUF、Ollama与LM Studio本地部署的三个常用词现在本地跑大模型的主流路线已经非常成熟Ollama是很多人入门的第一站。它把模型下载、加载、API服务全封装好了命令行下两件事就能跑起来ollama pull qwen2.5:7b ollama run qwen2.5:7bpull是把模型下载到本地run是启动交互式对话。下载下来的文件是GGUF格式这也是热点问题Ollama安装的大模型是一个什么文件的答案GGUF是一种经过量化的模型权重封装格式专为CPU/GPU混合推理设计文件里包含模型的张量数据、超参数和分词器信息。换句话说Ollama帮你去掉了解压、转换、写推理代码的环节GGUF就是那个开箱即用的模型包。不想用命令行的可以用LM Studio图形界面下载模型和启动聊天都很方便。它还能起一个本地API服务供其他程序调用。有朋友问过Visual Studio 2022能不能直接连LM Studio的本地模型写代码答案是可以启动LM Studio的本地API后在代码编辑器里接上接口地址就能把补全模型当AI结对工具用完全本地运行代码不出机器。内网离线环境部署是另一个高频需求。做法是找一台能上网的机器把模型拉到缓存目录然后拷贝到内网机器再用Ollama从本地文件导入手动写一个Modelfile指向该路径。很多企业大模型私有化部署第一步就是这么干的听着高大上拆开就是文件搬运加配置。需要注意离线机器上除了模型文件还得把Ollama安装包也带进去离线安装时选GCC或Radeon对应的版本别选错运行时。4.3 推理加速考点里的性能题零基础经常忽略推理性能这个考点但实际部署时它最影响体验。推理慢的原因在于模型每生成一个Token都要重新计算一遍前面所有Token的注意力权重重复计算非常多。KV Cache就是把这些历史计算结果缓存下来避免每次从头算这是最基础的加速手段。更进一步vLLM这类推理框架实现了PagedAttention和连续批处理。PagedAttention思想类似操作系统里的分页把KV Cache切成小块按需分配减少显存浪费连续批处理则是多个请求实时混在一起推理而不是等一批全部结束再进下一批吞吐量能提升好几倍。这就是为什么同样一张显卡裸跑Ollama和用vLLM部署的服务并发性能可能差一个数量级。顺带提一句硬件趋势除了NVIDIA显卡AMD的NPU、主流CPU厂商的新品也在做端侧大模型加速。实测下来NPU跑中小模型功耗低但生态还不完全统一零基础阶段不必纠结先把显存、量化、KV Cache这套通用逻辑搞定换什么硬件都适用。5. 多模态与Agent近两年最爱出的新题5.1 多模态图像、语音和文本进同一个模型大模型早期只处理文本现在多模态已经成为基本面。多模态大模型指的是用一个统一的模型架构同时理解文本、图像、音频、视频等输入。核心思想是把不同模态的数据映射到同一个向量空间比如把一张猫的图片和猫这个词映射到相近的位置模型就能在模态之间做关联推理。实际应用里最常见的组合是图片输入文本输出和语音输入文本输出。前者典型如截图识别、图表分析你给模型一张报表图它能读出数据并总结趋势后者典型如实时语音转写前端先做语音识别成文本再把文本交给大模型处理和应答。有些绘图模型走的是相反方向输入一句话输出一张符合描述的图比如文生图模型造相-z-image-turbo这类工具背后就依赖多模态理解能力完成文本-图像的对齐。零基础遇到多模态考题记住一点多模态的关键不是同时处理多种数据而是不同模态之间存在对齐关系。模型算的是图片里的视觉特征和文本里的语义特征之间的距离距离近就是语义相关。围绕这个点展开答题就不会跑偏。5.2 Agent给大模型装上手和行动计划Agent智能体是把大模型从问答工具升级为执行者的技术形态。仅靠大模型本身它能说话但做不了事。Agent给模型接入工具让它能调用搜索引擎、操作API、读写数据库同时让它具备规划能力能把一个复杂任务拆成多个步骤去执行并循环观察结果、修正下一步。考点里常出现AI智能体应用案例我举一个最典型的客服Agent工作流用户提问我想查订单模型解析意图调用订单查询API拿到订单状态后生成答复合订。整个流程的关键词是Retrieval检索、Planning规划、Memory记忆、Tool Calling工具调用。其中工具调用是最近两三年最热的考点。Dify这类平台把Agent工作流可视化你可以在界面上拖拽节点把大模型、检索、工具调用串起来然后接入本地模型。另一项值得关注的新技术是MCP一种统一工具调用的标准协议它让模型对接数据库代码库浏览器等外部工具时不再需要每家单独写适配器。此前就有游戏引擎官方把大模型MCP接入编辑器开发者可以在引擎内直接用自然语言触发资源生成或场景调整这正是Agent走向生产环境的信号。做题时如果遇到Agent相关题目最容易丢分点有两个一是只答大模型是大脑没提工具和记忆二是没考虑循环失控问题。实际开发中Agent一旦规划出错可能反复调用工具停不下来所以工程实现上必须加最大循环次数和人工确认节点。5.3 一道综合应用题的完整拆解这类考点在面试里经常以综合题出现比如为一个公司做一个内部制度文档问答助理要求回答必须依据公司文档、不能胡说、还要在内部网络运行。拆解下来就是五步。第一步需求分析明确问题类型是知识问答资料是已有的制度文档数据敏感不能出内网。第二步方案选型私域知识优先选RAG不需要微调环境限制要求私有化部署。第三步知识库构建把制度文档切块、清洗用OneKE等工具做结构化抽取再向量化存入向量数据库。第四步部署推理在内网服务器上部署量化后的7B或8B模型通过Ollama或vLLM提供API服务。第五步联调与护栏设置System Prompt约束回答只能依据检索内容检索不到就明说不知道必要时接上Dify做个可视化后台方便业务人员维护。这道题综合了RAG、私有化部署、提示词工程、Agent集成四个考点。能做通这五步大模型应用的核心框架就已经掌握得差不多了。考试里不管题干怎么换数据从哪来、模型在哪跑、行为怎么控这三问永远是主线。6. 四周清扫一遍零基础的学习路线与自测清单6.1 四周分阶段把考点过一遍网上各种大模型学习路线长到看不见尽头我根据大量零基础学员的实际进度给一条更克制的路线四周够用。第一周只学提示词和基础概念大模型是什么、Token、上下文窗口、训练与推理的区别。这些用最小模型就能验证不需要GPU免费API也能学。第二周专攻Transformer注意力机制、位置编码、为什么自注意力能并行。这一阶段不要死磕公式能画清楚Query和Key做匹配、Value取内容的流程就够了。第三周做工程实践把RAG跑通、微调一次LoRA、部署一次本地模型。目标不是做大项目而是建立我能从头到尾搭一遍的信心。第四周补齐多模态和Agent看几个多模态应用案例用Dify配置一个带工具调用的Agent。这样四周下来你既有了理论考点也有了可以写进简历的实操记录。6.2 考点掌握程度分三层别平均用力学习大模型最容易犯的错是平均用力。我的建议是完全按三个层次分配精力。第一层是了解主要指多模态、Agent、MCP这类新概念知道它解决什么问题能说清楚关键词即可占学习时间的不到两成。第二层是理解主要包括RAG的检索逻辑、微调与RAG的区别、上下文窗口的限制原理这部分不但要懂原理还要能在场景题里做选择占三成精力。第三层是实操提示词工程、本地部署、显存估算、LoRA微调流程每一项都要亲手做一遍占一半以上时间。面试和实际项目中最终考验的永远是第三层。遇到热词里从零构建大模型PDFAI大模型教程这类资料先别急着囤。零基础阶段最好的资料是一份能跑通的最小代码示例而不是几百页的理论文档。可以先把资料目录收藏等动手遇到具体问题再回去查对应章节效率高得多。6.3 十道自测题做完再去看真题学完上面的内容用这十道题检验一下LLM的L为什么是Language而不是Knowledge一段1000字中文大约会切成多少Token为什么长上下文模型也会漏掉文档中间的信息模型回答时为什么要循环生成而不是一次性输出全文8B模型FP16权重大概占多少显存量化到INT4后呢业务需要更新知识库应该用RAG还是微调LoRA和全参数微调的本质区别是什么为什么量化后模型逻辑推理能力可能下降Agent遗忘之前对话历史时应该靠什么组件解决私有化部署时模型文件该通过什么方式进入内网前六题如果你能直接答出来说明基础已经很扎实后几题哪怕答得不完整只要知道关键方向也足以应对大多数入门级场景。说实话带过这么多人从零开始学大模型我最深的体会是考点精讲最怕变成名词堆砌。一个知识如果你能当场上手试一遍哪怕用的是3B的小模型记忆牢固度也远超背十遍PPT。所以别等我给你列更多理论了找个平台申请一个免费API额度或者直接在本地装个Ollama拉个7B左右的小模型跑起来把那十道自测题变成十次小实验一周后你回头看这篇内容会发现很多考点其实早就是常识了。