这些年经常有人问我同一个问题想系统入门大模型应该从哪开始这问题看着简单其实很难回答。因为大模型这个领域早就不是“读一篇Transformer论文”就能搞定的了市面上资料多到爆炸但真正成体系的少——有的是纯理论上来就是满屏公式有的是纯应用教你调API却说不清为什么还有一部分是三个月前的教程模型和框架早就换了代。我自己从最早接触GPT系列到后来做微调和本地部署中间走了不少弯路所以想把这份“如果重新入门我会怎么学”的资料整理出来给你一条真正可以走通的路径。这篇文章不是那种“只讲概念”的科普也不是“只给代码”的教程而是把大模型入门需要掌握的认知、工具、实操、避坑经验一起串起来。不管你是刚转行的研发、在校学生还是工作中需要落地AI能力的工程师都能从中找到适合自己的切入点和可以直接照做的步骤。我会尽量用大白话解释原理拿实际案例讲操作争取让你看完之后对“大模型从哪学、怎么练、坑在哪”有一张清晰的地图。1. 先把地图看明白大模型入门到底在学什么1.1 大模型不是“一键生成”而是一套技术栈很多人以为大模型入门就是学怎么问问题、怎么调接口这是一个很大的误解。真实的大模型应用画像是这样的底层是模型训练包括数据清洗、预训练、微调、对齐中间层是推理与部署涉及到显存管理、量化、推理加速、服务框架再往上才是应用层包括提示词工程、检索增强RAG、Agent智能体、多模态交互。这三层每一层都有独立的知识体系但又是层层依赖的。举一个直白的例子你在网页上跟一个模型对话看起来简单但背后至少经历了“请求进来→服务端做预处理→推理引擎加载模型→显存调度→生成文本→流式返回→前端渲染”的完整链路。你想做本地部署至少要懂模型文件格式、量化方法、推理框架怎么选你想做微调又得懂数据格式、损失函数、优化器、过拟合判断。所以入门的第一步不是急着找某个教程而是先想清楚你到底要走哪条路线——是做应用开发、做部署优化、做训练研究还是做产品落地这个问题想清楚了你才知道自己应该优先补哪块。否则你会发现今天看了一篇讲注意力机制的文章明天又去学LangChain后天开始折腾LoRA最后每样都只懂个皮毛。我的建议是先有一个整体的技术栈认知把自己感兴趣的路线定下来再按图索骥。1.2 入门阶段必须认识的十个关键词在我整理资料的过程中始终觉得最容易被忽视的就是“术语关”。大模型领域每天都在造新词而这些词往往又是理解其他文章的基础。下面这十个词我建议刚入门的人在被别的高深内容劝退之前先扎扎实实搞懂它们Token模型处理文本的最小单位不是单词也不是字符。英文里一个单词可能拆成多个Token中文一个汉字往往对应一到两个。Token影响长度限制和成本计算。上下文窗口模型一次能“看到”的Token数量相当于它的工作记忆容量。窗口越大能处理的对话历史和文档越长。预训练在海量无标注文本上学习语言规律的过程相当于“通识教育”。微调在预训练基础上用更小规模的标注数据继续训练让模型学会特定领域的能力相当于“岗前培训”。对齐让模型更符合人类偏好、价值观和安全要求代表作是RLHF基于人类反馈的强化学习。量化把模型权重从高精度浮点数压缩到整数或其他低精度格式用来降低显存占用和推理成本。推理引擎真正负责跑模型前向传播并生成回答的程序比如Ollama、vLLM、llama.cpp。提示词工程通过设计输入指令的措辞、结构、示例来引导模型输出是最低成本的控制方式。检索增强生成RAG先从外部知识库检索相关片段再拼进上下文让模型回答用来治“胡说八道”和“知识过时”。Agent智能体让模型学会调用外部工具、制定计划、执行多步任务而不是只做单轮问答。这十个词全部搞明白你在看其他资料的时候会轻松很多。不用一次背熟边用边理解就好。我当年就是因为分不清“预训练”和“微调”看了好几天训练日志才恍然大明白这种基础概念越早补齐越省时间。2. 我的学习路线从理论到实战的六个阶段2.1 阶段一数学与编程基础补课别一上来就啃论文估计你听说过学大模型要有数学基础但这个基础要补到什么程度我个人的观察是如果只做应用层开发线性代数会看矩阵乘法、知道张量形状就行概率统计理解概率分布和最大似然的基本思想微积分能看得懂导数与梯度不必会手推复杂的积分。如果是想深入研究训练和推理那就另说数值优化、矩阵论都得往深里学。编程基础方面Python是绕不开的。你至少要熟练写列表推导式、装饰器、上下文管理器会处理JSON和CSV熟悉NumPy和Pandas的基本操作。很多人想着可以用现成框架不用自己实现但真正到了处理数据集和修改代码的时候基础扎实与否直接决定你是否能快速上手。那到底怎么补呢我的建议是不要单独数学看一个月再碰代码那样会失去动力。正确姿势是“用啥学啥”今天要看attention计算就顺便复习一下矩阵乘法明天要写数据处理脚本就练练Pandas。把大模型项目当练习题学到的知识才有归宿感。我现在回头看当时专门花三周看的“高等数学辅导书”真正用上的不超过三成。2.2 阶段二吃透Transformer原理只读这篇就够了我一直建议入门者不要一上来就大而全地啃论文但有一篇不看你后面是绕不过去的——《Attention Is All You Need》。这篇原论文值得精读不过第一次读看不懂也没关系因为现在有很多图文并茂的拆解文章和视频把多头注意力、位置编码、残差连接解释得很好。我甚至会跟朋友说把清华刘知远老师的《大模型的发展历程与核心原理》看三遍或者把那篇讲解Transformer的“The Illustrated Transformer”图文教程耐心读一遍比你自己闷头看公式高效得多。Transformer的核心就几件事Self-Attention让每个词都能同时看到句子里的所有词并计算相关度多头注意力通过多组映射捕捉不同层面的关系位置编码给模型注入词序信息层归一化和残差连接让深层网络好训练。这些点不用做到能推导但至少要知道每个模块解决的是什么问题。看完原理之后我强烈建议你跟跑一个最小实现的Demo比如在GitHub上找“minGPT”或者“nanoGPT”的代码用别人的小数据集跑一次训练。哪怕只是把代码运行通过你也能比那些只看视频的人理解更深。实际操作中你会看到loss曲线、采样输出效果这些直观感受是看多少文章都替代不了的。2.3 阶段三从调用API到提示词工程先学会跟模型打交道学完基础理论不要急着部署模型先找一个大模型API注册下来然后老老实实从“调接口”开始。调用一次API的意义在于它让你把一个抽象的黑盒变成可控的工具。你可以亲身体验temperature参数调大之后回答变散、调小后回答变保守你会亲眼看到同一个问题加一句“请用简短的比喻回答”输出风格会差很多。这就是最直观的模型认知。提示词工程是这个阶段的重头戏。很多人觉得提示词就是把话说清楚其实有套路。最基础的是角色设定比如“你是一位资深Python工程师”其次是任务分解把复杂问题拆成小步骤分步问再高级一点是Few-shot示例给模型看几个输入输出对让它模仿你的格式。还有一个经常被忽略的“推理引导”技巧——让模型先解释思路再给答案这样复杂问题答错的概率会明显降低。做提示词工程的时候一定要有结构化思维。我习惯先写任务目标再写背景信息再写输出要求最后给示例中间用分隔符隔开。你会发现这样得到的回答比一句“帮我看这个代码有什么问题”稳定得多。这也是为什么现在大家强调“上下文工程”真正的高手不是只会写提示词而是会管理上下文长度、把关键信息放在合适位置、利用多轮对话消化复杂任务。别嫌这个阶段基础后面所有Agent框架都建立在这套思路上。2.4 阶段四本地部署与开源模型实操不上手永远是外行如果你从来没有在本地电脑上跑过任何一个大模型那你对大模型的理解还是隔着一层。本地部署最大的意义不是省钱也不是完全替代API而是让你直接感受“模型是一个有体积、有显存、有速度的实体”。这是我在带新人时最强调的一点很多人以为模型运行就像打开一个软件那么轻真到部署时才发现一个70B模型光权重就有140G普通显卡根本装不下。本地部署的第一课是学会缩小模型——量化。主流开源模型基本都有不同的量化版本比如4位、8位。一位量化意味着原始权重的精度被压缩换来更低的显存占用和更快的推理速度。新手别贪大一套16G显存的消费级显卡跑7B或14B模型就非常合适了。部署工具方面我推荐先学Ollama因为它傻瓜式一条命令行就把模型服务跑起来之后再去看vLLM或者llama.cpp它们在高并发和极致效率上更强。本地部署不是终点而是你探索“模型行为”的起点。你可以在这个环境里做各种实验比如换不同温度看输出变化挂上结构化提示词甚至拦截请求看完整输入输出。你还会遇到大量环境问题——版本冲突、CUDA装错、显存爆掉这些坑踩一遍比看十篇教程都管用。我在第4章会专门放一份完整的实操复盘和避坑清单。2.5 阶段五微调与对齐从“通用”到“专属”的进阶难题当你具备了大模型使用经验也理解训练的基本原理之后就会开始琢磨如何让模型更懂我的业务答案是微调。这里需要先说清楚一个概念微调不是教会模型“新知识”更主要的是学会“新格式、新风格、新行为”。模型事实性知识大部分在预训练的时候就固定了微调更多是引导它在特定场景下以特定方式输出。常见的微调路线包括全量微调用全部参数继续训练成本高、LoRA只训练一小部分额外的低秩矩阵便宜且效果好、QLoRA在量化的基础上再做LoRA普通显卡也能微调7B模型。对绝大多数个人学习者来说我建议直接学LoRA就够用了。你需要学会准备数据常见格式是JSONL每一行是“指令-输入-输出”的样本还要学会拆分训练集和验证集观察loss是否下降避免过拟合。这里我强烈建议新手先别急着拿自己的业务数据开试而是走一遍一个标准流程找一份公开数据集比如中文指令微调数据集跑通一个LoRA训练然后再把自己写的小数据拆几个样本进去。我第一次微调的时候犯过一个特别蠢的错误训练集和验证集没有做去重结果验证集loss低得离谱我还以为自己调参神功大成。这种事不亲手踩过是不会有体感的。2.6 阶段六RAG与Agent把模型接到你的系统上到了这个阶段你不再把模型看作“问答机器人”而是看作一个可以嵌入到业务系统里的“推理部件”。其中最重要的扩展方向就是RAG和Agent。RAG的核心是将外挂知识带进上下文。你可以把公司文档切片、向量化、存进向量数据库用户提问时先从库里检索相关内容拼进提示词再让模型回答。这样做既缓解了模型“知识过时”的问题也让它回答时“有据可依”。很多入门者分不清RAG和微调的区别微调是改变模型参数RAG不改变参数只是动态改变输入。各有优劣RAG更新快但依赖检索质量微调行为稳定但成本高、更新慢。Agent则是让模型从“被动答题”变成“主动完成任务”。一套最简单的Agent思路是模型根据用户问题决定调用哪个工具把工具的返回结果再交给模型综合成答案。这样你可以让模型去查天气、查数据库、操作浏览器。现在主流的Agent框架有LangChain、LlamaIndex还有后来居上的MetaGPT、AutoGen等。很多Agent框架封装得很高级但底层其实都是“提示词→模型决策→工具调用循环”的变体。因此我建议你一定要先把第2.3节提到的提示词基础和结构化思维练扎实否则你在Agent里看到“ReAct”这类模式时根本不知道它在解决什么问题。3. 工具链选型哪些东西值得现在学3.1 推理框架Ollama、vLLM、llama.cpp到底怎么选我几乎每次写入门资料都会收到类似问题老师我该学Ollama还是vLLM这里先说结论按你的场景来不要盲目跟风。Ollama的定位是“个人开发者的体验最佳”。一条命令就能启动模型自带上下文历史管理、模型版本管理还有OpenAI兼容的本地API可以让你很快接上调用代码。它非常适合“想让本地模型先跑起来看看效果”的人。缺点是并发性能一般不适合生产环境大规模的并发请求。vLLM的定位是“高吞吐推理服务”它的PagedAttention机制能让显存利用率大幅提升适合做服务化部署和压力测试。你要在公司搭一个多用户使用的模型服务vLLM更合适。llama.cpp的优势是不依赖GPU也能跑通过CPU加内存就能运行量化模型对配置不好的机器非常友好。我的建议是先把Ollama跑熟因为上手门槛低然后花一个周末时间用vLLM搞定一个典型的API服务部署llama.cpp了解即可除非你的环境真的没有GPU。这套组合下来你对推理引擎的轮廓就非常清晰了。关于模型排名和量化版本选择现在社区里总有一些讨论“TCC还是WDDM”之类的说法我个人的态度是不用太纠结“哪个模型更强”的排行榜。一个模型的最终效果很大程度取决于你的提示词和任务设置。入门阶段选择7B到14B的通用对话模型就够了比如Qwen、Llama、Mistral的量化版本。模型之间强的那一点点在你还不会用的时候根本体现不出来。3.2 微调工具LoRA、QLoRA与数据集处理三板斧微调工具这个环节我看过太多人浪费了大量时间在“装环境”上。如果你只是想验证微调流程我建议直接不用写底层的Transformers Trainer而是用封装好的工具先跑通一遍比如LLaMA-Factory。这个开源项目提供了Web界面和命令行两套方式可以把数据准备、参数配置、训练、评测一口气串起来。LLaMA-Factory支持的微调方法很全面LoRA、QLoRA都是选项。你只需要把数据整理成它规定的JSON格式选好基础模型配置学习率、训练轮数等少量参数就可以开始训练。等流程跑通再回去看它源码里的Trainer配置去逐行了解每个参数的意义。从“会跑”到“懂为什么”的过程比一开始就上线扒源码要平滑得多。数据集处理是微调的重头戏。我总结了三板斧清洗去重、质量筛选、格式标准化。一个坏数据可能让模型学到肉眼可见的错误格式这比参数调不好还致命。实际操作中你最好用脚本统计数据长度分布、检查有没有空值和异常符号然后抽样人工看几十条。数据是急不得的我见过有人拿了五十万条数据就开跑结果跑了一天发现大量文本没有对齐全都是拿给模型学坏习惯。3.3 API与生态从OpenAI兼容协议到Spring AI入门阶段你至少得会调用一个模型API。现在各家模型厂商几乎都提供了OpenAI兼容的接口这意味着你用一套SDK就能切换不同的模型服务。你只要理解了几个核心概念——endpoint、model、messages、max_tokens、temperature、stream——大部分API就不会难倒你了。在此基础上如果你是后端工程师重点看Spring AI和LangChain4j这样的Java生态封装。它们解决的问题就是让模型能力接入传统的Spring Boot服务包括对话记忆、结构化输出、函数调用。很多Java开发者觉得Python的AI栈不熟但又想做AI应用Spring AI其实就是桥梁。Web项目怎么连上大模型做对话官方示例很多你跑通一个最简单的聊天Demo就会明白整体套路配置模型端点、构造消息、调用接口、解析结果。但同时我想提醒不要过度依赖框架。框架能帮你快速写Demo也可能掩盖底层逻辑。比如Spring AI里你只调一个ChatClient但如果你想做复杂的功能定制遇到问题还是得去查底层协议。所以不管是Python的LangChain还是Java的Spring AI先把裸调用学会再上封装。4. 实操复盘从零部署一个本地大模型4.1 环境准备与模型下载注意这几点就够了选一个你能持续操作的实践项目比什么都重要。我下面以“在Windows 11上用Ollama部署Hermes系列模型”为例记录我完整跑通的过程和其中的思考这个模型名是社区经常提到的开源选项你可以换成任何其他通对话模型。Hermes系列属于开源的对话模型7B量化版在普通16G显存电脑上就能跑非常适合第一次实验。第一步是硬件环境评估。先确认你是否有NVIDIA显卡用nvidia-smi看显存和驱动版本。如果显卡驱动太老CUDA版本对不上后面会疯狂出问题。建议先把显卡驱动更新到最新再装对应版本的CUDA工具包。没有NVIDIA显卡也没关系纯CPU也能跑只是速度会慢很多你可以选7B模型的4bit量化版。第二步是安装Ollama并更换模型下载目录。Ollama默认会把模型下载到C盘我强烈建议你一开始就把模型路径改掉否则你下载几个模型C盘就见底了。Windows上可以设置环境变量OLLAMA_MODELS指向一个空间充足的磁盘路径。这个操作虽然很小但真的能避免后面删库重来的痛苦。4.2 部署与调用别跳过流式输出这一课安装完成后拉取模型用一条命令ollama run hermes-7b。如果模型没有在本地它会自动从模型库下载。注意国内网络环境可能需要设置代理或镜像源这是部署环节最烦但最常见的问题。我没法在这篇文章里替你解决所有网络问题但只要你的网络能正常访问GitHub大部分模型源是没问题的。实在不行就走手动导入的方式——从模型平台下载GGUF文件再用ollama create创建模型。启动起来之后你可以在终端里直接和它对话。但我建议你更近一步用Python或Node写一个小脚本请求Ollama提供的本地API。关键点和官方文档不同的一点是一定要开启流式返回。就是接口不一次性返回完整结果而是把生成内容一段一段流式地推给你。不开启流式的话模型生成时间一长前端用户就会以为服务卡死了。这在大模型应用开发里几乎是必修课。在本地部署时你还要注意上下文长度配置。Ollama默认有个数值上限但长上下文会显著增加显存占用。如果遇到模型一直回答得很慢先检查是不是上下文窗口设太大而不是怀疑电脑性能。4.3 性能优化与显存管理别等卡死才后悔真正在本地部署中逼疯人的不是模型下载而是显存管理。一个常见现象模型加载起来了但一旦聊了几轮笔记本风扇开始狂转过一会儿直接报CUDA out of memory。原因通常是这三个上下文窗口太长、同时开了多个模型、GPU的算力分配太激进。解决办法按优先级先关掉没用的模型Ollama默认会把模型驻留在显存里方便下次快速响应但如果你要跑别的模型内存就被占满了记得用ollama stop释放第二是降低上下文长度比如从默认的2048降到1024试试第三是换个更小的量化版本。如果你想追求极致的速度可以考虑用vLLM部署时设置--gpu-memory-utilization参数来控制GPU显存占用比例默认值是0.9意思是会用到90%的显存你可以调低来防止叠加其他进程时炸掉。这一套优化做完你的本地模型基本就能稳定跑了。很多时候不是机器不够好而是你没有意识到一个模型服务同时受模型体积、上下文长度、并发请求数三个变量影响。这三者三角关系搞明白你就能解释为什么同一个模型在别人电脑上飞一样快在你电脑上卡成PPT。5. 常见问题排查与避坑经验5.1 显存不足、训练崩溃第一时间该查什么显存不足是所有人的第一课我在上面已经提到一部分。这里再给一个更通用的排查顺序先看进程管理器确认是不是有僵尸进程占着GPU再用nvidia-smi看显存占用率然后看模型是否被重复加载最后才考虑换量化模型或调小批量大小。训练过程中崩溃更常见的是“loss变成NaN”和“显存溢出”。前者大概率是学习率过大或数据里有异常值先把学习率调小两个数量级试试后者优先减小批量大小、使用梯度累积、开启混合精度训练。很多人上来就按教程抄个batch size8结果自己的显卡只有8G不炸才怪。做实验前先算一下显存占用模型参数每十亿参数约需要2G显存以FP16加载在此基础上白乘以1.2的冗余系数。心里有这个数就不会盲目贪大。5.2 微调效果不佳先检查数据再怀疑参数如果你微调完的模型效果反而变差这是必经之路。我见过太多次团队焦虑的讨论最后发现是数据质量出了问题。排查顺序是先看训练集里有没有格式混乱的样本再看验证集loss是不是徘徊不降然后看生成结果是不是有重复乱码。如果训练loss本身正常但效果不好那大概率是数据分布和任务场景不匹配。有一个技巧特别值得分享在微调前先拿几个代表性样本跑一下基础模型的输出感受一下“微调前”的水平。微调的目标是让模型在你给的样本上变好同时保持其他能力不退步。如果你不给模型一个合理的“前后对比”你很难判断微调到底有没有效果。我也建议在每次实验时固定一个评测集哪怕只有20条也能显著提升你的实验判断力。5.3 模型输出“一本正经胡说八道”怎么约束它大模型幻觉问题无解但可以有效缓解。最容易见效的是提示词约束明确告诉模型“如果你不知道答案请直接说不知道”这样它就不会硬编答案。然后是RAG给模型提供对应的资料再让它作答。另一个容易忽略的点是解码参数temperature太高会让回答更有“创造性”也更爱编做知识问答类任务把temperature调到0.2以下非常管用。还有人询问“大模型投毒测试”这类话题我理解大家是关注安全性。实务上你能做的是给自己的应用增加输入校验和输出过滤比如限制用户输入长度、过滤提示注入关键词、对输出做内容安全检测。不要指望模型本身绝对安全系统设计上的防线永远更重要。6. 一点个人建议与资源清单6.1 学习资料怎么选我给你划个重点资料太多的时候保存再多也没用。我的建议是“每类只留一个核心”。理论类重点看《深度学习》花书配合Transformer的图文详解实操类跑通LLaMA-Factory的官方README和教程就够入门部署类去把Ollama和vLLM的官方文档读一遍应用类选一个主流框架的官方示例库比如LangChain的文档。现在很多学习者最大的问题不是缺少资料而是收藏了三百篇文章却从来没完整跑通过其中任何一个项目。我也支持看中文社区总结文章但注意时效性。大模型领域半年前的部署教程就可能失效。看教程时先看发布时间和依赖的版本号太老的果断放弃最新版本不一定最稳定但至少不会让你用三个月前已经被废弃的API。6.2 最后分享一点我这些年攒下的心里话入门大模型最重要的是别把自己当观众。很多人看了无数视频和文章动手实践时依然两眼一抹黑。我在带新人的时候有一个“三个一”原则跑通一个最小Demo记录一篇踩坑笔记做出一个能解决自己实际问题的完整项目。哪怕那个项目只是在本地部署了一个模型然后写了个命令行问答工具它带给你的成长也超过躺在收藏夹里的十份教程。还有遇到奇怪报错不要总想着找人帮忙先去搜索引擎复制报错信息多翻几条结果如果实在找不到就把上下文、代码和报错信息完整贴到网上提问。这是程序员的基本功但也是很多入门者的心态关。你第一次自己解决一个“显示超出限制”或者“进程崩溃”的问题时那种成就感比看了十篇资料都强。我现在偶尔还会翻自己早期踩坑的笔记那些“为什么Ollama下载这么慢”“为什么模型地址老加载失败”“为什么微调后完全变傻”的记录恰恰是我后来理解整个大模型体系最扎实的地基。整理这份系统性入门资料其实就是想告诉你大模型学习没有捷径但一定有更聪明、更少走弯路的路径。把基础打对、把实操做透剩下的交给时间就好。 
长河君 · 2026/11/3 3:45:59 · 阅读 1.2k 大模型入门学习路线：从Transformer原理到微调与本地部署实践
这些年经常有人问我同一个问题想系统入门大模型应该从哪开始这问题看着简单其实很难回答。因为大模型这个领域早就不是“读一篇Transformer论文”就能搞定的了市面上资料多到爆炸但真正成体系的少——有的是纯理论上来就是满屏公式有的是纯应用教你调API却说不清为什么还有一部分是三个月前的教程模型和框架早就换了代。我自己从最早接触GPT系列到后来做微调和本地部署中间走了不少弯路所以想把这份“如果重新入门我会怎么学”的资料整理出来给你一条真正可以走通的路径。这篇文章不是那种“只讲概念”的科普也不是“只给代码”的教程而是把大模型入门需要掌握的认知、工具、实操、避坑经验一起串起来。不管你是刚转行的研发、在校学生还是工作中需要落地AI能力的工程师都能从中找到适合自己的切入点和可以直接照做的步骤。我会尽量用大白话解释原理拿实际案例讲操作争取让你看完之后对“大模型从哪学、怎么练、坑在哪”有一张清晰的地图。1. 先把地图看明白大模型入门到底在学什么1.1 大模型不是“一键生成”而是一套技术栈很多人以为大模型入门就是学怎么问问题、怎么调接口这是一个很大的误解。真实的大模型应用画像是这样的底层是模型训练包括数据清洗、预训练、微调、对齐中间层是推理与部署涉及到显存管理、量化、推理加速、服务框架再往上才是应用层包括提示词工程、检索增强RAG、Agent智能体、多模态交互。这三层每一层都有独立的知识体系但又是层层依赖的。举一个直白的例子你在网页上跟一个模型对话看起来简单但背后至少经历了“请求进来→服务端做预处理→推理引擎加载模型→显存调度→生成文本→流式返回→前端渲染”的完整链路。你想做本地部署至少要懂模型文件格式、量化方法、推理框架怎么选你想做微调又得懂数据格式、损失函数、优化器、过拟合判断。所以入门的第一步不是急着找某个教程而是先想清楚你到底要走哪条路线——是做应用开发、做部署优化、做训练研究还是做产品落地这个问题想清楚了你才知道自己应该优先补哪块。否则你会发现今天看了一篇讲注意力机制的文章明天又去学LangChain后天开始折腾LoRA最后每样都只懂个皮毛。我的建议是先有一个整体的技术栈认知把自己感兴趣的路线定下来再按图索骥。1.2 入门阶段必须认识的十个关键词在我整理资料的过程中始终觉得最容易被忽视的就是“术语关”。大模型领域每天都在造新词而这些词往往又是理解其他文章的基础。下面这十个词我建议刚入门的人在被别的高深内容劝退之前先扎扎实实搞懂它们Token模型处理文本的最小单位不是单词也不是字符。英文里一个单词可能拆成多个Token中文一个汉字往往对应一到两个。Token影响长度限制和成本计算。上下文窗口模型一次能“看到”的Token数量相当于它的工作记忆容量。窗口越大能处理的对话历史和文档越长。预训练在海量无标注文本上学习语言规律的过程相当于“通识教育”。微调在预训练基础上用更小规模的标注数据继续训练让模型学会特定领域的能力相当于“岗前培训”。对齐让模型更符合人类偏好、价值观和安全要求代表作是RLHF基于人类反馈的强化学习。量化把模型权重从高精度浮点数压缩到整数或其他低精度格式用来降低显存占用和推理成本。推理引擎真正负责跑模型前向传播并生成回答的程序比如Ollama、vLLM、llama.cpp。提示词工程通过设计输入指令的措辞、结构、示例来引导模型输出是最低成本的控制方式。检索增强生成RAG先从外部知识库检索相关片段再拼进上下文让模型回答用来治“胡说八道”和“知识过时”。Agent智能体让模型学会调用外部工具、制定计划、执行多步任务而不是只做单轮问答。这十个词全部搞明白你在看其他资料的时候会轻松很多。不用一次背熟边用边理解就好。我当年就是因为分不清“预训练”和“微调”看了好几天训练日志才恍然大明白这种基础概念越早补齐越省时间。2. 我的学习路线从理论到实战的六个阶段2.1 阶段一数学与编程基础补课别一上来就啃论文估计你听说过学大模型要有数学基础但这个基础要补到什么程度我个人的观察是如果只做应用层开发线性代数会看矩阵乘法、知道张量形状就行概率统计理解概率分布和最大似然的基本思想微积分能看得懂导数与梯度不必会手推复杂的积分。如果是想深入研究训练和推理那就另说数值优化、矩阵论都得往深里学。编程基础方面Python是绕不开的。你至少要熟练写列表推导式、装饰器、上下文管理器会处理JSON和CSV熟悉NumPy和Pandas的基本操作。很多人想着可以用现成框架不用自己实现但真正到了处理数据集和修改代码的时候基础扎实与否直接决定你是否能快速上手。那到底怎么补呢我的建议是不要单独数学看一个月再碰代码那样会失去动力。正确姿势是“用啥学啥”今天要看attention计算就顺便复习一下矩阵乘法明天要写数据处理脚本就练练Pandas。把大模型项目当练习题学到的知识才有归宿感。我现在回头看当时专门花三周看的“高等数学辅导书”真正用上的不超过三成。2.2 阶段二吃透Transformer原理只读这篇就够了我一直建议入门者不要一上来就大而全地啃论文但有一篇不看你后面是绕不过去的——《Attention Is All You Need》。这篇原论文值得精读不过第一次读看不懂也没关系因为现在有很多图文并茂的拆解文章和视频把多头注意力、位置编码、残差连接解释得很好。我甚至会跟朋友说把清华刘知远老师的《大模型的发展历程与核心原理》看三遍或者把那篇讲解Transformer的“The Illustrated Transformer”图文教程耐心读一遍比你自己闷头看公式高效得多。Transformer的核心就几件事Self-Attention让每个词都能同时看到句子里的所有词并计算相关度多头注意力通过多组映射捕捉不同层面的关系位置编码给模型注入词序信息层归一化和残差连接让深层网络好训练。这些点不用做到能推导但至少要知道每个模块解决的是什么问题。看完原理之后我强烈建议你跟跑一个最小实现的Demo比如在GitHub上找“minGPT”或者“nanoGPT”的代码用别人的小数据集跑一次训练。哪怕只是把代码运行通过你也能比那些只看视频的人理解更深。实际操作中你会看到loss曲线、采样输出效果这些直观感受是看多少文章都替代不了的。2.3 阶段三从调用API到提示词工程先学会跟模型打交道学完基础理论不要急着部署模型先找一个大模型API注册下来然后老老实实从“调接口”开始。调用一次API的意义在于它让你把一个抽象的黑盒变成可控的工具。你可以亲身体验temperature参数调大之后回答变散、调小后回答变保守你会亲眼看到同一个问题加一句“请用简短的比喻回答”输出风格会差很多。这就是最直观的模型认知。提示词工程是这个阶段的重头戏。很多人觉得提示词就是把话说清楚其实有套路。最基础的是角色设定比如“你是一位资深Python工程师”其次是任务分解把复杂问题拆成小步骤分步问再高级一点是Few-shot示例给模型看几个输入输出对让它模仿你的格式。还有一个经常被忽略的“推理引导”技巧——让模型先解释思路再给答案这样复杂问题答错的概率会明显降低。做提示词工程的时候一定要有结构化思维。我习惯先写任务目标再写背景信息再写输出要求最后给示例中间用分隔符隔开。你会发现这样得到的回答比一句“帮我看这个代码有什么问题”稳定得多。这也是为什么现在大家强调“上下文工程”真正的高手不是只会写提示词而是会管理上下文长度、把关键信息放在合适位置、利用多轮对话消化复杂任务。别嫌这个阶段基础后面所有Agent框架都建立在这套思路上。2.4 阶段四本地部署与开源模型实操不上手永远是外行如果你从来没有在本地电脑上跑过任何一个大模型那你对大模型的理解还是隔着一层。本地部署最大的意义不是省钱也不是完全替代API而是让你直接感受“模型是一个有体积、有显存、有速度的实体”。这是我在带新人时最强调的一点很多人以为模型运行就像打开一个软件那么轻真到部署时才发现一个70B模型光权重就有140G普通显卡根本装不下。本地部署的第一课是学会缩小模型——量化。主流开源模型基本都有不同的量化版本比如4位、8位。一位量化意味着原始权重的精度被压缩换来更低的显存占用和更快的推理速度。新手别贪大一套16G显存的消费级显卡跑7B或14B模型就非常合适了。部署工具方面我推荐先学Ollama因为它傻瓜式一条命令行就把模型服务跑起来之后再去看vLLM或者llama.cpp它们在高并发和极致效率上更强。本地部署不是终点而是你探索“模型行为”的起点。你可以在这个环境里做各种实验比如换不同温度看输出变化挂上结构化提示词甚至拦截请求看完整输入输出。你还会遇到大量环境问题——版本冲突、CUDA装错、显存爆掉这些坑踩一遍比看十篇教程都管用。我在第4章会专门放一份完整的实操复盘和避坑清单。2.5 阶段五微调与对齐从“通用”到“专属”的进阶难题当你具备了大模型使用经验也理解训练的基本原理之后就会开始琢磨如何让模型更懂我的业务答案是微调。这里需要先说清楚一个概念微调不是教会模型“新知识”更主要的是学会“新格式、新风格、新行为”。模型事实性知识大部分在预训练的时候就固定了微调更多是引导它在特定场景下以特定方式输出。常见的微调路线包括全量微调用全部参数继续训练成本高、LoRA只训练一小部分额外的低秩矩阵便宜且效果好、QLoRA在量化的基础上再做LoRA普通显卡也能微调7B模型。对绝大多数个人学习者来说我建议直接学LoRA就够用了。你需要学会准备数据常见格式是JSONL每一行是“指令-输入-输出”的样本还要学会拆分训练集和验证集观察loss是否下降避免过拟合。这里我强烈建议新手先别急着拿自己的业务数据开试而是走一遍一个标准流程找一份公开数据集比如中文指令微调数据集跑通一个LoRA训练然后再把自己写的小数据拆几个样本进去。我第一次微调的时候犯过一个特别蠢的错误训练集和验证集没有做去重结果验证集loss低得离谱我还以为自己调参神功大成。这种事不亲手踩过是不会有体感的。2.6 阶段六RAG与Agent把模型接到你的系统上到了这个阶段你不再把模型看作“问答机器人”而是看作一个可以嵌入到业务系统里的“推理部件”。其中最重要的扩展方向就是RAG和Agent。RAG的核心是将外挂知识带进上下文。你可以把公司文档切片、向量化、存进向量数据库用户提问时先从库里检索相关内容拼进提示词再让模型回答。这样做既缓解了模型“知识过时”的问题也让它回答时“有据可依”。很多入门者分不清RAG和微调的区别微调是改变模型参数RAG不改变参数只是动态改变输入。各有优劣RAG更新快但依赖检索质量微调行为稳定但成本高、更新慢。Agent则是让模型从“被动答题”变成“主动完成任务”。一套最简单的Agent思路是模型根据用户问题决定调用哪个工具把工具的返回结果再交给模型综合成答案。这样你可以让模型去查天气、查数据库、操作浏览器。现在主流的Agent框架有LangChain、LlamaIndex还有后来居上的MetaGPT、AutoGen等。很多Agent框架封装得很高级但底层其实都是“提示词→模型决策→工具调用循环”的变体。因此我建议你一定要先把第2.3节提到的提示词基础和结构化思维练扎实否则你在Agent里看到“ReAct”这类模式时根本不知道它在解决什么问题。3. 工具链选型哪些东西值得现在学3.1 推理框架Ollama、vLLM、llama.cpp到底怎么选我几乎每次写入门资料都会收到类似问题老师我该学Ollama还是vLLM这里先说结论按你的场景来不要盲目跟风。Ollama的定位是“个人开发者的体验最佳”。一条命令就能启动模型自带上下文历史管理、模型版本管理还有OpenAI兼容的本地API可以让你很快接上调用代码。它非常适合“想让本地模型先跑起来看看效果”的人。缺点是并发性能一般不适合生产环境大规模的并发请求。vLLM的定位是“高吞吐推理服务”它的PagedAttention机制能让显存利用率大幅提升适合做服务化部署和压力测试。你要在公司搭一个多用户使用的模型服务vLLM更合适。llama.cpp的优势是不依赖GPU也能跑通过CPU加内存就能运行量化模型对配置不好的机器非常友好。我的建议是先把Ollama跑熟因为上手门槛低然后花一个周末时间用vLLM搞定一个典型的API服务部署llama.cpp了解即可除非你的环境真的没有GPU。这套组合下来你对推理引擎的轮廓就非常清晰了。关于模型排名和量化版本选择现在社区里总有一些讨论“TCC还是WDDM”之类的说法我个人的态度是不用太纠结“哪个模型更强”的排行榜。一个模型的最终效果很大程度取决于你的提示词和任务设置。入门阶段选择7B到14B的通用对话模型就够了比如Qwen、Llama、Mistral的量化版本。模型之间强的那一点点在你还不会用的时候根本体现不出来。3.2 微调工具LoRA、QLoRA与数据集处理三板斧微调工具这个环节我看过太多人浪费了大量时间在“装环境”上。如果你只是想验证微调流程我建议直接不用写底层的Transformers Trainer而是用封装好的工具先跑通一遍比如LLaMA-Factory。这个开源项目提供了Web界面和命令行两套方式可以把数据准备、参数配置、训练、评测一口气串起来。LLaMA-Factory支持的微调方法很全面LoRA、QLoRA都是选项。你只需要把数据整理成它规定的JSON格式选好基础模型配置学习率、训练轮数等少量参数就可以开始训练。等流程跑通再回去看它源码里的Trainer配置去逐行了解每个参数的意义。从“会跑”到“懂为什么”的过程比一开始就上线扒源码要平滑得多。数据集处理是微调的重头戏。我总结了三板斧清洗去重、质量筛选、格式标准化。一个坏数据可能让模型学到肉眼可见的错误格式这比参数调不好还致命。实际操作中你最好用脚本统计数据长度分布、检查有没有空值和异常符号然后抽样人工看几十条。数据是急不得的我见过有人拿了五十万条数据就开跑结果跑了一天发现大量文本没有对齐全都是拿给模型学坏习惯。3.3 API与生态从OpenAI兼容协议到Spring AI入门阶段你至少得会调用一个模型API。现在各家模型厂商几乎都提供了OpenAI兼容的接口这意味着你用一套SDK就能切换不同的模型服务。你只要理解了几个核心概念——endpoint、model、messages、max_tokens、temperature、stream——大部分API就不会难倒你了。在此基础上如果你是后端工程师重点看Spring AI和LangChain4j这样的Java生态封装。它们解决的问题就是让模型能力接入传统的Spring Boot服务包括对话记忆、结构化输出、函数调用。很多Java开发者觉得Python的AI栈不熟但又想做AI应用Spring AI其实就是桥梁。Web项目怎么连上大模型做对话官方示例很多你跑通一个最简单的聊天Demo就会明白整体套路配置模型端点、构造消息、调用接口、解析结果。但同时我想提醒不要过度依赖框架。框架能帮你快速写Demo也可能掩盖底层逻辑。比如Spring AI里你只调一个ChatClient但如果你想做复杂的功能定制遇到问题还是得去查底层协议。所以不管是Python的LangChain还是Java的Spring AI先把裸调用学会再上封装。4. 实操复盘从零部署一个本地大模型4.1 环境准备与模型下载注意这几点就够了选一个你能持续操作的实践项目比什么都重要。我下面以“在Windows 11上用Ollama部署Hermes系列模型”为例记录我完整跑通的过程和其中的思考这个模型名是社区经常提到的开源选项你可以换成任何其他通对话模型。Hermes系列属于开源的对话模型7B量化版在普通16G显存电脑上就能跑非常适合第一次实验。第一步是硬件环境评估。先确认你是否有NVIDIA显卡用nvidia-smi看显存和驱动版本。如果显卡驱动太老CUDA版本对不上后面会疯狂出问题。建议先把显卡驱动更新到最新再装对应版本的CUDA工具包。没有NVIDIA显卡也没关系纯CPU也能跑只是速度会慢很多你可以选7B模型的4bit量化版。第二步是安装Ollama并更换模型下载目录。Ollama默认会把模型下载到C盘我强烈建议你一开始就把模型路径改掉否则你下载几个模型C盘就见底了。Windows上可以设置环境变量OLLAMA_MODELS指向一个空间充足的磁盘路径。这个操作虽然很小但真的能避免后面删库重来的痛苦。4.2 部署与调用别跳过流式输出这一课安装完成后拉取模型用一条命令ollama run hermes-7b。如果模型没有在本地它会自动从模型库下载。注意国内网络环境可能需要设置代理或镜像源这是部署环节最烦但最常见的问题。我没法在这篇文章里替你解决所有网络问题但只要你的网络能正常访问GitHub大部分模型源是没问题的。实在不行就走手动导入的方式——从模型平台下载GGUF文件再用ollama create创建模型。启动起来之后你可以在终端里直接和它对话。但我建议你更近一步用Python或Node写一个小脚本请求Ollama提供的本地API。关键点和官方文档不同的一点是一定要开启流式返回。就是接口不一次性返回完整结果而是把生成内容一段一段流式地推给你。不开启流式的话模型生成时间一长前端用户就会以为服务卡死了。这在大模型应用开发里几乎是必修课。在本地部署时你还要注意上下文长度配置。Ollama默认有个数值上限但长上下文会显著增加显存占用。如果遇到模型一直回答得很慢先检查是不是上下文窗口设太大而不是怀疑电脑性能。4.3 性能优化与显存管理别等卡死才后悔真正在本地部署中逼疯人的不是模型下载而是显存管理。一个常见现象模型加载起来了但一旦聊了几轮笔记本风扇开始狂转过一会儿直接报CUDA out of memory。原因通常是这三个上下文窗口太长、同时开了多个模型、GPU的算力分配太激进。解决办法按优先级先关掉没用的模型Ollama默认会把模型驻留在显存里方便下次快速响应但如果你要跑别的模型内存就被占满了记得用ollama stop释放第二是降低上下文长度比如从默认的2048降到1024试试第三是换个更小的量化版本。如果你想追求极致的速度可以考虑用vLLM部署时设置--gpu-memory-utilization参数来控制GPU显存占用比例默认值是0.9意思是会用到90%的显存你可以调低来防止叠加其他进程时炸掉。这一套优化做完你的本地模型基本就能稳定跑了。很多时候不是机器不够好而是你没有意识到一个模型服务同时受模型体积、上下文长度、并发请求数三个变量影响。这三者三角关系搞明白你就能解释为什么同一个模型在别人电脑上飞一样快在你电脑上卡成PPT。5. 常见问题排查与避坑经验5.1 显存不足、训练崩溃第一时间该查什么显存不足是所有人的第一课我在上面已经提到一部分。这里再给一个更通用的排查顺序先看进程管理器确认是不是有僵尸进程占着GPU再用nvidia-smi看显存占用率然后看模型是否被重复加载最后才考虑换量化模型或调小批量大小。训练过程中崩溃更常见的是“loss变成NaN”和“显存溢出”。前者大概率是学习率过大或数据里有异常值先把学习率调小两个数量级试试后者优先减小批量大小、使用梯度累积、开启混合精度训练。很多人上来就按教程抄个batch size8结果自己的显卡只有8G不炸才怪。做实验前先算一下显存占用模型参数每十亿参数约需要2G显存以FP16加载在此基础上白乘以1.2的冗余系数。心里有这个数就不会盲目贪大。5.2 微调效果不佳先检查数据再怀疑参数如果你微调完的模型效果反而变差这是必经之路。我见过太多次团队焦虑的讨论最后发现是数据质量出了问题。排查顺序是先看训练集里有没有格式混乱的样本再看验证集loss是不是徘徊不降然后看生成结果是不是有重复乱码。如果训练loss本身正常但效果不好那大概率是数据分布和任务场景不匹配。有一个技巧特别值得分享在微调前先拿几个代表性样本跑一下基础模型的输出感受一下“微调前”的水平。微调的目标是让模型在你给的样本上变好同时保持其他能力不退步。如果你不给模型一个合理的“前后对比”你很难判断微调到底有没有效果。我也建议在每次实验时固定一个评测集哪怕只有20条也能显著提升你的实验判断力。5.3 模型输出“一本正经胡说八道”怎么约束它大模型幻觉问题无解但可以有效缓解。最容易见效的是提示词约束明确告诉模型“如果你不知道答案请直接说不知道”这样它就不会硬编答案。然后是RAG给模型提供对应的资料再让它作答。另一个容易忽略的点是解码参数temperature太高会让回答更有“创造性”也更爱编做知识问答类任务把temperature调到0.2以下非常管用。还有人询问“大模型投毒测试”这类话题我理解大家是关注安全性。实务上你能做的是给自己的应用增加输入校验和输出过滤比如限制用户输入长度、过滤提示注入关键词、对输出做内容安全检测。不要指望模型本身绝对安全系统设计上的防线永远更重要。6. 一点个人建议与资源清单6.1 学习资料怎么选我给你划个重点资料太多的时候保存再多也没用。我的建议是“每类只留一个核心”。理论类重点看《深度学习》花书配合Transformer的图文详解实操类跑通LLaMA-Factory的官方README和教程就够入门部署类去把Ollama和vLLM的官方文档读一遍应用类选一个主流框架的官方示例库比如LangChain的文档。现在很多学习者最大的问题不是缺少资料而是收藏了三百篇文章却从来没完整跑通过其中任何一个项目。我也支持看中文社区总结文章但注意时效性。大模型领域半年前的部署教程就可能失效。看教程时先看发布时间和依赖的版本号太老的果断放弃最新版本不一定最稳定但至少不会让你用三个月前已经被废弃的API。6.2 最后分享一点我这些年攒下的心里话入门大模型最重要的是别把自己当观众。很多人看了无数视频和文章动手实践时依然两眼一抹黑。我在带新人的时候有一个“三个一”原则跑通一个最小Demo记录一篇踩坑笔记做出一个能解决自己实际问题的完整项目。哪怕那个项目只是在本地部署了一个模型然后写了个命令行问答工具它带给你的成长也超过躺在收藏夹里的十份教程。还有遇到奇怪报错不要总想着找人帮忙先去搜索引擎复制报错信息多翻几条结果如果实在找不到就把上下文、代码和报错信息完整贴到网上提问。这是程序员的基本功但也是很多入门者的心态关。你第一次自己解决一个“显示超出限制”或者“进程崩溃”的问题时那种成就感比看了十篇资料都强。我现在偶尔还会翻自己早期踩坑的笔记那些“为什么Ollama下载这么慢”“为什么模型地址老加载失败”“为什么微调后完全变傻”的记录恰恰是我后来理解整个大模型体系最扎实的地基。整理这份系统性入门资料其实就是想告诉你大模型学习没有捷径但一定有更聪明、更少走弯路的路径。把基础打对、把实操做透剩下的交给时间就好。