1. 从零开始理解大模型入门到底该学什么很多人第一次接触大模型脑子里冒出来的第一个问题往往是“我该从哪本书看起”或者“要不要先把数学补一遍”。我见过太多人卡在这一步买了一堆《深度学习》和《统计学习方法》翻到第三章反向传播就放弃了。其实大模型入门和传统机器学习入门是两条完全不同的路径前者更偏向工程实践和系统认知后者才需要你先把数学基础打牢。我自己的经验是大模型入门应该按照“先建立全局认知再动手跑通链路最后深入某个方向”的节奏来走。你不需要一上来就搞懂Transformer里每一层的矩阵维度但你需要知道一个模型从输入文本到输出回答中间大致经历了哪些环节。这就像学开车你不需要先学会造发动机但你需要知道油门、刹车、方向盘各自管什么。1.1 大模型到底是什么用最直白的话讲清楚大模型全称大规模语言模型Large Language Model本质上是一个“根据上文预测下一个词”的概率系统。你给它一段话它根据训练时见过的海量文本计算出下一个最可能出现的词是什么然后把这个词拼上去再继续预测下一个如此循环就生成了一整段回答。这个解释听起来简单但背后有几个关键点值得展开。第一“大规模”体现在参数量上从早期的几亿参数到现在的千亿甚至万亿参数参数量决定了模型能“记住”多少语言规律和世界知识。第二“预训练”是指模型先在海量通用文本上学习语言的基本规律这个过程不需要人工标注所以可以用互联网级别的数据。第三“微调”是在预训练之后用特定领域或特定任务的数据对模型做二次训练让它更擅长某个方向。注意很多人会把“大模型”和“ChatGPT”画等号其实ChatGPT只是大模型的一种产品化形态。底层的大模型可以是LLaMA、Qwen、ChatGLM、Baichuan等等ChatGPT是OpenAI基于GPT系列模型做的对话产品。1.2 入门路线图四个阶段循序渐进我把大模型入门分成四个阶段每个阶段的目标和产出都很明确阶段核心目标建议时间产出物第一阶段认知建立理解大模型能做什么、不能做什么1-2周能说清楚大模型的基本原理和典型应用第二阶段环境跑通在本地或云端跑通一个模型2-3周能独立完成模型下载、部署、对话测试第三阶段应用开发用API或本地模型做一个小应用3-4周一个能用的Demo比如知识库问答第四阶段深入方向选择微调、推理优化、Agent等方向深入持续某个方向的实战经验和项目积累这个路线不是绝对的但大方向不会错。我见过有人跳过第二阶段直接看论文结果连模型怎么加载都不知道也有人一直在第二阶段打转部署了十几个模型但从来没做过一个完整应用。比较健康的节奏是每个阶段都动手做点东西哪怕很小。1.3 常见误区别在这些地方浪费时间第一个误区是“数学不够所以学不了”。大模型入门阶段用到的数学其实不多你只需要理解向量、矩阵乘法、概率分布这几个概念就够了。真正需要深入数学的是做模型架构创新或者训练优化那是另一个层次的事。第二个误区是“必须要有GPU才能学”。入门阶段完全可以用CPU跑小模型或者用免费的大模型API来体验。等你确定要深入了再考虑租云GPU或者买显卡。第三个误区是“先把Python学精通再开始”。Python当然要会但不需要精通。你能看懂函数、类、列表推导式会用pip装包就足够开始了。剩下的边做边学。2. 环境配置从零搭建你的第一个大模型运行环境环境配置是劝退率最高的环节没有之一。我见过太多人卡在CUDA版本不匹配、conda环境冲突、模型下载失败这些问题上。这一章我把整个流程拆开每一步都告诉你为什么要这么做以及遇到问题怎么排查。2.1 硬件与系统选择CPU也能跑但GPU体验更好先说结论入门阶段如果你有一张显存8GB以上的NVIDIA显卡体验会好很多。如果没有用CPU也能跑小模型只是速度慢一些。Mac用户用M系列芯片也可以通过Metal加速7B左右的模型跑起来问题不大。具体配置建议最低配置16GB内存CPU跑量化后的7B模型速度大约每秒几个token能用来学习和测试推荐配置32GB内存 8GB以上显存的NVIDIA显卡可以流畅跑7B-14B的量化模型进阶配置64GB内存 24GB显存可以跑32B甚至更大的模型也能做微调实验提示如果你暂时没有合适的硬件可以先从云平台租用GPU实例按小时计费入门阶段花不了多少钱。或者直接使用免费的大模型API先把应用层跑通。2.2 Python环境管理为什么我推荐用conda而不是直接pip大模型生态对Python版本和依赖库版本非常敏感。你今天装了一个版本的transformers明天装另一个包可能就把它升级了然后之前的代码就跑不起来了。所以一定要用虚拟环境隔离。conda的好处是它能管理Python版本本身而venv只能管理包。大模型项目经常需要指定Python 3.10或3.11conda切换起来更方便。# 创建专用环境 conda create -n llm python3.10 conda activate llm # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers accelerate sentencepiece这里解释一下几个核心包的作用torch是深度学习框架transformers是Hugging Face出的模型加载和推理库accelerate负责把模型分配到不同的设备上sentencepiece是很多模型用的分词器依赖。2.3 模型下载国内网络环境下的实用方案模型下载是另一个高频卡点。Hugging Face的服务器在海外直接下载大文件经常断连。我试过几种方案比较靠谱的是用镜像站或者用huggingface-cli配合镜像。# 设置镜像端点 export HF_ENDPOINThttps://hf-mirror.com # 用huggingface-cli下载模型 pip install huggingface_hub huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir ./qwen2.5-7b如果你用的是ModelScope国内下载速度会更快很多国产模型在上面都有官方仓库。from modelscope import snapshot_download model_dir snapshot_download(qwen/Qwen2.5-7B-Instruct)注意下载之前先确认你的磁盘空间。一个7B的模型FP16精度大约需要14GB量化后可能只要4-8GB。下载前用df -h看一下剩余空间。2.4 验证环境跑通第一个推理脚本环境装好了模型下载了接下来写一个最简单的推理脚本验证一切正常。from transformers import AutoModelForCausalLM, AutoTokenizer model_path ./qwen2.5-7b tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue ) prompt 用一句话解释什么是大模型。 inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate(**inputs, max_new_tokens100) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))这段代码里device_mapauto会让accelerate自动决定把模型放在GPU还是CPU上trust_remote_codeTrue是因为有些模型需要执行自定义代码。如果这段跑通了说明你的环境基本没问题了。3. 模型选择面对几十个模型到底该用哪个这是被问得最多的问题之一。我的回答通常是没有“最好”的模型只有“最适合你当前需求”的模型。选模型要考虑的因素包括你的硬件能跑多大的模型、你的任务是什么类型、你是否需要商用、你更看重速度还是质量。3.1 主流开源模型横向对比目前市面上主流的开源大模型有这么几个系列我按自己的使用体验做个对比模型系列代表型号参数量中文能力特点QwenQwen2.5-7B/14B/72B0.5B-72B优秀阿里出品中文场景表现好生态完善LLaMALLaMA 3.1-8B/70B8B-405B良好Meta出品英文为主社区资源丰富ChatGLMGLM-4-9B9B优秀智谱出品中文对话优化好BaichuanBaichuan2-13B7B-13B优秀百川出品中文能力不错DeepSeekDeepSeek-V2/V3236B优秀深度求索出品MoE架构推理能力强YiYi-1.5-34B6B-34B优秀零一万物出品长文本能力好如果你是中文场景为主Qwen和ChatGLM是首选。如果你需要跟国际社区接轨LLaMA系列的生态最丰富。如果你追求极致的推理能力DeepSeek值得关注。3.2 量化模型让小显存也能跑大模型量化是把模型参数从高精度如FP16转换成低精度如INT8、INT4的过程好处是显存占用大幅降低代价是精度略有损失。对于入门阶段来说量化模型是让你在有限硬件上跑起更大模型的关键手段。常见的量化格式有GGUF和GPTQ两种。GGUF是llama.cpp用的格式适合CPU和Apple SiliconGPTQ是GPU上用的格式推理速度快。# 用llama.cpp跑GGUF量化模型 ./llama-cli -m qwen2.5-7b-instruct-q4_k_m.gguf -p 你好 -n 128Q4_K_M是常用的量化等级意思是4位量化K表示使用了k-quant方法M是中等质量。实测下来Q4_K_M在质量和体积之间平衡得比较好7B模型大约4-5GB。3.3 什么场景选什么模型几个实际例子如果你只是想体验一下大模型对话随便选一个7B的量化模型就够了。如果你想做知识库问答建议选中文能力强的模型比如Qwen2.5-7B-Instruct配合RAG框架。如果你想做代码生成DeepSeek-Coder或者Qwen2.5-Coder更合适。如果你要做微调实验选一个参数量小一点的模型比如Qwen2.5-0.5B或1.5B训练快显存要求低。提示不要一上来就追求最大的模型。7B模型在大多数入门场景下已经够用了而且跑得快方便你快速迭代实验。4. 提示词工程与上下文工程不训练模型也能提升效果很多人以为要让模型输出好结果必须微调。其实在大多数场景下把提示词写好效果提升比微调还明显。提示词工程和上下文工程是大模型应用开发中最实用的技能没有之一。4.1 提示词的基本结构角色、任务、约束、示例一个好的提示词通常包含四个部分角色设定、任务描述、约束条件、输出示例。我拿一个实际例子来说明。你是一个专业的Python代码审查员。角色 请审查以下代码找出潜在的bug和性能问题。任务 要求 1. 按严重程度排序 2. 每个问题给出修改建议 3. 不要评论代码风格约束 输出格式 - 问题描述 - 严重程度 - 修改建议示例这个结构看起来简单但很多人写提示词的时候只写了任务没有角色和约束导致模型输出很发散。角色设定能让模型调用相关的知识约束条件能缩小输出空间示例能让模型模仿你想要的格式。4.2 上下文工程比提示词更重要的隐藏技能上下文工程是提示词工程的升级版它关注的不只是单条提示词而是整个上下文窗口里放什么内容。包括系统提示词怎么设、历史对话怎么管理、检索到的文档怎么插入、工具调用结果怎么呈现。举个例子你在做一个知识库问答系统用户问了一个问题你检索到了三段相关文档。这三段文档怎么放进上下文直接拼接还是加上标记放在系统提示词前面还是后面这些决策都会影响最终效果。我的经验是把最相关的内容放在上下文的最前面和最后面因为模型对开头和结尾的信息注意力更集中。中间部分可以放一些辅助信息。另外给每段检索内容加上来源标记方便模型引用。4.3 流式输出与中断处理提升用户体验的关键细节如果你在做对话应用流式输出是必备功能。它让模型一边生成一边返回用户不用等全部生成完才看到结果。实现方式通常是用SSEServer-Sent Events。from fastapi import FastAPI from fastapi.responses import StreamingResponse import asyncio app FastAPI() async def generate_stream(prompt): # 模拟流式生成 for token in [大, 模, 型, 很, 有, 趣]: yield fdata: {token}\n\n await asyncio.sleep(0.1) app.get(/chat) async def chat(prompt: str): return StreamingResponse( generate_stream(prompt), media_typetext/event-stream )配合前端的中断功能用户可以在模型生成到一半的时候点击停止后端收到中断信号后终止生成。这个体验细节看起来小但对用户满意度影响很大。5. 微调实战让通用模型变成你的领域专家微调是大模型入门之后最值得深入的方向之一。通用模型虽然什么都能聊但在特定领域往往不够专业。微调就是拿领域数据对模型做二次训练让它更懂你的业务。5.1 微调方式选择全量微调、LoRA、QLoRA怎么选全量微调是更新模型所有参数效果最好但显存要求最高。一个7B模型全量微调大约需要60GB以上的显存普通人玩不起。LoRA是在模型旁边加一个小型的低秩矩阵只训练这个小矩阵显存需求大幅降低。7B模型用LoRA微调16GB显存就够了。QLoRA是LoRA的量化版本先把模型量化到4位再在上面加LoRA显存需求进一步降低。7B模型用QLoRA8GB显存就能跑。微调方式显存需求7B训练速度效果适用场景全量微调60GB慢最好有充足算力追求极致效果LoRA16GB中等好大多数领域微调场景QLoRA8GB较慢较好显存有限入门实验我的建议是入门阶段从QLoRA开始跑通整个流程之后再根据需求升级。5.2 数据准备微调成败的八成在这微调的效果好不好八成取决于数据质量两成取决于训练参数。数据准备包括收集领域数据、清洗格式、构造指令-回答对。数据格式通常是JSONL每行一个样本{instruction: 什么是量化投资, output: 量化投资是指通过数学模型和计算机程序来执行投资决策的方式...} {instruction: 解释一下夏普比率, output: 夏普比率是衡量投资组合风险调整后收益的指标...}数据量方面对于LoRA微调几百到几千条高质量数据就能看到明显效果。关键是质量不是数量。一条准确、清晰的样本比十条模糊、矛盾的样本更有价值。注意数据里不要有重复样本不要有格式错误不要有前后矛盾的标注。我见过有人拿了网上爬的问答数据直接微调结果模型学会了胡说八道。5.3 训练参数学习率、批次大小、训练轮数怎么设用LoRA微调几个关键参数的经验值学习率1e-4到3e-4之间太大容易训崩太小收敛慢批次大小根据显存来通常1-8之间配合梯度累积训练轮数1-3轮通常够了太多容易过拟合LoRA秩r8-64之间越大表达能力越强但参数越多LoRA alpha通常是r的2倍from peft import LoraConfig lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, v_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM )target_modules指定在哪些层上加LoRA通常选注意力层的q_proj和v_proj就够了。lora_dropout是防止过拟合的。5.4 效果验证怎么判断微调有没有成功微调完之后不能只看loss曲线要做实际测试。我通常从三个维度验证第一领域问题测试。准备20-30个领域问题对比微调前后模型的回答质量。第二通用能力测试。确认微调没有让模型丧失通用对话能力。第三边界测试。问一些领域外的问题看模型会不会强行往领域上靠。如果领域问题回答明显变好通用能力没有明显下降边界测试也正常那这次微调就算成功了。6. 部署与推理加速让模型跑得更快更稳模型训好了最终要部署成服务给别人用。部署环节要考虑的事情很多用什么框架、怎么加速、怎么管理并发、怎么监控。6.1 推理框架选型vLLM、llama.cpp、Ollama各自适合谁vLLM是GPU上的高性能推理框架核心优势是PagedAttention能大幅提升吞吐量。适合生产环境、高并发场景。llama.cpp是CPU和Apple Silicon上的推理框架支持GGUF量化格式适合个人电脑本地运行。Ollama是llama.cpp的封装提供了更简单的命令行和API适合快速体验和轻量级应用。框架硬件优势适用场景vLLMNVIDIA GPU高吞吐、低延迟生产环境、API服务llama.cppCPU/Apple Silicon轻量、易部署个人电脑、边缘设备OllamaCPU/GPU简单、开箱即用快速体验、小规模应用6.2 vLLM部署实战从安装到API服务pip install vllm python -m vllm.entrypoints.openai.api_server \ --model ./qwen2.5-7b \ --dtype auto \ --max-model-len 4096 \ --gpu-memory-utilization 0.9这个命令会启动一个兼容OpenAI API的服务你可以用OpenAI的客户端直接调用。from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keydummy) response client.chat.completions.create( model./qwen2.5-7b, messages[{role: user, content: 你好}] ) print(response.choices[0].message.content)--gpu-memory-utilization 0.9表示用90%的显存留一点给系统。--max-model-len控制最大上下文长度越长占用显存越多。6.3 本地部署的联网搜索能力扩展本地模型默认没有联网能力但你可以通过工具调用的方式给它加上。基本思路是模型判断需要搜索时输出一个特定的工具调用格式你的程序解析后去执行搜索把结果返回给模型。tools [{ type: function, function: { name: web_search, description: 搜索互联网获取最新信息, parameters: { type: object, properties: { query: {type: string, description: 搜索关键词} } } } }]模型返回工具调用请求后你执行搜索把结果作为工具消息追加到对话里再让模型生成最终回答。这个模式就是Agent的基础。7. 学习资源与进阶方向少走弯路的个人建议最后聊一下学习资源和进阶方向。市面上的大模型教程很多但质量参差不齐。我按自己的使用体验推荐几个靠谱的。7.1 值得看的开源教程与课程吴恩达的《ChatGPT Prompt Engineering for Developers》适合入门提示词工程短小精悍。Hugging Face的NLP Course覆盖了transformers库的方方面面偏实战。李沐的《动手学深度学习》是中文世界里最好的深度学习入门材料虽然不专门讲大模型但基础打牢了后面学什么都快。开源教程方面Datawhale的《动手学大模型》系列不错覆盖了微调、部署、应用开发等环节。另外各个模型官方的技术报告和文档是第一手资料值得花时间读。7.2 进阶方向微调、Agent、推理优化选哪个微调方向适合有领域数据、想让模型更懂业务的同学。Agent方向适合想做复杂应用、让模型自主完成多步任务的同学。推理优化方向适合对性能有要求、想深入底层技术的同学。我的建议是先把应用层跑通做一个完整的Demo出来然后再根据兴趣选一个方向深入。不要一开始就钻到底层容易迷失。7.3 我踩过的坑和给你的建议第一个坑是贪多。我一开始同时学微调、部署、Agent结果哪个都没学透。后来专注做一个知识库问答项目把RAG、提示词、部署都串起来了反而进步更快。第二个坑是只看不做。看教程觉得都懂了一动手就发现各种问题。大模型是实践性很强的领域一定要动手。第三个坑是忽视数据。花了很多时间调参后来发现换一批更好的数据效果提升比调参明显得多。提示入门阶段不要追求完美先跑通一个最小可用版本然后再迭代优化。完成比完美重要。如果你现在问我大模型入门最重要的是什么我会说是“动手跑通一个完整链路”。从环境配置到模型部署从提示词到微调每个环节都亲手做一遍比看十篇教程都有用。这个领域变化很快但基础的东西不会变把基础打牢了新东西来了你也能快速上手。 
长河君 · 2026/11/4 9:39:32 · 阅读 1.2k 大模型入门实战：从环境配置到微调部署的完整学习路线
1. 从零开始理解大模型入门到底该学什么很多人第一次接触大模型脑子里冒出来的第一个问题往往是“我该从哪本书看起”或者“要不要先把数学补一遍”。我见过太多人卡在这一步买了一堆《深度学习》和《统计学习方法》翻到第三章反向传播就放弃了。其实大模型入门和传统机器学习入门是两条完全不同的路径前者更偏向工程实践和系统认知后者才需要你先把数学基础打牢。我自己的经验是大模型入门应该按照“先建立全局认知再动手跑通链路最后深入某个方向”的节奏来走。你不需要一上来就搞懂Transformer里每一层的矩阵维度但你需要知道一个模型从输入文本到输出回答中间大致经历了哪些环节。这就像学开车你不需要先学会造发动机但你需要知道油门、刹车、方向盘各自管什么。1.1 大模型到底是什么用最直白的话讲清楚大模型全称大规模语言模型Large Language Model本质上是一个“根据上文预测下一个词”的概率系统。你给它一段话它根据训练时见过的海量文本计算出下一个最可能出现的词是什么然后把这个词拼上去再继续预测下一个如此循环就生成了一整段回答。这个解释听起来简单但背后有几个关键点值得展开。第一“大规模”体现在参数量上从早期的几亿参数到现在的千亿甚至万亿参数参数量决定了模型能“记住”多少语言规律和世界知识。第二“预训练”是指模型先在海量通用文本上学习语言的基本规律这个过程不需要人工标注所以可以用互联网级别的数据。第三“微调”是在预训练之后用特定领域或特定任务的数据对模型做二次训练让它更擅长某个方向。注意很多人会把“大模型”和“ChatGPT”画等号其实ChatGPT只是大模型的一种产品化形态。底层的大模型可以是LLaMA、Qwen、ChatGLM、Baichuan等等ChatGPT是OpenAI基于GPT系列模型做的对话产品。1.2 入门路线图四个阶段循序渐进我把大模型入门分成四个阶段每个阶段的目标和产出都很明确阶段核心目标建议时间产出物第一阶段认知建立理解大模型能做什么、不能做什么1-2周能说清楚大模型的基本原理和典型应用第二阶段环境跑通在本地或云端跑通一个模型2-3周能独立完成模型下载、部署、对话测试第三阶段应用开发用API或本地模型做一个小应用3-4周一个能用的Demo比如知识库问答第四阶段深入方向选择微调、推理优化、Agent等方向深入持续某个方向的实战经验和项目积累这个路线不是绝对的但大方向不会错。我见过有人跳过第二阶段直接看论文结果连模型怎么加载都不知道也有人一直在第二阶段打转部署了十几个模型但从来没做过一个完整应用。比较健康的节奏是每个阶段都动手做点东西哪怕很小。1.3 常见误区别在这些地方浪费时间第一个误区是“数学不够所以学不了”。大模型入门阶段用到的数学其实不多你只需要理解向量、矩阵乘法、概率分布这几个概念就够了。真正需要深入数学的是做模型架构创新或者训练优化那是另一个层次的事。第二个误区是“必须要有GPU才能学”。入门阶段完全可以用CPU跑小模型或者用免费的大模型API来体验。等你确定要深入了再考虑租云GPU或者买显卡。第三个误区是“先把Python学精通再开始”。Python当然要会但不需要精通。你能看懂函数、类、列表推导式会用pip装包就足够开始了。剩下的边做边学。2. 环境配置从零搭建你的第一个大模型运行环境环境配置是劝退率最高的环节没有之一。我见过太多人卡在CUDA版本不匹配、conda环境冲突、模型下载失败这些问题上。这一章我把整个流程拆开每一步都告诉你为什么要这么做以及遇到问题怎么排查。2.1 硬件与系统选择CPU也能跑但GPU体验更好先说结论入门阶段如果你有一张显存8GB以上的NVIDIA显卡体验会好很多。如果没有用CPU也能跑小模型只是速度慢一些。Mac用户用M系列芯片也可以通过Metal加速7B左右的模型跑起来问题不大。具体配置建议最低配置16GB内存CPU跑量化后的7B模型速度大约每秒几个token能用来学习和测试推荐配置32GB内存 8GB以上显存的NVIDIA显卡可以流畅跑7B-14B的量化模型进阶配置64GB内存 24GB显存可以跑32B甚至更大的模型也能做微调实验提示如果你暂时没有合适的硬件可以先从云平台租用GPU实例按小时计费入门阶段花不了多少钱。或者直接使用免费的大模型API先把应用层跑通。2.2 Python环境管理为什么我推荐用conda而不是直接pip大模型生态对Python版本和依赖库版本非常敏感。你今天装了一个版本的transformers明天装另一个包可能就把它升级了然后之前的代码就跑不起来了。所以一定要用虚拟环境隔离。conda的好处是它能管理Python版本本身而venv只能管理包。大模型项目经常需要指定Python 3.10或3.11conda切换起来更方便。# 创建专用环境 conda create -n llm python3.10 conda activate llm # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers accelerate sentencepiece这里解释一下几个核心包的作用torch是深度学习框架transformers是Hugging Face出的模型加载和推理库accelerate负责把模型分配到不同的设备上sentencepiece是很多模型用的分词器依赖。2.3 模型下载国内网络环境下的实用方案模型下载是另一个高频卡点。Hugging Face的服务器在海外直接下载大文件经常断连。我试过几种方案比较靠谱的是用镜像站或者用huggingface-cli配合镜像。# 设置镜像端点 export HF_ENDPOINThttps://hf-mirror.com # 用huggingface-cli下载模型 pip install huggingface_hub huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir ./qwen2.5-7b如果你用的是ModelScope国内下载速度会更快很多国产模型在上面都有官方仓库。from modelscope import snapshot_download model_dir snapshot_download(qwen/Qwen2.5-7B-Instruct)注意下载之前先确认你的磁盘空间。一个7B的模型FP16精度大约需要14GB量化后可能只要4-8GB。下载前用df -h看一下剩余空间。2.4 验证环境跑通第一个推理脚本环境装好了模型下载了接下来写一个最简单的推理脚本验证一切正常。from transformers import AutoModelForCausalLM, AutoTokenizer model_path ./qwen2.5-7b tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue ) prompt 用一句话解释什么是大模型。 inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate(**inputs, max_new_tokens100) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))这段代码里device_mapauto会让accelerate自动决定把模型放在GPU还是CPU上trust_remote_codeTrue是因为有些模型需要执行自定义代码。如果这段跑通了说明你的环境基本没问题了。3. 模型选择面对几十个模型到底该用哪个这是被问得最多的问题之一。我的回答通常是没有“最好”的模型只有“最适合你当前需求”的模型。选模型要考虑的因素包括你的硬件能跑多大的模型、你的任务是什么类型、你是否需要商用、你更看重速度还是质量。3.1 主流开源模型横向对比目前市面上主流的开源大模型有这么几个系列我按自己的使用体验做个对比模型系列代表型号参数量中文能力特点QwenQwen2.5-7B/14B/72B0.5B-72B优秀阿里出品中文场景表现好生态完善LLaMALLaMA 3.1-8B/70B8B-405B良好Meta出品英文为主社区资源丰富ChatGLMGLM-4-9B9B优秀智谱出品中文对话优化好BaichuanBaichuan2-13B7B-13B优秀百川出品中文能力不错DeepSeekDeepSeek-V2/V3236B优秀深度求索出品MoE架构推理能力强YiYi-1.5-34B6B-34B优秀零一万物出品长文本能力好如果你是中文场景为主Qwen和ChatGLM是首选。如果你需要跟国际社区接轨LLaMA系列的生态最丰富。如果你追求极致的推理能力DeepSeek值得关注。3.2 量化模型让小显存也能跑大模型量化是把模型参数从高精度如FP16转换成低精度如INT8、INT4的过程好处是显存占用大幅降低代价是精度略有损失。对于入门阶段来说量化模型是让你在有限硬件上跑起更大模型的关键手段。常见的量化格式有GGUF和GPTQ两种。GGUF是llama.cpp用的格式适合CPU和Apple SiliconGPTQ是GPU上用的格式推理速度快。# 用llama.cpp跑GGUF量化模型 ./llama-cli -m qwen2.5-7b-instruct-q4_k_m.gguf -p 你好 -n 128Q4_K_M是常用的量化等级意思是4位量化K表示使用了k-quant方法M是中等质量。实测下来Q4_K_M在质量和体积之间平衡得比较好7B模型大约4-5GB。3.3 什么场景选什么模型几个实际例子如果你只是想体验一下大模型对话随便选一个7B的量化模型就够了。如果你想做知识库问答建议选中文能力强的模型比如Qwen2.5-7B-Instruct配合RAG框架。如果你想做代码生成DeepSeek-Coder或者Qwen2.5-Coder更合适。如果你要做微调实验选一个参数量小一点的模型比如Qwen2.5-0.5B或1.5B训练快显存要求低。提示不要一上来就追求最大的模型。7B模型在大多数入门场景下已经够用了而且跑得快方便你快速迭代实验。4. 提示词工程与上下文工程不训练模型也能提升效果很多人以为要让模型输出好结果必须微调。其实在大多数场景下把提示词写好效果提升比微调还明显。提示词工程和上下文工程是大模型应用开发中最实用的技能没有之一。4.1 提示词的基本结构角色、任务、约束、示例一个好的提示词通常包含四个部分角色设定、任务描述、约束条件、输出示例。我拿一个实际例子来说明。你是一个专业的Python代码审查员。角色 请审查以下代码找出潜在的bug和性能问题。任务 要求 1. 按严重程度排序 2. 每个问题给出修改建议 3. 不要评论代码风格约束 输出格式 - 问题描述 - 严重程度 - 修改建议示例这个结构看起来简单但很多人写提示词的时候只写了任务没有角色和约束导致模型输出很发散。角色设定能让模型调用相关的知识约束条件能缩小输出空间示例能让模型模仿你想要的格式。4.2 上下文工程比提示词更重要的隐藏技能上下文工程是提示词工程的升级版它关注的不只是单条提示词而是整个上下文窗口里放什么内容。包括系统提示词怎么设、历史对话怎么管理、检索到的文档怎么插入、工具调用结果怎么呈现。举个例子你在做一个知识库问答系统用户问了一个问题你检索到了三段相关文档。这三段文档怎么放进上下文直接拼接还是加上标记放在系统提示词前面还是后面这些决策都会影响最终效果。我的经验是把最相关的内容放在上下文的最前面和最后面因为模型对开头和结尾的信息注意力更集中。中间部分可以放一些辅助信息。另外给每段检索内容加上来源标记方便模型引用。4.3 流式输出与中断处理提升用户体验的关键细节如果你在做对话应用流式输出是必备功能。它让模型一边生成一边返回用户不用等全部生成完才看到结果。实现方式通常是用SSEServer-Sent Events。from fastapi import FastAPI from fastapi.responses import StreamingResponse import asyncio app FastAPI() async def generate_stream(prompt): # 模拟流式生成 for token in [大, 模, 型, 很, 有, 趣]: yield fdata: {token}\n\n await asyncio.sleep(0.1) app.get(/chat) async def chat(prompt: str): return StreamingResponse( generate_stream(prompt), media_typetext/event-stream )配合前端的中断功能用户可以在模型生成到一半的时候点击停止后端收到中断信号后终止生成。这个体验细节看起来小但对用户满意度影响很大。5. 微调实战让通用模型变成你的领域专家微调是大模型入门之后最值得深入的方向之一。通用模型虽然什么都能聊但在特定领域往往不够专业。微调就是拿领域数据对模型做二次训练让它更懂你的业务。5.1 微调方式选择全量微调、LoRA、QLoRA怎么选全量微调是更新模型所有参数效果最好但显存要求最高。一个7B模型全量微调大约需要60GB以上的显存普通人玩不起。LoRA是在模型旁边加一个小型的低秩矩阵只训练这个小矩阵显存需求大幅降低。7B模型用LoRA微调16GB显存就够了。QLoRA是LoRA的量化版本先把模型量化到4位再在上面加LoRA显存需求进一步降低。7B模型用QLoRA8GB显存就能跑。微调方式显存需求7B训练速度效果适用场景全量微调60GB慢最好有充足算力追求极致效果LoRA16GB中等好大多数领域微调场景QLoRA8GB较慢较好显存有限入门实验我的建议是入门阶段从QLoRA开始跑通整个流程之后再根据需求升级。5.2 数据准备微调成败的八成在这微调的效果好不好八成取决于数据质量两成取决于训练参数。数据准备包括收集领域数据、清洗格式、构造指令-回答对。数据格式通常是JSONL每行一个样本{instruction: 什么是量化投资, output: 量化投资是指通过数学模型和计算机程序来执行投资决策的方式...} {instruction: 解释一下夏普比率, output: 夏普比率是衡量投资组合风险调整后收益的指标...}数据量方面对于LoRA微调几百到几千条高质量数据就能看到明显效果。关键是质量不是数量。一条准确、清晰的样本比十条模糊、矛盾的样本更有价值。注意数据里不要有重复样本不要有格式错误不要有前后矛盾的标注。我见过有人拿了网上爬的问答数据直接微调结果模型学会了胡说八道。5.3 训练参数学习率、批次大小、训练轮数怎么设用LoRA微调几个关键参数的经验值学习率1e-4到3e-4之间太大容易训崩太小收敛慢批次大小根据显存来通常1-8之间配合梯度累积训练轮数1-3轮通常够了太多容易过拟合LoRA秩r8-64之间越大表达能力越强但参数越多LoRA alpha通常是r的2倍from peft import LoraConfig lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, v_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM )target_modules指定在哪些层上加LoRA通常选注意力层的q_proj和v_proj就够了。lora_dropout是防止过拟合的。5.4 效果验证怎么判断微调有没有成功微调完之后不能只看loss曲线要做实际测试。我通常从三个维度验证第一领域问题测试。准备20-30个领域问题对比微调前后模型的回答质量。第二通用能力测试。确认微调没有让模型丧失通用对话能力。第三边界测试。问一些领域外的问题看模型会不会强行往领域上靠。如果领域问题回答明显变好通用能力没有明显下降边界测试也正常那这次微调就算成功了。6. 部署与推理加速让模型跑得更快更稳模型训好了最终要部署成服务给别人用。部署环节要考虑的事情很多用什么框架、怎么加速、怎么管理并发、怎么监控。6.1 推理框架选型vLLM、llama.cpp、Ollama各自适合谁vLLM是GPU上的高性能推理框架核心优势是PagedAttention能大幅提升吞吐量。适合生产环境、高并发场景。llama.cpp是CPU和Apple Silicon上的推理框架支持GGUF量化格式适合个人电脑本地运行。Ollama是llama.cpp的封装提供了更简单的命令行和API适合快速体验和轻量级应用。框架硬件优势适用场景vLLMNVIDIA GPU高吞吐、低延迟生产环境、API服务llama.cppCPU/Apple Silicon轻量、易部署个人电脑、边缘设备OllamaCPU/GPU简单、开箱即用快速体验、小规模应用6.2 vLLM部署实战从安装到API服务pip install vllm python -m vllm.entrypoints.openai.api_server \ --model ./qwen2.5-7b \ --dtype auto \ --max-model-len 4096 \ --gpu-memory-utilization 0.9这个命令会启动一个兼容OpenAI API的服务你可以用OpenAI的客户端直接调用。from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keydummy) response client.chat.completions.create( model./qwen2.5-7b, messages[{role: user, content: 你好}] ) print(response.choices[0].message.content)--gpu-memory-utilization 0.9表示用90%的显存留一点给系统。--max-model-len控制最大上下文长度越长占用显存越多。6.3 本地部署的联网搜索能力扩展本地模型默认没有联网能力但你可以通过工具调用的方式给它加上。基本思路是模型判断需要搜索时输出一个特定的工具调用格式你的程序解析后去执行搜索把结果返回给模型。tools [{ type: function, function: { name: web_search, description: 搜索互联网获取最新信息, parameters: { type: object, properties: { query: {type: string, description: 搜索关键词} } } } }]模型返回工具调用请求后你执行搜索把结果作为工具消息追加到对话里再让模型生成最终回答。这个模式就是Agent的基础。7. 学习资源与进阶方向少走弯路的个人建议最后聊一下学习资源和进阶方向。市面上的大模型教程很多但质量参差不齐。我按自己的使用体验推荐几个靠谱的。7.1 值得看的开源教程与课程吴恩达的《ChatGPT Prompt Engineering for Developers》适合入门提示词工程短小精悍。Hugging Face的NLP Course覆盖了transformers库的方方面面偏实战。李沐的《动手学深度学习》是中文世界里最好的深度学习入门材料虽然不专门讲大模型但基础打牢了后面学什么都快。开源教程方面Datawhale的《动手学大模型》系列不错覆盖了微调、部署、应用开发等环节。另外各个模型官方的技术报告和文档是第一手资料值得花时间读。7.2 进阶方向微调、Agent、推理优化选哪个微调方向适合有领域数据、想让模型更懂业务的同学。Agent方向适合想做复杂应用、让模型自主完成多步任务的同学。推理优化方向适合对性能有要求、想深入底层技术的同学。我的建议是先把应用层跑通做一个完整的Demo出来然后再根据兴趣选一个方向深入。不要一开始就钻到底层容易迷失。7.3 我踩过的坑和给你的建议第一个坑是贪多。我一开始同时学微调、部署、Agent结果哪个都没学透。后来专注做一个知识库问答项目把RAG、提示词、部署都串起来了反而进步更快。第二个坑是只看不做。看教程觉得都懂了一动手就发现各种问题。大模型是实践性很强的领域一定要动手。第三个坑是忽视数据。花了很多时间调参后来发现换一批更好的数据效果提升比调参明显得多。提示入门阶段不要追求完美先跑通一个最小可用版本然后再迭代优化。完成比完美重要。如果你现在问我大模型入门最重要的是什么我会说是“动手跑通一个完整链路”。从环境配置到模型部署从提示词到微调每个环节都亲手做一遍比看十篇教程都有用。这个领域变化很快但基础的东西不会变把基础打牢了新东西来了你也能快速上手。