智能体项目复盘 · 大厂直播课篇企业级大模型研发流程和一个 RAG 项目从 75% 到 98.5% 的完整记录这一篇的素材来自课程的09-大厂老师直播课资料——四节直播 三份讲义《头部企业职级定位》《企业大模型研发流程》《岗位与企业协作模式》。它不讲代码讲的是企业里到底怎么做大模型研发。前面几篇我们把参数量算清了、把 RAG 的 chunk 调过了、把 Dify 部署到内网了但这些都还停在一个人的视角。真实企业里一个模型从立项到上线中间要过技术调研、评估指标对齐、备案、法务、T1 模拟、A/B 放量六道关而且——评估指标必须在项目开工前和业务方白纸黑字对齐否则后面一定扯皮。这一篇最有价值的部分是讲义里那个电商商品问答 RAG 项目的完整准确率演进记录75% → 84% → 91% → 98.5%中间每一步是靠什么手段涨上去的、又付出了什么代价。这比任何我做过 RAG 项目的简历描述都实在。1. 头部企业的职级定位一张通用职级表先说清楚边界这三份讲义里没有出现任何公司名 序列名没有阿里 P“腾讯 T”也没有任何薪资带宽数字。讲师给的是一张通用职级表但1-1 / 2-1 / 3-1这套编号是字节系格式讲义另一份材料的问答里则混用了阿里的P7说法。所以下面这张表请按跨厂通用骨架理解别对号入座成某家的准确档位。职级定位能力描述团队贡献1-1 / 1-2应届生 / 初级专业基础扎实能解决常规问题熟练调接口、做基本训练能在指导下完成模块级工作对前沿技术有基本认知高效执行主动同步进展与问题2-1研发主力针对业务场景做中小型技术选型发现非常规问题并独立定位把复杂需求拆解为可独立开发的模块技术难点处理与解决2-2研发骨干承担项目负责人职责主导跨团队技术方案选型与架构设计识别隐性瓶颈并提系统性改进协调一般资源冲突推动技术点在业务中落地3-1组长小组负责人 / 算法专家架构能力 多项目协调平衡组员的效率、预期与个人发展熟悉所在领域产品与竞品有自己的思考系统化建设团队知识体系3-2部门负责人中型团队管理经验敏锐的行业洞察对未来有自己的分析判断抽象知识体系成为公司标准两个细节值得单独拎出来因为它们是真正的分水岭2-1 - 2-2 的坎不是能解决问题而是能发现隐性瓶颈和能当项目负责人 3-1 - 3-2 的坎团队贡献从系统化变成抽象——你输出的不再是一个方案而是别人的标准讲义里还有一页大厂人才画像的变化我认为比职级表更值得记传统画像勤劳 / 听话 / 吃苦 -- 工业时代标准执行确定性优先 新画像 对技术敏感 / 不断迭代自己 / 激情与热爱 / 爱折腾 筛选逻辑充满好奇心与求知欲对不确定性保持乐观延迟满足感与判断力说白了模型迭代周期压到 3-6 个月之后听话 熟练的贬值是结构性的——你熟练的那套东西本身在过期。2. 企业级大模型研发流程十二阶段主链路这一节是整份讲义的主干。注意它和跑通一个 Demo的根本差别每一步都要产出能拿去开会的文档和数字。技术调研 → 立项 → 数据准备 → 模型选型/基座 → 训练(SFT/LoRA/强化对齐) → 评测集与评估 → 压缩(量化/蒸馏) → 部署推理(vLLM类) → 业务集成(检索/RAG/Agent) → A/B → 运维监控 → 合规审计阶段 1技术调研——回答三个问题该领域最新技术是什么能落地的最新技术是什么行业内都是怎么干的然后输出自研方案要实现什么样的算法框架、哪些模块是传统能力、哪些是新能力、这个框架放到行业内属于什么水平、后续迭代计划。阶段 2立项——评估指标必须在此之前定死。这是讲义里语气最重的一句评估指标必须在项目开展前明确务必与业务达成一致避免后续扯皮。要确认的点技术指标 业务指标双轨、行业有无公认评估体系、按当前方案能做到多少、有无指标分歧、是否分阶段达成、指标迭代计划。阶段 3数据准备。数据构成 开源数据 垂域数据正例 负例 拒识。这里拒识数据是被单独列成一类的重要性后面用数字说明。阶段 4-5选型与训练。选型策略两条路大 → 小先用大模型把效果打出来再蒸馏降本 讲义项目走这条 小 → 大 → 小先探边界回头再压常规任务不超过 32B32B 的训练和部署成本已经很高。训练框架LLaMA-Factory 全参微调配置lr5e-7、epochs4、batch size1、gradient accumulation16、warmup ratio0.1推理temperature0.1跑公开 benchmark 时用0.05。Q调参和改架构优先做哪个讲义的判断很直接调参性价比最高能落地架构优化训练成本过高。而且 LLM 阶段已经没有传统机器学习那套特征工程了——这个说法对做过推荐/搜索的人是观念冲击。3. 一个完整案例商品 RAG 问答75% → 98.5%这是全篇最值钱的一段。场景电商/家电类目的商品说明书问答H3C 路由器、烫金机、电磁炉这类要求能答、更要在该不知道的时候说不知道。阶段做法结果① 首版 7B 全参 SFTqwen2.5-7b131,656 条数据314 条 query 中仅 54 条能准确匹配 chunk28 条作答错 7 条正确率 75%。误拒识多、长上下文理解差② 换 32Bqwen2.5-32b31 条作答错 5 条约 84%。仍未达预期——典型失败是ES 系列车型 ⊃ 具体车型这种需要推理才能答对的遮阳帘问题③ 数据清洗剔除字符数100 and (售后 or QA in chunk)的脏数据GPT-4o 生成质量差可回答部分剩 25,452 条总数降到131,080④ 显式 CoT改成 JSON 显式输出{问题答案是否存在于上下文中: true/false, 问题答案: ...}324 条可检索到文档拒识 127、作答 197、对 180 错 17约 91%⑤ 四步推理 prompt大量篇幅约束拒识场景 few-shot 固定格式—⑥ 合并为三步推理二、三步合一压响应时间允许在不改变原义下润色答案195 条非拒识中仅错 3 条准确率约 98.5%。但拒识涨到 65 条过于谨慎且每条耗时 5-6 秒⑦ KTO 对齐600 条无答案 chunk-query 对 badcaseGPT-4o 生成思考过程答案作正例、无思考过程作反例共2,525 条1,182 条新测试集有效回复 249、对 233 错 1693.6%⑧ 蒸馏 32B → 14B直接复用数据训练700 query 上92.8%与 32B 有差距⑨ 补数据再训 14B开源 1w / 业务 2000 /Hard Negative 100095.1%。仍未打平 32B但达到业务指标预期⑩ 二次 KTO5000 条线上 case 暴露分析对了却仍输出无答案“未做实体替换”“过度拒识导致召回率太低”所有拒识 badcase 作负例、人工校对后的输出作正例高频错误加权复制并改写问法历史集维持 98%5000 case 集92.2% → 95.3%几个我认为最值得抄走的工程手法一是拒识数据要专门构造。具体做法是交换部分 chunk 与 Q把 A 统一改成上下文内容没有相关答案一次性造 10,000 条。原始数据 131,656 开源常识 95,628 商城 RAG 36,028约 100 个 docx 商品文档按一级标题切 chunk用 GPT-4o 基于每个 chunk 生成多个 Q-A 对其中 26,028 条可回答。二是 Q-A 生成靠 GPT-4o但 chunk 切分要按标题而不是按长度。商品手册的结构化程度高按一级标题切出来的 chunk 语义完整后面所有环节都受益。三是 Hard Negative 要人分工造。讲义里是两人协作一人造query 与 context 高度相关但确实无答案的拒识数据一人造长 chunk 晦涩问法、需要推理的可答数据例子很典型“马克杯口径”而原文写的是尺寸 100x96mm(直径x高度)。这种数据买不到只能想。四是显式 CoT 的理由要说得清。讲义原话是如果没有显式输出推理过程模型可能并不会真正思考。反过来说隐式的心里想一想是幻觉温床。五是 98.5% 不是终点是新的问题。到 98.5% 之后拒识从 127 涨到 65→重测“过于谨慎”召回率下降而且 5-6 秒的响应在客服场景不可接受。于是有了那个很漂亮的备选方案前置一个只做拒识判定的 qwen2.5-7b只输出 True/False用来滤掉文中无答案的样本规避显式 CoT 导致 32B 响应过慢。用 7B 做门卫、32B 做 answering这是我在整份材料里看到的最实用的一条延迟优化思路——不是把大模型调快是把不该问大模型的问题挡在外面。Q怎么客观评测不靠自己感觉讲义用的是RGB 中文 benchmarknoise rate 0 → 1.0噪声率 1.0 时应全部拒识判分规则机械答案是否含答案关键字、回复是否含拒识。模型准确率GPT-4o91.89%Qwen-32b92.72%DS-32b95.11%Ours32B 全流程93.61%自研在 RGB 上没打赢 DS-32b但在业务集1,054 条 RAG 链路数据上自研模型最好原因写得很清楚可控性最好对模糊或无答案的问题基本能做到拒识而不是靠推断、猜测和自身知识回答。还有一组小模型消融用来证明这套流程本身有效不是模型大所以好14b_ori 87.56% - 14b_ours 88.56% 7b_ori 85.89% - 7b_ours 87.06%涨幅不大但方向一致——这才是流程贡献的可信证据。4. 上线不是部署完成四道关这一节是纯企业视角学校里学不到也是做过 Demo和上过线最实的区别。关口内容周期① 大模型备案可复用公司已有备案若没有必须把备案周期算进与业务商定的里程碑——“否则一定会造成延期”视情况② 法务评估联合法务、公关算法研发要参与备案材料填写与审批约 2~3 个月③ T1 模拟上线在测试/线上集群部署完整链路跑前一天的全量数据让运营侧帮做数据标注无问题才上线一般 1 周 ~ 1 个月④ 正式上线增强/替换旧系统走A/B Test 小流量验证新功能则严格流程后接小流量、逐步扩流逐步再加上线之后的持续环节badcase 收集 → 周级模型迭代以及安全侧的敏感词过滤 兜底回复 Prompt 注入防护。这里说句实在的如果你简历上写负责大模型上线面试官大概率会问的就是这四道关里的某一道——尤其备案和 T1。“我用 vLLM 部署了一个模型和我推动一个模型过了法务评估并小流量放量”是两个完全不同的项目经验。至于效果不好怎么向业务交代讲义给了标准答案我认为这是全篇最老手的一句话把评估体系讲清楚把 case 摆出来。5. 岗位与协作模式一份算法团队的真实协作地图。先看日常再看结构最后看边界。算法工程师的日常清单讲义原文顺序最后两条是重点读 Paper / 分享 Paper / 构思 Paper / 写 Paper / 技术分享 / 新技术调研与复现 / 新技术链路跑通 数据处理 / 模型训练 / 模型优化 / 模型蒸馏 / 强化学习对齐 算法服务开发 / 服务联调 / 模型部署 / 算法架构设计 / 项目推进与进度管理 开各种会早会、周会、双周会 和产品扯皮、和业务扯皮、和后端扯皮、和供应商扯皮 技术路线规划 / 战略规划 / 团队管理角色进阶路径与招聘要求的对应年限角色招聘看什么应届生执行者 技术调研主力 创新主力脏活累活也是你坚实算法基础 研究能力(Paper) 创新思维1~3 年执行者 模块负责人上述 项目匹配度3~5 年模块负责人 小型项目负责人项目匹配度 项目复杂度 领域深入程度 架构能力5 年以上大型项目负责人 算法架构师 方向负责人小组长上述 带人经验7 年以上算法架构师 方向负责人 部门负责人总监方向匹配度 领域影响力 架构能力 带团队经验组织结构一级部门负责人 → 二级部门负责人算法 BOSS→ 技术小组或大部门 → 业务领域负责人 → 技术/算法负责人 → 技术小组。团队先按方向分NLP、CV、运筹、推荐…方向内再按子方向/项目分推荐分粗排/精排NLP 分对话、内容生成、内容理解。讲义特别强调进公司第一件事是搞懂三样东西1 / 2 的含义、实线与虚线的含义、公司绩效考核规则。这三样比技术栈更早决定你能不能把活干成。合作方一览角色说明与算法的关系业务方金主为项目成本买单“除了 RD没有业务方都无法生存”产品经理输出 PRD专业的 PM 是整个研发过程的强大助力项目经理一般存在于传统行业排期与流程前端 / 后端页面展示 / 业务逻辑联调前端接口、后端传用户问题、结果给后端渲染算法工程模型加速、算法服务部署与算法研发分工的关键角色测试规范团队分常规测试与AI 测试AI 测试要针对 AI 场景设计用例如智能对话企业级项目泳道图讲义配图还原六个泳道业务侧提需求 → 产品出需求文档 → 需求对齐 → 评估标准确认(算法/业务) → 明确资源并排期 → 项目评审启动 → AI 需求明确 → 算法技术方案调研 → 方案设计 → 模块拆分 训练数据准备 → 模型训练 → 算法逻辑开发 → 内部效果评估 → AI 测试评估 → 迭代优化 → 业务侧评估 → 迭代优化 → 后端联调 → 全链路联调 → 线上部署 → AB 测试 → 逐步放量 → 线上 Badcase 收集 → 迭代优化 → 版本更新一句话总结算法在链路里的位置用户/前端 -- 后端 -- 算法服务(检索/生成/Agent) -- 大模型 -- 结果结构化 -- 后端 -- 前端Q新人实际能做什么讲义写得非常不美化低级别嘴勤手勤多干活、不挑活、多加班。项目规模小到功能模块总结、文案生成大到客服系统、算法平台智能客服、类 Coze 平台。但一个项目里的算法不会很多个位数——所以新人不是打杂是包不下来的。另外两条很实在业务开发与调参不做人员区分都要干语言基本全是Python训练代码 算法逻辑代码 算法服务代码对 Java/Go 无要求——原话是不要以为大厂算法不用写服务框架。一般P7 以下会有人带1~3 年有 mentor 和 landing 周期年限长了 landing 周期变短但需要自带落地能力。6. 关于成长、面试与方向几句可以直接抄进行事历的判断这一节全是讲师观点我按能指导决策的标准筛过去掉了正确的废话。成长路径讲义原序技术调研 -- 新技术复现 -- 业务模型训练 -- 业务最小模块开发 -- 业务模块开发 -- 开始与产品/业务沟通 -- 负责模块的整个沟通/优化/迭代 -- Owner 一些模块设计/开发/调优/测试/上线/优化/撕逼 -- 培养拆分功能、排期、拒绝需求、撕逼能力 -- Owner 项目 -- 独当一面 -- Owner 方向晋升人品 能力。能力拐点“什么时候从干活的人变成能带项目的人”担责能设计成熟算法架构能拆解能排期能协调好上下游。跨部门协作能力是 P7 及以上重要的能力。学习顺序这条我觉得应该印在第一篇建议先掌握算法落地能力支撑你找到工作就业之后再深耕数学。数学不建议花大时间从头到尾学一遍而是遇到哪些知识把关联知识学会。先知道模型怎么用、边界在哪、怎么落地先活下去然后修内功多读 Paper看懂原理自发创新。方向判断观点原话基座与应用基座模型存活少数几家上游应用公司百花齐放最看好的方向RAG 是基本功能应用场景非常多Agent MCP A2A 是 25 年开始爆发看好这一方向容易被替代的特征工程属性过重的、过于依赖代码逻辑和 PE 的、项目难度低的是不是调参侠算法工程师不会是调包侠而调参侠是门槛一般公司也不会让你只当调参侠一般都会跟项目稳定性人员流动不快除非公司动荡算法比传统计算机岗位对年龄的容忍度更大一些事故责任充分测试的前提下不会出现明显衰减一旦明确是算法问题项目主 Owner 背事故面试实情社招/校招节奏校招约 40 分钟、社招约 1 小时“按着简历内容问问细节问技术深度问理解”笔试一般是最后 10 分钟。5 年以上基本聚焦业务思维、手推较少但字节有时候会让你写 MHA 伪代码“估算落地成本不是业务思维是基操”。算法题刷的越多越好大厂因为算法题被刷的大有人在。简历亮点官方口径模型结构创新 / 模型效果 SOTA / 大模型技术在大场景的落地经验 / 完整的大模型落地经验还有一条冷知识级别的忠告写简历要确认好模型发布时间与项目时间确认好模型尺寸。面试官会算这笔账——你写用 Qwen2.5-32B 做了某项目但项目结项时间早于模型发布时间这一条就能把你整个项目判为编造。7. 三个高频问题的标准答案这三个问题是讲义最后集中回答的也是所有看这类课程的人最容易想错的。Q1怎么防止简历上全是培训班包装的项目面试深挖即可从项目出发进行各种深挖。具体怎么挖讲义给了一条完整拷问链我觉得可以直接当自查清单用你的项目是 toB 还是 toC 团队构成是什么你 own 哪一块 你最大的挑战是什么 你的模型上线标准是什么评测体系怎么建的 评估指标是谁定的和谁对齐的 badcase 怎么收集迭代周期多久 备案和法务评估走过吗团队构成是什么这一条最致命——真做过的人张口就是算法 3 个人后端 5 个我负责检索那段编的人会含糊地带过。Q2只做一个项目面试会不会吃亏把一个项目深挖精讲比做很多但只会跑代码要好的多。这条和上一条其实是配套的深度是唯一防不住挖的东西。一横一纵也是讲义给的能力画像——横模型/数据/训练框架/推理框架/Agent 开发都能搭链路纵在某一领域有深度能独立解决该领域问题。Q3论文多还是项目多3 年以下看论文3 年以上项目及方向是决定性的在项目、方向一致的情况下肯定论文多的优先。Q4培训班同学最普遍的问题是什么讲义这段批评挺重我原文摘出来问题简历模板不愿意动脑子、缺乏对项目的举一反三、盲目投递没有任何计划。建议保证基本的开发能力在做项目的时候就考虑之后简历上这个项目如何修改避免出现老三样投简历有节奏、有规划。学历只要简历通过就代表学历没问题不要学历造假学历偏低可以考虑小公司积累经验慢慢往大厂走。最后一条我认为是给整个系列定的调“在做项目的时候就考虑简历上怎么讲”——这才是企业视角和学员视角最大的区别。前者把它当交付物后者把它当作业。最后总结职级表最有用的不是对标是定位坎在哪2-1→2-2 是从能解决问题到能发现隐性瓶颈3-1→3-2 是从系统化到抽象成公司标准。流程十二阶段里最容易跳过也最致命的是第二步评估指标必须在开工前和业务白纸黑字对齐。技术调研要回答三问其中能落地的最新技术才是答案最新技术不是。那个 RAG 案例值得抄的不是 98.5%是路径75%7B 不行→ 84%换 32B→ 91%数据清洗 显式 CoT→ 98.5%四步改三步推理→ 93.6%KTO→ 95.1%14B 蒸馏 Hard Negative。每一环对应一个明确的问题而不是调了调参数。准确率到顶之后真正的对手是延迟和过度拒识5-6 秒不可接受、拒识从 127 涨到 65 反而掉召回。用 7B 做拒识门卫、32B 只做回答是比把大模型调快划算得多的解法。上线四道关备案、法务2~3 个月、T1 模拟1 周~1 个月、A/B 放量。这四道是做过项目和做过 Demo最硬的分界线。成长路径读下来只有一件事先能落地活下去再修内功。数学按需补 Paper 长期读跨部门协作是 P7 以上的门槛能力。笔者后端 架构看完这三份讲义最大的收获是那句把评估体系讲清楚把 case 摆出来。它同时回答了三个问题效果不好怎么向业务交代、面试怎么证明项目是真的、以及为什么评测集要先于模型建设。能摆出 case 的人不需要别人相信他的项目是真的。参考资料 致谢[1] [尚硅谷大模型智能体线上速成班 V2.0 · 09 大厂老师直播课资料《头部企业职级定位》《企业大模型研发流程》《岗位与企业协作模式》三份讲义 四节直播][2] RGB: Retrieval-Augmented Generation Benchmark for Vision-Language Modeling - arXiv[3] LLaMA-Factory - GitHub[4] Qwen 技术报告 - GitHub[5] Enhancing Chat Language Models by Scaling High-quality Instructional Comments (KTO) - arXiv[6] vLLM - GitHub[7] [The New Landscape of “Paradigm” Prompting / CoT 相关研究 - 讲义引用为 2502.05639][8] 生成式人工智能服务管理暂行办法 - 国家网信办注本文所有职级、薪资、准确率、周期数据均来自课程讲义属讲师个人在特定企业环境下的经验快照不构成任何公司的官方口径也不构成招聘或薪酬建议。文中提到的 RAG 项目准确率数字75% / 84% / 91% / 98.5% / 93.6% / 95.1%为课程案例实验记录测试集规模与构成见正文跨团队复现时请勿直接对标语义。 
长河君 · 2026/11/2 6:26:06 · 阅读 1.2k 智能体项目复盘 · 大厂直播课篇：企业级大模型研发流程，和一个 RAG 项目从 75% 到 98.5% 的完整记录
智能体项目复盘 · 大厂直播课篇企业级大模型研发流程和一个 RAG 项目从 75% 到 98.5% 的完整记录这一篇的素材来自课程的09-大厂老师直播课资料——四节直播 三份讲义《头部企业职级定位》《企业大模型研发流程》《岗位与企业协作模式》。它不讲代码讲的是企业里到底怎么做大模型研发。前面几篇我们把参数量算清了、把 RAG 的 chunk 调过了、把 Dify 部署到内网了但这些都还停在一个人的视角。真实企业里一个模型从立项到上线中间要过技术调研、评估指标对齐、备案、法务、T1 模拟、A/B 放量六道关而且——评估指标必须在项目开工前和业务方白纸黑字对齐否则后面一定扯皮。这一篇最有价值的部分是讲义里那个电商商品问答 RAG 项目的完整准确率演进记录75% → 84% → 91% → 98.5%中间每一步是靠什么手段涨上去的、又付出了什么代价。这比任何我做过 RAG 项目的简历描述都实在。1. 头部企业的职级定位一张通用职级表先说清楚边界这三份讲义里没有出现任何公司名 序列名没有阿里 P“腾讯 T”也没有任何薪资带宽数字。讲师给的是一张通用职级表但1-1 / 2-1 / 3-1这套编号是字节系格式讲义另一份材料的问答里则混用了阿里的P7说法。所以下面这张表请按跨厂通用骨架理解别对号入座成某家的准确档位。职级定位能力描述团队贡献1-1 / 1-2应届生 / 初级专业基础扎实能解决常规问题熟练调接口、做基本训练能在指导下完成模块级工作对前沿技术有基本认知高效执行主动同步进展与问题2-1研发主力针对业务场景做中小型技术选型发现非常规问题并独立定位把复杂需求拆解为可独立开发的模块技术难点处理与解决2-2研发骨干承担项目负责人职责主导跨团队技术方案选型与架构设计识别隐性瓶颈并提系统性改进协调一般资源冲突推动技术点在业务中落地3-1组长小组负责人 / 算法专家架构能力 多项目协调平衡组员的效率、预期与个人发展熟悉所在领域产品与竞品有自己的思考系统化建设团队知识体系3-2部门负责人中型团队管理经验敏锐的行业洞察对未来有自己的分析判断抽象知识体系成为公司标准两个细节值得单独拎出来因为它们是真正的分水岭2-1 - 2-2 的坎不是能解决问题而是能发现隐性瓶颈和能当项目负责人 3-1 - 3-2 的坎团队贡献从系统化变成抽象——你输出的不再是一个方案而是别人的标准讲义里还有一页大厂人才画像的变化我认为比职级表更值得记传统画像勤劳 / 听话 / 吃苦 -- 工业时代标准执行确定性优先 新画像 对技术敏感 / 不断迭代自己 / 激情与热爱 / 爱折腾 筛选逻辑充满好奇心与求知欲对不确定性保持乐观延迟满足感与判断力说白了模型迭代周期压到 3-6 个月之后听话 熟练的贬值是结构性的——你熟练的那套东西本身在过期。2. 企业级大模型研发流程十二阶段主链路这一节是整份讲义的主干。注意它和跑通一个 Demo的根本差别每一步都要产出能拿去开会的文档和数字。技术调研 → 立项 → 数据准备 → 模型选型/基座 → 训练(SFT/LoRA/强化对齐) → 评测集与评估 → 压缩(量化/蒸馏) → 部署推理(vLLM类) → 业务集成(检索/RAG/Agent) → A/B → 运维监控 → 合规审计阶段 1技术调研——回答三个问题该领域最新技术是什么能落地的最新技术是什么行业内都是怎么干的然后输出自研方案要实现什么样的算法框架、哪些模块是传统能力、哪些是新能力、这个框架放到行业内属于什么水平、后续迭代计划。阶段 2立项——评估指标必须在此之前定死。这是讲义里语气最重的一句评估指标必须在项目开展前明确务必与业务达成一致避免后续扯皮。要确认的点技术指标 业务指标双轨、行业有无公认评估体系、按当前方案能做到多少、有无指标分歧、是否分阶段达成、指标迭代计划。阶段 3数据准备。数据构成 开源数据 垂域数据正例 负例 拒识。这里拒识数据是被单独列成一类的重要性后面用数字说明。阶段 4-5选型与训练。选型策略两条路大 → 小先用大模型把效果打出来再蒸馏降本 讲义项目走这条 小 → 大 → 小先探边界回头再压常规任务不超过 32B32B 的训练和部署成本已经很高。训练框架LLaMA-Factory 全参微调配置lr5e-7、epochs4、batch size1、gradient accumulation16、warmup ratio0.1推理temperature0.1跑公开 benchmark 时用0.05。Q调参和改架构优先做哪个讲义的判断很直接调参性价比最高能落地架构优化训练成本过高。而且 LLM 阶段已经没有传统机器学习那套特征工程了——这个说法对做过推荐/搜索的人是观念冲击。3. 一个完整案例商品 RAG 问答75% → 98.5%这是全篇最值钱的一段。场景电商/家电类目的商品说明书问答H3C 路由器、烫金机、电磁炉这类要求能答、更要在该不知道的时候说不知道。阶段做法结果① 首版 7B 全参 SFTqwen2.5-7b131,656 条数据314 条 query 中仅 54 条能准确匹配 chunk28 条作答错 7 条正确率 75%。误拒识多、长上下文理解差② 换 32Bqwen2.5-32b31 条作答错 5 条约 84%。仍未达预期——典型失败是ES 系列车型 ⊃ 具体车型这种需要推理才能答对的遮阳帘问题③ 数据清洗剔除字符数100 and (售后 or QA in chunk)的脏数据GPT-4o 生成质量差可回答部分剩 25,452 条总数降到131,080④ 显式 CoT改成 JSON 显式输出{问题答案是否存在于上下文中: true/false, 问题答案: ...}324 条可检索到文档拒识 127、作答 197、对 180 错 17约 91%⑤ 四步推理 prompt大量篇幅约束拒识场景 few-shot 固定格式—⑥ 合并为三步推理二、三步合一压响应时间允许在不改变原义下润色答案195 条非拒识中仅错 3 条准确率约 98.5%。但拒识涨到 65 条过于谨慎且每条耗时 5-6 秒⑦ KTO 对齐600 条无答案 chunk-query 对 badcaseGPT-4o 生成思考过程答案作正例、无思考过程作反例共2,525 条1,182 条新测试集有效回复 249、对 233 错 1693.6%⑧ 蒸馏 32B → 14B直接复用数据训练700 query 上92.8%与 32B 有差距⑨ 补数据再训 14B开源 1w / 业务 2000 /Hard Negative 100095.1%。仍未打平 32B但达到业务指标预期⑩ 二次 KTO5000 条线上 case 暴露分析对了却仍输出无答案“未做实体替换”“过度拒识导致召回率太低”所有拒识 badcase 作负例、人工校对后的输出作正例高频错误加权复制并改写问法历史集维持 98%5000 case 集92.2% → 95.3%几个我认为最值得抄走的工程手法一是拒识数据要专门构造。具体做法是交换部分 chunk 与 Q把 A 统一改成上下文内容没有相关答案一次性造 10,000 条。原始数据 131,656 开源常识 95,628 商城 RAG 36,028约 100 个 docx 商品文档按一级标题切 chunk用 GPT-4o 基于每个 chunk 生成多个 Q-A 对其中 26,028 条可回答。二是 Q-A 生成靠 GPT-4o但 chunk 切分要按标题而不是按长度。商品手册的结构化程度高按一级标题切出来的 chunk 语义完整后面所有环节都受益。三是 Hard Negative 要人分工造。讲义里是两人协作一人造query 与 context 高度相关但确实无答案的拒识数据一人造长 chunk 晦涩问法、需要推理的可答数据例子很典型“马克杯口径”而原文写的是尺寸 100x96mm(直径x高度)。这种数据买不到只能想。四是显式 CoT 的理由要说得清。讲义原话是如果没有显式输出推理过程模型可能并不会真正思考。反过来说隐式的心里想一想是幻觉温床。五是 98.5% 不是终点是新的问题。到 98.5% 之后拒识从 127 涨到 65→重测“过于谨慎”召回率下降而且 5-6 秒的响应在客服场景不可接受。于是有了那个很漂亮的备选方案前置一个只做拒识判定的 qwen2.5-7b只输出 True/False用来滤掉文中无答案的样本规避显式 CoT 导致 32B 响应过慢。用 7B 做门卫、32B 做 answering这是我在整份材料里看到的最实用的一条延迟优化思路——不是把大模型调快是把不该问大模型的问题挡在外面。Q怎么客观评测不靠自己感觉讲义用的是RGB 中文 benchmarknoise rate 0 → 1.0噪声率 1.0 时应全部拒识判分规则机械答案是否含答案关键字、回复是否含拒识。模型准确率GPT-4o91.89%Qwen-32b92.72%DS-32b95.11%Ours32B 全流程93.61%自研在 RGB 上没打赢 DS-32b但在业务集1,054 条 RAG 链路数据上自研模型最好原因写得很清楚可控性最好对模糊或无答案的问题基本能做到拒识而不是靠推断、猜测和自身知识回答。还有一组小模型消融用来证明这套流程本身有效不是模型大所以好14b_ori 87.56% - 14b_ours 88.56% 7b_ori 85.89% - 7b_ours 87.06%涨幅不大但方向一致——这才是流程贡献的可信证据。4. 上线不是部署完成四道关这一节是纯企业视角学校里学不到也是做过 Demo和上过线最实的区别。关口内容周期① 大模型备案可复用公司已有备案若没有必须把备案周期算进与业务商定的里程碑——“否则一定会造成延期”视情况② 法务评估联合法务、公关算法研发要参与备案材料填写与审批约 2~3 个月③ T1 模拟上线在测试/线上集群部署完整链路跑前一天的全量数据让运营侧帮做数据标注无问题才上线一般 1 周 ~ 1 个月④ 正式上线增强/替换旧系统走A/B Test 小流量验证新功能则严格流程后接小流量、逐步扩流逐步再加上线之后的持续环节badcase 收集 → 周级模型迭代以及安全侧的敏感词过滤 兜底回复 Prompt 注入防护。这里说句实在的如果你简历上写负责大模型上线面试官大概率会问的就是这四道关里的某一道——尤其备案和 T1。“我用 vLLM 部署了一个模型和我推动一个模型过了法务评估并小流量放量”是两个完全不同的项目经验。至于效果不好怎么向业务交代讲义给了标准答案我认为这是全篇最老手的一句话把评估体系讲清楚把 case 摆出来。5. 岗位与协作模式一份算法团队的真实协作地图。先看日常再看结构最后看边界。算法工程师的日常清单讲义原文顺序最后两条是重点读 Paper / 分享 Paper / 构思 Paper / 写 Paper / 技术分享 / 新技术调研与复现 / 新技术链路跑通 数据处理 / 模型训练 / 模型优化 / 模型蒸馏 / 强化学习对齐 算法服务开发 / 服务联调 / 模型部署 / 算法架构设计 / 项目推进与进度管理 开各种会早会、周会、双周会 和产品扯皮、和业务扯皮、和后端扯皮、和供应商扯皮 技术路线规划 / 战略规划 / 团队管理角色进阶路径与招聘要求的对应年限角色招聘看什么应届生执行者 技术调研主力 创新主力脏活累活也是你坚实算法基础 研究能力(Paper) 创新思维1~3 年执行者 模块负责人上述 项目匹配度3~5 年模块负责人 小型项目负责人项目匹配度 项目复杂度 领域深入程度 架构能力5 年以上大型项目负责人 算法架构师 方向负责人小组长上述 带人经验7 年以上算法架构师 方向负责人 部门负责人总监方向匹配度 领域影响力 架构能力 带团队经验组织结构一级部门负责人 → 二级部门负责人算法 BOSS→ 技术小组或大部门 → 业务领域负责人 → 技术/算法负责人 → 技术小组。团队先按方向分NLP、CV、运筹、推荐…方向内再按子方向/项目分推荐分粗排/精排NLP 分对话、内容生成、内容理解。讲义特别强调进公司第一件事是搞懂三样东西1 / 2 的含义、实线与虚线的含义、公司绩效考核规则。这三样比技术栈更早决定你能不能把活干成。合作方一览角色说明与算法的关系业务方金主为项目成本买单“除了 RD没有业务方都无法生存”产品经理输出 PRD专业的 PM 是整个研发过程的强大助力项目经理一般存在于传统行业排期与流程前端 / 后端页面展示 / 业务逻辑联调前端接口、后端传用户问题、结果给后端渲染算法工程模型加速、算法服务部署与算法研发分工的关键角色测试规范团队分常规测试与AI 测试AI 测试要针对 AI 场景设计用例如智能对话企业级项目泳道图讲义配图还原六个泳道业务侧提需求 → 产品出需求文档 → 需求对齐 → 评估标准确认(算法/业务) → 明确资源并排期 → 项目评审启动 → AI 需求明确 → 算法技术方案调研 → 方案设计 → 模块拆分 训练数据准备 → 模型训练 → 算法逻辑开发 → 内部效果评估 → AI 测试评估 → 迭代优化 → 业务侧评估 → 迭代优化 → 后端联调 → 全链路联调 → 线上部署 → AB 测试 → 逐步放量 → 线上 Badcase 收集 → 迭代优化 → 版本更新一句话总结算法在链路里的位置用户/前端 -- 后端 -- 算法服务(检索/生成/Agent) -- 大模型 -- 结果结构化 -- 后端 -- 前端Q新人实际能做什么讲义写得非常不美化低级别嘴勤手勤多干活、不挑活、多加班。项目规模小到功能模块总结、文案生成大到客服系统、算法平台智能客服、类 Coze 平台。但一个项目里的算法不会很多个位数——所以新人不是打杂是包不下来的。另外两条很实在业务开发与调参不做人员区分都要干语言基本全是Python训练代码 算法逻辑代码 算法服务代码对 Java/Go 无要求——原话是不要以为大厂算法不用写服务框架。一般P7 以下会有人带1~3 年有 mentor 和 landing 周期年限长了 landing 周期变短但需要自带落地能力。6. 关于成长、面试与方向几句可以直接抄进行事历的判断这一节全是讲师观点我按能指导决策的标准筛过去掉了正确的废话。成长路径讲义原序技术调研 -- 新技术复现 -- 业务模型训练 -- 业务最小模块开发 -- 业务模块开发 -- 开始与产品/业务沟通 -- 负责模块的整个沟通/优化/迭代 -- Owner 一些模块设计/开发/调优/测试/上线/优化/撕逼 -- 培养拆分功能、排期、拒绝需求、撕逼能力 -- Owner 项目 -- 独当一面 -- Owner 方向晋升人品 能力。能力拐点“什么时候从干活的人变成能带项目的人”担责能设计成熟算法架构能拆解能排期能协调好上下游。跨部门协作能力是 P7 及以上重要的能力。学习顺序这条我觉得应该印在第一篇建议先掌握算法落地能力支撑你找到工作就业之后再深耕数学。数学不建议花大时间从头到尾学一遍而是遇到哪些知识把关联知识学会。先知道模型怎么用、边界在哪、怎么落地先活下去然后修内功多读 Paper看懂原理自发创新。方向判断观点原话基座与应用基座模型存活少数几家上游应用公司百花齐放最看好的方向RAG 是基本功能应用场景非常多Agent MCP A2A 是 25 年开始爆发看好这一方向容易被替代的特征工程属性过重的、过于依赖代码逻辑和 PE 的、项目难度低的是不是调参侠算法工程师不会是调包侠而调参侠是门槛一般公司也不会让你只当调参侠一般都会跟项目稳定性人员流动不快除非公司动荡算法比传统计算机岗位对年龄的容忍度更大一些事故责任充分测试的前提下不会出现明显衰减一旦明确是算法问题项目主 Owner 背事故面试实情社招/校招节奏校招约 40 分钟、社招约 1 小时“按着简历内容问问细节问技术深度问理解”笔试一般是最后 10 分钟。5 年以上基本聚焦业务思维、手推较少但字节有时候会让你写 MHA 伪代码“估算落地成本不是业务思维是基操”。算法题刷的越多越好大厂因为算法题被刷的大有人在。简历亮点官方口径模型结构创新 / 模型效果 SOTA / 大模型技术在大场景的落地经验 / 完整的大模型落地经验还有一条冷知识级别的忠告写简历要确认好模型发布时间与项目时间确认好模型尺寸。面试官会算这笔账——你写用 Qwen2.5-32B 做了某项目但项目结项时间早于模型发布时间这一条就能把你整个项目判为编造。7. 三个高频问题的标准答案这三个问题是讲义最后集中回答的也是所有看这类课程的人最容易想错的。Q1怎么防止简历上全是培训班包装的项目面试深挖即可从项目出发进行各种深挖。具体怎么挖讲义给了一条完整拷问链我觉得可以直接当自查清单用你的项目是 toB 还是 toC 团队构成是什么你 own 哪一块 你最大的挑战是什么 你的模型上线标准是什么评测体系怎么建的 评估指标是谁定的和谁对齐的 badcase 怎么收集迭代周期多久 备案和法务评估走过吗团队构成是什么这一条最致命——真做过的人张口就是算法 3 个人后端 5 个我负责检索那段编的人会含糊地带过。Q2只做一个项目面试会不会吃亏把一个项目深挖精讲比做很多但只会跑代码要好的多。这条和上一条其实是配套的深度是唯一防不住挖的东西。一横一纵也是讲义给的能力画像——横模型/数据/训练框架/推理框架/Agent 开发都能搭链路纵在某一领域有深度能独立解决该领域问题。Q3论文多还是项目多3 年以下看论文3 年以上项目及方向是决定性的在项目、方向一致的情况下肯定论文多的优先。Q4培训班同学最普遍的问题是什么讲义这段批评挺重我原文摘出来问题简历模板不愿意动脑子、缺乏对项目的举一反三、盲目投递没有任何计划。建议保证基本的开发能力在做项目的时候就考虑之后简历上这个项目如何修改避免出现老三样投简历有节奏、有规划。学历只要简历通过就代表学历没问题不要学历造假学历偏低可以考虑小公司积累经验慢慢往大厂走。最后一条我认为是给整个系列定的调“在做项目的时候就考虑简历上怎么讲”——这才是企业视角和学员视角最大的区别。前者把它当交付物后者把它当作业。最后总结职级表最有用的不是对标是定位坎在哪2-1→2-2 是从能解决问题到能发现隐性瓶颈3-1→3-2 是从系统化到抽象成公司标准。流程十二阶段里最容易跳过也最致命的是第二步评估指标必须在开工前和业务白纸黑字对齐。技术调研要回答三问其中能落地的最新技术才是答案最新技术不是。那个 RAG 案例值得抄的不是 98.5%是路径75%7B 不行→ 84%换 32B→ 91%数据清洗 显式 CoT→ 98.5%四步改三步推理→ 93.6%KTO→ 95.1%14B 蒸馏 Hard Negative。每一环对应一个明确的问题而不是调了调参数。准确率到顶之后真正的对手是延迟和过度拒识5-6 秒不可接受、拒识从 127 涨到 65 反而掉召回。用 7B 做拒识门卫、32B 只做回答是比把大模型调快划算得多的解法。上线四道关备案、法务2~3 个月、T1 模拟1 周~1 个月、A/B 放量。这四道是做过项目和做过 Demo最硬的分界线。成长路径读下来只有一件事先能落地活下去再修内功。数学按需补 Paper 长期读跨部门协作是 P7 以上的门槛能力。笔者后端 架构看完这三份讲义最大的收获是那句把评估体系讲清楚把 case 摆出来。它同时回答了三个问题效果不好怎么向业务交代、面试怎么证明项目是真的、以及为什么评测集要先于模型建设。能摆出 case 的人不需要别人相信他的项目是真的。参考资料 致谢[1] [尚硅谷大模型智能体线上速成班 V2.0 · 09 大厂老师直播课资料《头部企业职级定位》《企业大模型研发流程》《岗位与企业协作模式》三份讲义 四节直播][2] RGB: Retrieval-Augmented Generation Benchmark for Vision-Language Modeling - arXiv[3] LLaMA-Factory - GitHub[4] Qwen 技术报告 - GitHub[5] Enhancing Chat Language Models by Scaling High-quality Instructional Comments (KTO) - arXiv[6] vLLM - GitHub[7] [The New Landscape of “Paradigm” Prompting / CoT 相关研究 - 讲义引用为 2502.05639][8] 生成式人工智能服务管理暂行办法 - 国家网信办注本文所有职级、薪资、准确率、周期数据均来自课程讲义属讲师个人在特定企业环境下的经验快照不构成任何公司的官方口径也不构成招聘或薪酬建议。文中提到的 RAG 项目准确率数字75% / 84% / 91% / 98.5% / 93.6% / 95.1%为课程案例实验记录测试集规模与构成见正文跨团队复现时请勿直接对标语义。