最近整理自己的学习笔记时总有人问我一个问题程序员想搞懂大模型 LLM到底该从哪里下手我的回答往往让不少人意外——先别急着去啃那些动辄几百兆的框架先老老实实把一行 NumPy 写明白。我自己就是沿着一行 NumPy → 一个微型 Transformer → 看懂真实 LLM 的论文和代码这条路走过来的中间绕了不少弯但也沉淀出了一些很值得分享的心得。这篇笔记不是教科书也不是大厂面经汇编而是我作为一名普通程序员从零接触 LLM 的真实记录我会讲清楚为什么基础要从这里打、核心概念能拆成哪几个最小单元、以及自己手写一个看得见摸得着的微型模型时踩进过的那些坑。如果你和我一样不是科班出身、半路转行或者只是被 AI 热潮推着走的普通开发这篇内容应该能帮你在 LLM 的学习地图上少走一段弯路。1. 为什么从 NumPy 开始先甩掉调包侠的焦虑1.1 一行 NumPy 能推倒出什么很多人刚开始学大模型总是直接打开 Transformer 论文或者一头扎进 PyTorch 源码结果被矩阵维度、梯度回传、多头注意力这些名词劝退。我觉得一个更平滑的路径是先理解 NumPy。原因很朴素LLM 的底层本质就是高维矩阵的乘法和变换而 NumPy 恰好能让你用最少的语法糖看到矩阵运算最原始的样子。举个例子一行output np.dot(weights, input)就能把一个向量经过线性层这件事讲清楚。input是形状为(d_in,)的输入向量weights是(d_out, d_in)的权重矩阵点乘结果就是(d_out,)的输出向量。Transformer 里的 FFN、Attention 打分、Embedding 检索本质上都是这类操作的花式组合。也经常有人问我 NumPy 和 Python 原生 list 比到底快在哪。其实核心有三点第一NumPy 数组在内存里是连续存储的不像 list 那样存的是对象的引用所以缓存命中率高第二NumPy 的底层计算是 C 语言实现的循环被内建函数吞掉了第三NumPy 的广播机制让你不用写嵌套 for 循环表达力更强。比如a b只要两个数组在某个维度上可以对齐NumPy 会自动扩展运算这在处理批量数据时非常关键。可别小瞧这一点。以我的经验理解不了广播机制后面写注意力分数矩阵时会反复遇到维度错误。如果能在 NumPy 阶段把reshape、transpose、broadcast这几个动作练熟再做 LLM 的代码阅读会轻松很多。1.2 从矩阵思维到模型思维两种学习方式的差别我还想谈谈学习方法的问题。程序员里有两类人一类是调包侠一类是抄码党。调包侠习惯pip install xxx然后直接调用遇到报错就复制到搜索引擎里碰运气抄码党则喜欢把 GitHub 上的项目原封不动拉下来跑一遍觉得自己已经懂了。这两种方式都不是完全没用但学 LLM 时很容易形成会用 API 但不理解原理的尴尬状态。我更推荐的是用矩阵思维去拆模型。什么意思就是你看到一个模型代码时第一反应不是去看它用了哪个框架的方法而是问这里输入是什么形状输出是什么形状中间经历了哪些矩阵乘法这些乘法在数学上表达了什么含义举例来说HuggingFace Transformers 库里的BertModel前向传播代码对新手来说密密麻麻全是类和方法。但如果你在 NumPy 阶段亲手写过scores query key.T再看源码里的torch.matmul(query, key.transpose(-1, -2))你就能立刻意识到这不就是在算 Query 和 Key 的点积相似度吗所以学习路径不是混沌地看大神代码而是用最小实现建立直觉再反推工业实现。这个顺序颠倒痛苦程度完全不同。2. 拆解 LLM 的核心形态从数据到 Token 再到参数2.1 LLM 是什么把它当作一个概率大师大语言模型这个词现在被用得泛滥但真问一句它到底在做什么很多程序员也未必能一句话说清。我个人的理解是LLM 本质上是一个超大的条件概率预测器。它根据你输入的一段文本预测下一个 Token 的概率分布然后根据这个概率分布去采样生成下一个 Token再把新生成的 Token 拼到输入后面继续预测下一个如此循环就产生了连贯的回答。这个自回归过程听起来不难但难点在于模型要在这个循环里存储足够多的世界知识。训练阶段模型从海量文本里学到的并不只是语法而是一些可以映射为人类常识的统计规律。这也是为什么 LLM 能写代码、能做数学题、能聊天因为它们其实是在精炼训练数据中的文本规律而不是真的像人一样去理解世界。我用一个生活化的类比帮助自己记忆LLM 像一个读过亿万本书、但失忆了的图书管理员。他回答问题时并不是去书架里翻出一段话背给你而是根据你问的问题凭模糊的语感组合出一段最像样的回答。训练数据决定了他肚子里有多少料模型参数决定了他组合语感的能力上限。2.2 Token、Embedding 与位置编码三大基础概念要继续学下去必须把三个基础概念彻底吃透Token、Embedding 和位置编码。Token 是文本被切碎后的最小单元。它可能是完整单词也可能是子词甚至是一个单字符。比如unbelievable在 BPE 这类算法下可能被切成un、believ、able几个子词。Token 化Tokenizer是 LLM 的第一步也是很多人忽略的一步。我一开始总觉得分词没必要单独研究直到自己尝试实现一个字符级模型才意识到模型看到的从来不是文本而是数字 ID这件事有多重要。不同的分词器会直接影响模型能处理的词汇量和压缩效率。Embedding 则负责把 Token ID 映射成一个高维向量。例如token_id 12可能会被映射成一个 768 维的向量这个向量里包含该 Token 的语义特征。相似的 Token向量在空间里往往距离更近。在 NumPy 中这个操作其实就是embedding_matrix[token_ids]一个典型的查表操作。位置编码容易被新手忽略但它是 Transformer 能用起来的支柱之一。因为 Attention 本身对位置不敏感它只会看哪些 Token 之间关系强不会自动知道第 3 个 Token 和第 9 个 Token 谁先谁后。为了弥补这一点Transformer 加入位置编码把位置信息叠加到 Embedding 上。理解了这个细节你就不会惊讶于为什么模型有时候对长文本中不同位置的同类内容会产生混淆了。2.3 注意力机制中的 Query、Key、Value从我在找什么说起说到 Attention网上已经有大量讲解从翻译对齐到注意力热力图都有。但我自己真正记住的是那个热词里非常凝练的概括Key 是我是谁Query 是我在找什么Value 是我能提供什么。这个类比特别适合程序员理解。你可以把一段文本中的每个 Token 想象成公司里的人。Key 就是每个人的名牌上面写着岗位和履历Query 是你现在想找的人比如我需要一个懂 Python 的人Value 是这个人的实际能力比如他能写出什么样的代码。Attention 要做的就是用你的 Query 去和每个人的 Key 做匹配度打分然后把匹配度高的人的 Value 按权重融合起来。用 NumPy 写一下这个打分过程你就能直观看到 shape 流转import numpy as np def softmax(x): # 防止数值溢出先减去最大值 e_x np.exp(x - np.max(x, axis-1, keepdimsTrue)) return e_x / np.sum(e_x, axis-1, keepdimsTrue) # 假设有三个 token每个 token 的 embedding 维度是 4 embeddings np.random.randn(3, 4) d_k embeddings.shape[-1] # 在简化自注意力里我们用同一个矩阵充当 Q、K、V Q embeddings K embeddings V embeddings # 打分矩阵 shape: (3, 3) scores Q K.T / np.sqrt(d_k) weights softmax(scores) # 加权聚合 shape: (3, 4) output weights V print(output.shape)这段代码只有十几行但它把 Attention 最核心的机制完整呈现出来了。Q代表我想找什么K代表我是什么Q K.T就是所有 Token 两两之间的匹配度除以sqrt(d_k)是为了把分数拉回合理的数值范围避免 softmax 进入饱和区。我建议每个想学 LLM 的程序员都把这段代码亲手敲一遍然后打印中间结果观察权重矩阵的变化。你很快会发现模型在训练过程中学到的东西本质上就是调整这些矩阵里的数值让该被注意到的 Token得到更高权重。3. 用 NumPy 手搓一个微型大模型实操笔记3.1 先写一个最简单下一个字符预测器真正的 LLM 动辄几十亿参数我一开始也不敢直接挑战。更务实的做法是先写一个玩具版本用一个字符级模型去学习预测下一个字符。这个模型的字典很小比如只包含H、e、l、o、 、w、r、d这些字符目标是让模型学到hello world这类文本的模式。最简单的方法是用 bigram 计数模型。统计每两个相邻字符的出现次数然后根据上一个字符预测下一个字符的概率。虽然是统计方法但它已经把预测下一个 Token这个任务本质体现出来了。import numpy as np from collections import defaultdict text hello world hello world chars sorted(list(set(text))) stoi {s: i for i, s in enumerate(chars)} # 统计 bigram 共现次数 bigram_counts defaultdict(int) for i in range(len(text) - 1): bigram_counts[(stoi[text[i]], stoi[text[i 1]])] 1 # 转为概率矩阵 vocab_size len(chars) counts np.zeros((vocab_size, vocab_size)) for (a, b), cnt in bigram_counts.items(): counts[a, b] cnt probs counts / counts.sum(axis1, keepdimsTrue) print(probs.shape) # (vocab_size, vocab_size)你看这个矩阵的每一行就是给定上一个字符下一个字符的概率分布。假如我们把字符换成Token把bigram换成极高维度的条件概率建模再把统计表换成神经网络的参数这其实就是 LLM 的基本逻辑。我强烈建议按这个顺序入门先写统计模型理解目标函数再升级到神经网络。3.2 用 NumPy 实现 softmax、注意力得分与采样推理拿到统计概率之后下一步就是把这个模型换成更神经的实现。我建议不要跳过前面的手动实现直接上 PyTorch因为这样你会错过观察概率如何从模型输出里长出来的机会。先实现一个通用的 softmax我在上一篇笔记里已经给过代码这里要进一步补充的是采样环节。模型最终输出的是一组 logits未归一化的分数我们通过 softmax 把它变成概率分布然后再根据这个分布采样。def sample_from_logits(logits, temperature1.0): # temperature 1 时分布更尖锐倾向选择高概率项 # temperature 1 时分布更均匀输出更随机 logits logits / temperature probs softmax(logits) return np.random.choice(len(probs), pprobs)temperature是很多新手不太敏感的参数。温度越低模型越保守更像复读机温度越高模型越自由容易产生意外内容。你在调用 OpenAI API 或本地模型时常见到的temperature参数本质上就是操控这个分布的尖锐程度。为了做一次真正的张量前向我后来还实现了一个极简的自注意力嵌入层用 embedding 矩阵对字符序列做查表得到向量序列然后对序列内部做一次自注意力打分。当时写出来虽然很粗糙但打印每个中间变量的 shape 后所有关于维度到底怎么流动的困惑都消失了。3.3 训练一个玩具模型观察 loss 下降的实感统计模型不用训练但神经网络玩具模型还是需要感受一下 loss 下降的。我不建议用 NumPy 手工实现反向传播因为那会把学习笔记变成数学折磨。更聪明的做法是用 PyTorch 写一个极小的 Transformer 层但把理解形状的注意力逻辑仍然用 NumPy 风格的注释标注出来。比如我当时的练习是用 PyTorch 内置的nn.Embedding和nn.Linear搭一个单层注意力在hello world这个文本上训练一两个 epoch。虽然模型很小但训练过程中 loss 从 2.5 一路降到 1.0 的感受是任何课程都无法替代的实感。这里有个容易误入的坑不要试图在一个小文本上复现大模型效果。小模型在小数据上可能学到局部模式但无法涌现复杂的语言能力。我后来才真正明白大模型的很多能力是参数规模和数据规模共同堆出来的这也解释了为什么开源模型社区里会有那么多版本差异巨大的模型。3.4 踩过的坑维度不匹配、广播陷阱与数值溢出手写微型模型期间我记录了一堆错误至少有三类值得分享。第一类是维度不匹配。最常见的报错是matmul: Input operand 1 has a mismatch in its core dimension通常出现在Q K.T里忘了转置或者是 batch 维度多了一层少了一层。解决办法很简单每次矩阵乘法前用print(x.shape)把形状打出来确认(batch, seq, d_k)与(batch, d_k, seq)对齐了再乘。第二类是广播陷阱。比如我想让(3, 4)的矩阵和(4,)的向量相加这时 NumPy 的广播规则会把向量自动当成(1, 4)如果语义理解不到位结果可能跟预期不符。更隐蔽的情况是某个维度是 1 时例如(1, 4)与(3, 1)相加会广播成(3, 4)这时候如果你没注意到这个隐身维度调起 bug 来会非常头疼。第三类是数值溢出。softmax 中的np.exp很容易产生极大值。如果输入 logits 里有1000那样的数值np.exp(1000)直接溢出为inf。解法就是经典的减去最大值技巧我在上面的代码里也用了。建议所有准备手写 Attention 的人都把这段姿势记牢它是万无一失的。4. 从微型模型迈向真实 LLM框架、模型与工程实践4.1 为什么最终还要上 PyTorch 和 Transformers既然用 NumPy 能理解原理那是不是一直用 NumPy 就够了当然不是。真实训练一个哪怕很小的模型也会涉及 GPU 加速、自动求导、优化器管理、分布式训练等复杂工程。NumPy 只是帮助你建立手感的桥梁实际上阵还是得靠 PyTorch 和 HuggingFace Transformers。PyTorch 的核心价值是自动微分。你不用手写 backprop定义一个loss.backward()就能得到梯度。这并不代表你可以不关心梯度而是意味着你可以把精力集中在模型架构、数据调度和训练策略上。Transformers 库则进一步封装了几乎所有主流模型架构让加载预训练权重、微调、推理都变得高效。我个人的建议是顺序不能反先用 NumPy 理解 Attention 的 shape 流转再用 PyTorch 重写一遍相同逻辑接着打开 Transformers 库源码找到对应的nn.MultiheadAttention或eager attention实现最后再看动画或论文图解。这个顺序下来你会获得非常有掌控力的理解。4.2 真实 LLM 落地Token、推理服务与 LLM 网关程序员的视角不能只停留在模型怎么训练还要关心模型怎么用起来。真实的 LLM 应用不是把模型文件加载进来那么简单它涉及几个容易忽略的工程概念。Token 计费与限流是第一个要理解的。所有商业 LLM API 都按 Token 计费而一次对话的每次流式回应都会动态累积 Token。如果你在网关层不做请求合并和上下文裁剪费用会快速上涨响应延迟也会上升。我做过一个测试脚本连续向模型发送 50 轮对话Token 消耗量比预想高出近 3 倍原因就是对话历史没有做截断模型每轮都要重新处理前面的旧内容。LLM 网关是另一个我后来才补上的知识点。你可以把它想象成一个模型路由交换机。它的职责包括把同一个业务请求路由到不同模型如便宜的模型处理简单任务、贵的模型处理复杂任务、做熔断与重试、记录日志与指标、管理 API Key 等。很多团队一开始图省事直接调用各家 SDK结果模型切换时改了一堆代码这其实没必要网关能把这件事收敛成一次配置变更。在实际的产品环境里除了模型本身你还需要考虑模型输出格式的稳定性。如果下游业务依赖 JSON 输出只要模型偶尔多一个前后缀字符解析就会失败。所以现在很多工程方案会引入结构化输出约束或后处理解析层这比单纯换大模型更现实。4.3 怎么评估一个 LLM公开榜单与 LLM as Judge模型选型离不开评估。网上有 Open LLM Leaderboard 这一类的公开榜单测试集覆盖常识、推理、代码、数学等维度分数可以用来粗筛模型。但公开榜单也有局限它测的是通用能力未必贴合你业务里的真实场景。有一个越来越常用的方法是 LLM as Judge也就是让一个更强或中立的大模型来给另一个模型的回答打分。这像极了程序员领域的 code review一个资深工程师去评判新人的代码虽然不能保证绝对客观但效率很高。我最近在做一个客服回答质量对比的小实验把两个模型的输出丢给第三个模型做结构化打分得到的结果和人工评估的相关性相当高但成本低得多。做评测时别忘了加偏置抑制比如给模型随机打乱候选顺序避免它总是选第一个。以及要明确打分维度和评分标准。否则你得到的结果很有可能是觉得这个答案长所以好这样的失真偏好。5. 学习路径与避坑建议给愿意动手的程序员5.1 一条可落地的学习时间线从零基础到能读懂模型代码如果让我给一个普通程序员制定时间线我会分成四个阶段每个阶段一周左右。第一周扎实 NumPy 基本功。重点练数组创建、索引、reshape、transpose、broadcast、矩阵乘法并且理解它与内存、速度的关系。这一周不碰任何 LLM 概念就是纯数学工具热身。第二周理解 Token 和 Embedding。用 Python 写一个简单的字符分词器再用 NumPy 查表实现 Embedding。可以做一个语义距离的小实验用预训练好的 embedding 对比king和queen的余弦相似度。这个阶段会建立文本转数字数字变向量的直觉。第三周手写 Attention 前向。按照我前面给的代码实现 softmax、Q K.T、缩放、加权求和。强烈建议打印每一层的 shape反复推敲维度关系。第四周接入 PyTorch 与 Transformers。用AutoModelForCausalLM和AutoTokenizer加载一个小模型如几十 MB 的微型模型跑通一次输入文本 → 输出文本的完整流程再做一次简单微调。这样一个月下来你至少能读懂 Transformer 前向传播的大部分关键代码碰到陌生模型时也不会心虚。5.2 程序员常见误区与调试技巧速查我把自己和身边朋友踩过的问题整理成了一张表希望你可以少走弯路。现象可能原因解决方向ModuleNotFoundError: No module named numpy环境未安装或虚拟环境混用用pip install numpy并检查pip list和which pythonnumpy 版本不匹配安装的库要求特定版本用pip freeze对比必要时建独立虚拟环境Transformer 中张量维度对不上Batch/Seq/Embedding 维度没理清在关键节点print(x.shape)画形状流转草图生成回答全是重复内容Temperature 过低或上下文过长适当调高 temperature 或减少历史 TokenAPI 返回 JSON 不稳定模型输出格式不受控使用结构化输出约束添加后处理解析层调试工具上我个人最常用的是形状可视化 中间值打印。很多进阶项目只是 Solver 不懂这些导致调参像抽盲盒。在 LLM 领域Debug 的核心原则是先缩小范围再打印中间变量。把一行复杂代码拆成多个临时变量是最简单也最有效的方案。5.3 一些顺手收藏的学习资源类型除了具体的代码练习资源选型也能影响学习效率。我觉得不用收藏几十个教程只需三类就够。第一类是交互式可视化网站直观展示 Transformer 的 Attention 权重变化比如有一些在线 demo 能让你点选某一 Token看到它和哪些 Token 的相关性高。第二类是经典论文带读尤其是Attention Is All You Need以及后续的模型架构演变边读边对照源码。第三类是开源项目代码但建议选最小可运行的项目例如单文件实现的 GPT 训练脚本而不是一上来就看几千行的大仓库。我在第一轮学习时把大量时间浪费在收藏从未打开的资料上后来强迫自己每周只精读一篇文章、只跑一个小项目反而收获很大。这个少而精的策略对信息过载时代的程序员特别适用。还有一个建议做学习笔记时与其摘抄代码不如把每个模块都改写成自己的版本哪怕是改变量名、改注释、简化掉某些分支。这样代码才会真正变成你的代码。我一直觉得学 LLM 这件事动手程度和最终理解深度是正相关的。写在最后如果只能提一个经验如果只能从这篇笔记里带走一个经验我会说不要被大模型这三个字吓住它的地基没有想象中那么神秘。一行 NumPy 代码里藏着矩阵的流转一段十几行的注意力实现里藏着几乎所有 LLM 的核心机制一个字符级预测器里藏着自回归生成的全部逻辑。把这三个小东西吃透再去看那些庞然大物时你的眼里不会是黑箱而是一层层你可以叫出名字的积木。至少对我来说从只会调 API到能自己改模型结构、做微调、看懂论文靠的不是什么天赋而是一行行代码敲出来的熟悉感。希望这份笔记也能给你同样的底气。 
长河君 · 2026/11/2 12:31:06 · 阅读 1.2k 从一行NumPy到微型Transformer：程序员手写大模型核心机制的实战笔记
最近整理自己的学习笔记时总有人问我一个问题程序员想搞懂大模型 LLM到底该从哪里下手我的回答往往让不少人意外——先别急着去啃那些动辄几百兆的框架先老老实实把一行 NumPy 写明白。我自己就是沿着一行 NumPy → 一个微型 Transformer → 看懂真实 LLM 的论文和代码这条路走过来的中间绕了不少弯但也沉淀出了一些很值得分享的心得。这篇笔记不是教科书也不是大厂面经汇编而是我作为一名普通程序员从零接触 LLM 的真实记录我会讲清楚为什么基础要从这里打、核心概念能拆成哪几个最小单元、以及自己手写一个看得见摸得着的微型模型时踩进过的那些坑。如果你和我一样不是科班出身、半路转行或者只是被 AI 热潮推着走的普通开发这篇内容应该能帮你在 LLM 的学习地图上少走一段弯路。1. 为什么从 NumPy 开始先甩掉调包侠的焦虑1.1 一行 NumPy 能推倒出什么很多人刚开始学大模型总是直接打开 Transformer 论文或者一头扎进 PyTorch 源码结果被矩阵维度、梯度回传、多头注意力这些名词劝退。我觉得一个更平滑的路径是先理解 NumPy。原因很朴素LLM 的底层本质就是高维矩阵的乘法和变换而 NumPy 恰好能让你用最少的语法糖看到矩阵运算最原始的样子。举个例子一行output np.dot(weights, input)就能把一个向量经过线性层这件事讲清楚。input是形状为(d_in,)的输入向量weights是(d_out, d_in)的权重矩阵点乘结果就是(d_out,)的输出向量。Transformer 里的 FFN、Attention 打分、Embedding 检索本质上都是这类操作的花式组合。也经常有人问我 NumPy 和 Python 原生 list 比到底快在哪。其实核心有三点第一NumPy 数组在内存里是连续存储的不像 list 那样存的是对象的引用所以缓存命中率高第二NumPy 的底层计算是 C 语言实现的循环被内建函数吞掉了第三NumPy 的广播机制让你不用写嵌套 for 循环表达力更强。比如a b只要两个数组在某个维度上可以对齐NumPy 会自动扩展运算这在处理批量数据时非常关键。可别小瞧这一点。以我的经验理解不了广播机制后面写注意力分数矩阵时会反复遇到维度错误。如果能在 NumPy 阶段把reshape、transpose、broadcast这几个动作练熟再做 LLM 的代码阅读会轻松很多。1.2 从矩阵思维到模型思维两种学习方式的差别我还想谈谈学习方法的问题。程序员里有两类人一类是调包侠一类是抄码党。调包侠习惯pip install xxx然后直接调用遇到报错就复制到搜索引擎里碰运气抄码党则喜欢把 GitHub 上的项目原封不动拉下来跑一遍觉得自己已经懂了。这两种方式都不是完全没用但学 LLM 时很容易形成会用 API 但不理解原理的尴尬状态。我更推荐的是用矩阵思维去拆模型。什么意思就是你看到一个模型代码时第一反应不是去看它用了哪个框架的方法而是问这里输入是什么形状输出是什么形状中间经历了哪些矩阵乘法这些乘法在数学上表达了什么含义举例来说HuggingFace Transformers 库里的BertModel前向传播代码对新手来说密密麻麻全是类和方法。但如果你在 NumPy 阶段亲手写过scores query key.T再看源码里的torch.matmul(query, key.transpose(-1, -2))你就能立刻意识到这不就是在算 Query 和 Key 的点积相似度吗所以学习路径不是混沌地看大神代码而是用最小实现建立直觉再反推工业实现。这个顺序颠倒痛苦程度完全不同。2. 拆解 LLM 的核心形态从数据到 Token 再到参数2.1 LLM 是什么把它当作一个概率大师大语言模型这个词现在被用得泛滥但真问一句它到底在做什么很多程序员也未必能一句话说清。我个人的理解是LLM 本质上是一个超大的条件概率预测器。它根据你输入的一段文本预测下一个 Token 的概率分布然后根据这个概率分布去采样生成下一个 Token再把新生成的 Token 拼到输入后面继续预测下一个如此循环就产生了连贯的回答。这个自回归过程听起来不难但难点在于模型要在这个循环里存储足够多的世界知识。训练阶段模型从海量文本里学到的并不只是语法而是一些可以映射为人类常识的统计规律。这也是为什么 LLM 能写代码、能做数学题、能聊天因为它们其实是在精炼训练数据中的文本规律而不是真的像人一样去理解世界。我用一个生活化的类比帮助自己记忆LLM 像一个读过亿万本书、但失忆了的图书管理员。他回答问题时并不是去书架里翻出一段话背给你而是根据你问的问题凭模糊的语感组合出一段最像样的回答。训练数据决定了他肚子里有多少料模型参数决定了他组合语感的能力上限。2.2 Token、Embedding 与位置编码三大基础概念要继续学下去必须把三个基础概念彻底吃透Token、Embedding 和位置编码。Token 是文本被切碎后的最小单元。它可能是完整单词也可能是子词甚至是一个单字符。比如unbelievable在 BPE 这类算法下可能被切成un、believ、able几个子词。Token 化Tokenizer是 LLM 的第一步也是很多人忽略的一步。我一开始总觉得分词没必要单独研究直到自己尝试实现一个字符级模型才意识到模型看到的从来不是文本而是数字 ID这件事有多重要。不同的分词器会直接影响模型能处理的词汇量和压缩效率。Embedding 则负责把 Token ID 映射成一个高维向量。例如token_id 12可能会被映射成一个 768 维的向量这个向量里包含该 Token 的语义特征。相似的 Token向量在空间里往往距离更近。在 NumPy 中这个操作其实就是embedding_matrix[token_ids]一个典型的查表操作。位置编码容易被新手忽略但它是 Transformer 能用起来的支柱之一。因为 Attention 本身对位置不敏感它只会看哪些 Token 之间关系强不会自动知道第 3 个 Token 和第 9 个 Token 谁先谁后。为了弥补这一点Transformer 加入位置编码把位置信息叠加到 Embedding 上。理解了这个细节你就不会惊讶于为什么模型有时候对长文本中不同位置的同类内容会产生混淆了。2.3 注意力机制中的 Query、Key、Value从我在找什么说起说到 Attention网上已经有大量讲解从翻译对齐到注意力热力图都有。但我自己真正记住的是那个热词里非常凝练的概括Key 是我是谁Query 是我在找什么Value 是我能提供什么。这个类比特别适合程序员理解。你可以把一段文本中的每个 Token 想象成公司里的人。Key 就是每个人的名牌上面写着岗位和履历Query 是你现在想找的人比如我需要一个懂 Python 的人Value 是这个人的实际能力比如他能写出什么样的代码。Attention 要做的就是用你的 Query 去和每个人的 Key 做匹配度打分然后把匹配度高的人的 Value 按权重融合起来。用 NumPy 写一下这个打分过程你就能直观看到 shape 流转import numpy as np def softmax(x): # 防止数值溢出先减去最大值 e_x np.exp(x - np.max(x, axis-1, keepdimsTrue)) return e_x / np.sum(e_x, axis-1, keepdimsTrue) # 假设有三个 token每个 token 的 embedding 维度是 4 embeddings np.random.randn(3, 4) d_k embeddings.shape[-1] # 在简化自注意力里我们用同一个矩阵充当 Q、K、V Q embeddings K embeddings V embeddings # 打分矩阵 shape: (3, 3) scores Q K.T / np.sqrt(d_k) weights softmax(scores) # 加权聚合 shape: (3, 4) output weights V print(output.shape)这段代码只有十几行但它把 Attention 最核心的机制完整呈现出来了。Q代表我想找什么K代表我是什么Q K.T就是所有 Token 两两之间的匹配度除以sqrt(d_k)是为了把分数拉回合理的数值范围避免 softmax 进入饱和区。我建议每个想学 LLM 的程序员都把这段代码亲手敲一遍然后打印中间结果观察权重矩阵的变化。你很快会发现模型在训练过程中学到的东西本质上就是调整这些矩阵里的数值让该被注意到的 Token得到更高权重。3. 用 NumPy 手搓一个微型大模型实操笔记3.1 先写一个最简单下一个字符预测器真正的 LLM 动辄几十亿参数我一开始也不敢直接挑战。更务实的做法是先写一个玩具版本用一个字符级模型去学习预测下一个字符。这个模型的字典很小比如只包含H、e、l、o、 、w、r、d这些字符目标是让模型学到hello world这类文本的模式。最简单的方法是用 bigram 计数模型。统计每两个相邻字符的出现次数然后根据上一个字符预测下一个字符的概率。虽然是统计方法但它已经把预测下一个 Token这个任务本质体现出来了。import numpy as np from collections import defaultdict text hello world hello world chars sorted(list(set(text))) stoi {s: i for i, s in enumerate(chars)} # 统计 bigram 共现次数 bigram_counts defaultdict(int) for i in range(len(text) - 1): bigram_counts[(stoi[text[i]], stoi[text[i 1]])] 1 # 转为概率矩阵 vocab_size len(chars) counts np.zeros((vocab_size, vocab_size)) for (a, b), cnt in bigram_counts.items(): counts[a, b] cnt probs counts / counts.sum(axis1, keepdimsTrue) print(probs.shape) # (vocab_size, vocab_size)你看这个矩阵的每一行就是给定上一个字符下一个字符的概率分布。假如我们把字符换成Token把bigram换成极高维度的条件概率建模再把统计表换成神经网络的参数这其实就是 LLM 的基本逻辑。我强烈建议按这个顺序入门先写统计模型理解目标函数再升级到神经网络。3.2 用 NumPy 实现 softmax、注意力得分与采样推理拿到统计概率之后下一步就是把这个模型换成更神经的实现。我建议不要跳过前面的手动实现直接上 PyTorch因为这样你会错过观察概率如何从模型输出里长出来的机会。先实现一个通用的 softmax我在上一篇笔记里已经给过代码这里要进一步补充的是采样环节。模型最终输出的是一组 logits未归一化的分数我们通过 softmax 把它变成概率分布然后再根据这个分布采样。def sample_from_logits(logits, temperature1.0): # temperature 1 时分布更尖锐倾向选择高概率项 # temperature 1 时分布更均匀输出更随机 logits logits / temperature probs softmax(logits) return np.random.choice(len(probs), pprobs)temperature是很多新手不太敏感的参数。温度越低模型越保守更像复读机温度越高模型越自由容易产生意外内容。你在调用 OpenAI API 或本地模型时常见到的temperature参数本质上就是操控这个分布的尖锐程度。为了做一次真正的张量前向我后来还实现了一个极简的自注意力嵌入层用 embedding 矩阵对字符序列做查表得到向量序列然后对序列内部做一次自注意力打分。当时写出来虽然很粗糙但打印每个中间变量的 shape 后所有关于维度到底怎么流动的困惑都消失了。3.3 训练一个玩具模型观察 loss 下降的实感统计模型不用训练但神经网络玩具模型还是需要感受一下 loss 下降的。我不建议用 NumPy 手工实现反向传播因为那会把学习笔记变成数学折磨。更聪明的做法是用 PyTorch 写一个极小的 Transformer 层但把理解形状的注意力逻辑仍然用 NumPy 风格的注释标注出来。比如我当时的练习是用 PyTorch 内置的nn.Embedding和nn.Linear搭一个单层注意力在hello world这个文本上训练一两个 epoch。虽然模型很小但训练过程中 loss 从 2.5 一路降到 1.0 的感受是任何课程都无法替代的实感。这里有个容易误入的坑不要试图在一个小文本上复现大模型效果。小模型在小数据上可能学到局部模式但无法涌现复杂的语言能力。我后来才真正明白大模型的很多能力是参数规模和数据规模共同堆出来的这也解释了为什么开源模型社区里会有那么多版本差异巨大的模型。3.4 踩过的坑维度不匹配、广播陷阱与数值溢出手写微型模型期间我记录了一堆错误至少有三类值得分享。第一类是维度不匹配。最常见的报错是matmul: Input operand 1 has a mismatch in its core dimension通常出现在Q K.T里忘了转置或者是 batch 维度多了一层少了一层。解决办法很简单每次矩阵乘法前用print(x.shape)把形状打出来确认(batch, seq, d_k)与(batch, d_k, seq)对齐了再乘。第二类是广播陷阱。比如我想让(3, 4)的矩阵和(4,)的向量相加这时 NumPy 的广播规则会把向量自动当成(1, 4)如果语义理解不到位结果可能跟预期不符。更隐蔽的情况是某个维度是 1 时例如(1, 4)与(3, 1)相加会广播成(3, 4)这时候如果你没注意到这个隐身维度调起 bug 来会非常头疼。第三类是数值溢出。softmax 中的np.exp很容易产生极大值。如果输入 logits 里有1000那样的数值np.exp(1000)直接溢出为inf。解法就是经典的减去最大值技巧我在上面的代码里也用了。建议所有准备手写 Attention 的人都把这段姿势记牢它是万无一失的。4. 从微型模型迈向真实 LLM框架、模型与工程实践4.1 为什么最终还要上 PyTorch 和 Transformers既然用 NumPy 能理解原理那是不是一直用 NumPy 就够了当然不是。真实训练一个哪怕很小的模型也会涉及 GPU 加速、自动求导、优化器管理、分布式训练等复杂工程。NumPy 只是帮助你建立手感的桥梁实际上阵还是得靠 PyTorch 和 HuggingFace Transformers。PyTorch 的核心价值是自动微分。你不用手写 backprop定义一个loss.backward()就能得到梯度。这并不代表你可以不关心梯度而是意味着你可以把精力集中在模型架构、数据调度和训练策略上。Transformers 库则进一步封装了几乎所有主流模型架构让加载预训练权重、微调、推理都变得高效。我个人的建议是顺序不能反先用 NumPy 理解 Attention 的 shape 流转再用 PyTorch 重写一遍相同逻辑接着打开 Transformers 库源码找到对应的nn.MultiheadAttention或eager attention实现最后再看动画或论文图解。这个顺序下来你会获得非常有掌控力的理解。4.2 真实 LLM 落地Token、推理服务与 LLM 网关程序员的视角不能只停留在模型怎么训练还要关心模型怎么用起来。真实的 LLM 应用不是把模型文件加载进来那么简单它涉及几个容易忽略的工程概念。Token 计费与限流是第一个要理解的。所有商业 LLM API 都按 Token 计费而一次对话的每次流式回应都会动态累积 Token。如果你在网关层不做请求合并和上下文裁剪费用会快速上涨响应延迟也会上升。我做过一个测试脚本连续向模型发送 50 轮对话Token 消耗量比预想高出近 3 倍原因就是对话历史没有做截断模型每轮都要重新处理前面的旧内容。LLM 网关是另一个我后来才补上的知识点。你可以把它想象成一个模型路由交换机。它的职责包括把同一个业务请求路由到不同模型如便宜的模型处理简单任务、贵的模型处理复杂任务、做熔断与重试、记录日志与指标、管理 API Key 等。很多团队一开始图省事直接调用各家 SDK结果模型切换时改了一堆代码这其实没必要网关能把这件事收敛成一次配置变更。在实际的产品环境里除了模型本身你还需要考虑模型输出格式的稳定性。如果下游业务依赖 JSON 输出只要模型偶尔多一个前后缀字符解析就会失败。所以现在很多工程方案会引入结构化输出约束或后处理解析层这比单纯换大模型更现实。4.3 怎么评估一个 LLM公开榜单与 LLM as Judge模型选型离不开评估。网上有 Open LLM Leaderboard 这一类的公开榜单测试集覆盖常识、推理、代码、数学等维度分数可以用来粗筛模型。但公开榜单也有局限它测的是通用能力未必贴合你业务里的真实场景。有一个越来越常用的方法是 LLM as Judge也就是让一个更强或中立的大模型来给另一个模型的回答打分。这像极了程序员领域的 code review一个资深工程师去评判新人的代码虽然不能保证绝对客观但效率很高。我最近在做一个客服回答质量对比的小实验把两个模型的输出丢给第三个模型做结构化打分得到的结果和人工评估的相关性相当高但成本低得多。做评测时别忘了加偏置抑制比如给模型随机打乱候选顺序避免它总是选第一个。以及要明确打分维度和评分标准。否则你得到的结果很有可能是觉得这个答案长所以好这样的失真偏好。5. 学习路径与避坑建议给愿意动手的程序员5.1 一条可落地的学习时间线从零基础到能读懂模型代码如果让我给一个普通程序员制定时间线我会分成四个阶段每个阶段一周左右。第一周扎实 NumPy 基本功。重点练数组创建、索引、reshape、transpose、broadcast、矩阵乘法并且理解它与内存、速度的关系。这一周不碰任何 LLM 概念就是纯数学工具热身。第二周理解 Token 和 Embedding。用 Python 写一个简单的字符分词器再用 NumPy 查表实现 Embedding。可以做一个语义距离的小实验用预训练好的 embedding 对比king和queen的余弦相似度。这个阶段会建立文本转数字数字变向量的直觉。第三周手写 Attention 前向。按照我前面给的代码实现 softmax、Q K.T、缩放、加权求和。强烈建议打印每一层的 shape反复推敲维度关系。第四周接入 PyTorch 与 Transformers。用AutoModelForCausalLM和AutoTokenizer加载一个小模型如几十 MB 的微型模型跑通一次输入文本 → 输出文本的完整流程再做一次简单微调。这样一个月下来你至少能读懂 Transformer 前向传播的大部分关键代码碰到陌生模型时也不会心虚。5.2 程序员常见误区与调试技巧速查我把自己和身边朋友踩过的问题整理成了一张表希望你可以少走弯路。现象可能原因解决方向ModuleNotFoundError: No module named numpy环境未安装或虚拟环境混用用pip install numpy并检查pip list和which pythonnumpy 版本不匹配安装的库要求特定版本用pip freeze对比必要时建独立虚拟环境Transformer 中张量维度对不上Batch/Seq/Embedding 维度没理清在关键节点print(x.shape)画形状流转草图生成回答全是重复内容Temperature 过低或上下文过长适当调高 temperature 或减少历史 TokenAPI 返回 JSON 不稳定模型输出格式不受控使用结构化输出约束添加后处理解析层调试工具上我个人最常用的是形状可视化 中间值打印。很多进阶项目只是 Solver 不懂这些导致调参像抽盲盒。在 LLM 领域Debug 的核心原则是先缩小范围再打印中间变量。把一行复杂代码拆成多个临时变量是最简单也最有效的方案。5.3 一些顺手收藏的学习资源类型除了具体的代码练习资源选型也能影响学习效率。我觉得不用收藏几十个教程只需三类就够。第一类是交互式可视化网站直观展示 Transformer 的 Attention 权重变化比如有一些在线 demo 能让你点选某一 Token看到它和哪些 Token 的相关性高。第二类是经典论文带读尤其是Attention Is All You Need以及后续的模型架构演变边读边对照源码。第三类是开源项目代码但建议选最小可运行的项目例如单文件实现的 GPT 训练脚本而不是一上来就看几千行的大仓库。我在第一轮学习时把大量时间浪费在收藏从未打开的资料上后来强迫自己每周只精读一篇文章、只跑一个小项目反而收获很大。这个少而精的策略对信息过载时代的程序员特别适用。还有一个建议做学习笔记时与其摘抄代码不如把每个模块都改写成自己的版本哪怕是改变量名、改注释、简化掉某些分支。这样代码才会真正变成你的代码。我一直觉得学 LLM 这件事动手程度和最终理解深度是正相关的。写在最后如果只能提一个经验如果只能从这篇笔记里带走一个经验我会说不要被大模型这三个字吓住它的地基没有想象中那么神秘。一行 NumPy 代码里藏着矩阵的流转一段十几行的注意力实现里藏着几乎所有 LLM 的核心机制一个字符级预测器里藏着自回归生成的全部逻辑。把这三个小东西吃透再去看那些庞然大物时你的眼里不会是黑箱而是一层层你可以叫出名字的积木。至少对我来说从只会调 API到能自己改模型结构、做微调、看懂论文靠的不是什么天赋而是一行行代码敲出来的熟悉感。希望这份笔记也能给你同样的底气。