一、预训练核心模型建模 大规模参数优化线性代数矩阵 / 向量运算、张量、矩阵乘法、维度变换Transformer 基础微积分偏导数、链式法则、梯度反向传播核心概率论 统计学概率分布、最大似然估计、熵、困惑度语言建模目标优化理论梯度下降、AdamW 等优化器原理、学习率策略信息论信息熵、交叉熵损失函数二、微调核心参数小幅更新 偏好对齐承接预训练梯度、损失函数、概率分布基础通用线性代数低秩矩阵LoRA 核心低秩分解概率论KL 散度、分布对齐DPO/RLHF 偏好优化运筹 / 强化学习基础奖励函数、策略梯度RLHF三、模型压缩量化 / 剪枝 / 蒸馏核心数值近似、权重简化数值分析数值截断、舍入误差、定点数表示Q4/Q8 量化核心线性代数矩阵稀疏性、矩阵分解剪枝、稀疏化概率论分布拟合、概率蒸馏模型蒸馏师生分布对齐最优化约束优化量化 / 剪枝时权重约束总结预训练线代 微积分 概率统计 信息论微调在前者基础上加低秩数学、KL 散度、强化学习基础压缩主打数值分析、稀疏矩阵、误差理论