期末备考季被最大似然估计卡住的人不在少数。很多同学背得下步骤却说不清为什么要取对数更怕遇到求导求不出的题。这篇文章我把最大似然估计掰开揉碎讲一遍从原理、标准解题流程到考场陷阱按期末考试的出题逻辑走一遍目标是让你会做题、能拿分、不丢冤枉分。适合正在复习概率论与数理统计、尤其是考前冲刺的本科同学也适合考研基础阶段想一次学透这块内容的人。1. 期末考纲里的必考大户最大似然估计到底在考什么1.1 为什么每个学校都爱出这道题先给结论最大似然估计是参数点估计里最核心的方法也是期末考试和考研数学最稳定的得分题之一。它的地位高因为出卷老师很偏爱原理运算辨析的组合考法——一道题能同时考察你是否理解概率模型、会不会算导数、懂不懂统计量的含义。从历年的试卷分布看最大似然估计的题目呈现几个固定特征分值通常在10到15分属于大题区间而且往往是参数估计章节里最重的一道出题形式大多是设总体X的概率密度/分布律为……求参数θ的最大似然估计量偶尔会追加一问并判断是否无偏考察类型集中在指数分布、正态分布、泊松分布、伯努利分布、均匀分布这五类常见总体上换汤不换药。我把这五类分布的考法差异整理成一张表后面逐个展开总体分布未知参数最大似然估计结果核心运算工具伯努利分布p样本均值对数似然求导泊松分布λ样本均值对数似然求导指数分布λ样本均值的倒数对数似然求导正态分布μ和σ²样本均值、二阶中心矩偏导联立方程组均匀分布θ样本最大值单调性判断不靠求导这张表你在考前如果能闭眼写出来基础分就到手一半了。剩下的关键差距全在算得对不对、扣分点躲不躲得过上。1.2 先判断你的试卷侧重哪种考法不同学校、不同老师对这部分的要求侧重不太一样。我建议你动手复习前先看两样东西课件里关于极大似然估计那几页的例子以及往年试卷的真题。观察它们更偏向偏导方程组运算还是偏向定义域与边界讨论。如果历年真题反复出现带若样本观测值为……的数值计算题说明阅卷时对计算过程和最终数字的精度有要求如果真题经常问求矩估计与最大似然估计并比较那说明你不仅要会算还要会说明无偏性、相合性这些性质。看清楚目标再复习效率会高很多。2. 似然函数不是概率真正理解MLE的第一步2.1 一次掷硬币实验把似然讲透最大似然估计这个名词对新手很不友好因为它把两个抽象概念叠在一起。我们先拆第一个似然函数到底是个什么东西。想象一个最朴素的场景——拿一枚不知道正反面概率的硬币抛了10次结果是7次正面3次反面。假设这枚硬币正面概率是p那么出现7正3反这个结果的概率是P(结果|p) p⁷(1-p)³现在反过来想已知结果是7正3反你想要猜p等于多少。把上面等式的左右两边换个视角固定住结果已发生这个事实把p当成变量这个关于p的函数就叫似然函数。它的含义是在某个p取值下能产生这组已有数据的可能性有多大。注意它不再是通常意义上的概率了——因为分母和样本空间的规约方式不同但数学形式上很接近。这里有个关键思维转换平时我们求概率是已知参数猜结果而似然是已知结果猜参数。如果你做题目时总想不通L(θ)的表达式为什么那样写就往这个方向想——把样本观测值当成给定的、发生过的数据参数是我们需要搜索的对象。2.2 为什么取对数不会改变最大值的位置理解了似然函数的含义下一个高频疑问马上就会冒出来为什么算最大似然估计的时候一定要先取对数原因有两个一个纯粹是计算便利一个是数值稳定性。计算便利显而易见n个独立样本的联合密度是单个密度的乘积L(θ) ∏ f(xᵢ;θ)。乘积求导要用乘法法则项数一多表达式立刻爆炸。而取对数后乘积变成求和ln L(θ) Σ ln f(xᵢ;θ)求导只需要对每一项分别求导再累加简洁得多。数值稳定性也很实际n稍微大一点哪怕每项密度只有0.1左右连乘起来就会趋近于0计算机的浮点数精度根本扛不住。取对数之后数值变成负数累加范围小得多不会出现下溢出。期末考试虽然不让你手算一百个样本连乘但理解和应用是一致的。最需要强调的是ln函数在(0, ∞)上是严格单调递增的所以ln L(θ)和L(θ)在同一个θ处取得最大值。取对数不影响极值点位置这一句话是你所有先取对数再求导操作的合法性依据。我在批改作业时经常见同学在大题开头写一句纯粹刻板的公式套用却根本不解释为什么可以取对数这一环的缺失在阅卷严的老师手里绝对要扣分。3. 连续型总体的标准解题路线正态分布一步一步拆给你看3.1 写似然函数前先盯住定义域初学者最容易被带偏的地方是先急着去连乘、取对数、求导忘了写下参数和样本的取值范围。而定义域恰恰决定了后面几步的合法性甚至决定了整个题目的答案结构。对于连续型总体总体密度函数通常是一个分段函数——比如指数分布只在x0有密度均匀分布在区间[a,b]外密度为0。样本值是已经观测到的固定数那么概率密度函数就必须在每个观测点上都为正否则对数里的0会直接让lnL趋近负无穷最大似然法就崩了。这意味着当参数的取值范围和样本观测值的范围绑定时你必须把这个约束条件写进似然函数里。最常见的就是均匀分布U(0,θ)那种情形——它的密度在xθ的部分是0因此样本的最大值一旦超过θ整个似然函数就等于0不可能是最大值候选。很多同学最后一步算错根子都在这里。3.2 取对数求导的标准姿势当定义域搞清楚了后续步骤就成了一套固定流程。我用正态分布N(μ, σ²)做全流程演示因为这是期末考试里最标准、最频繁的类型而且它同时涉及单参数和多参数两种运算一举两得。设总体X ~ N(μ, σ²)样本为x₁, x₂, …, xₙ。第一步写出似然函数L(μ, σ²) ∏ (1/√(2πσ²))·exp(-(xᵢ-μ)²/(2σ²))这个式子看着吓人但取对数后会迅速变得清爽ln L -(n/2)ln(2π) - (n/2)ln(σ²) - (1/(2σ²))Σ(xᵢ-μ)²注意有时候老师习惯把σ²整体当作一个未知量来求导有时候又令t σ²操作上是等价的。关键是你的求导变量必须明确不要一会对σ求导一会对σ²求导那是考场上最常见的运算翻车点。对μ求偏导令其为零∂ln L/∂μ Σ(xᵢ-μ)/σ² 0解得 μ̂ x̄对σ²求偏导时为了减少错误率把Σ(xᵢ-μ)²当作常数处理∂ln L/∂σ² -n/(2σ²) Σ(xᵢ-μ)²/(2σ⁴) 0解得 σ̂² (1/n)Σ(xᵢ-μ̂)²注意最后一步里μ也必须用上面算出的估计量x̄替换掉。这是很常见的一个延续性交叉——你求σ̂²的时候如果还在式子里保留μ或者保留了μ̂但没意识到要代入x̄整题就乱了。3.3 正态分布的完整数值案例只看公式容易飘。我随便构造一组小样本带你把数值走一遍。假设观测到5个样本值3.24.13.84.53.4。那么样本均值 x̄ (3.24.13.84.53.4)/5 19/5 3.8σ̂² [(3.2-3.8)²(4.1-3.8)²(3.8-3.8)²(4.5-3.8)²(3.4-3.8)²]/5 (0.360.0900.490.16)/5 1.10/5 0.22注意这里算出来的σ̂² 0.22是最大似然估计值分母用的是n而不是n-1。如果你拿计算器按出样本方差是0.275那是除以n-1的结果不是MLE的结果。这两个值的关系期末特别喜欢放在无偏性问法里考后面我专门说。4. 最容易被扣分的均匀分布求导失效时的正确处理4.1 为什么均匀分布不能求导下面这题基本年年有学校考也年年有学生翻车设总体X服从区间[0,θ]上的均匀分布θ0未知样本x₁,…,xₙ已知求θ的最大似然估计。很多同学照搬连续型三步曲先写L(θ) (1/θ)ⁿ然后取对数求导ln L -n ln θ求导等于-n/θ令它等于0——越解越奇怪因为-n/θ根本不可能等于0。问题出在哪出在密度函数是分段函数这件事被忽略了。均匀分布的密度必须严谨写成f(x;θ) 1/θ当0 ≤ x ≤ θf(x;θ) 0当x θ所以严格写全似然函数应该是L(θ) (1/θ)ⁿ当θ ≥ max(xᵢ)L(θ) 0当θ max(xᵢ)在θ ≥ max(xᵢ)这个有效范围内(1/θ)ⁿ是关于θ的单调递减函数θ越大似然值越小。既然没有内部极值点最大值只能出现在定义域的边界上也就是θ̂ max(xᵢ) x₍ₙ₎这就是端点估计的典型题目。它给所有见参数就求导的同学上了一课最大似然估计的思想是最大化L(θ)而最大化未必非要在驻点处发生边界上同样可以取到。4.2 端点估计变体与参数范围校验均匀分布还有一类变体也值得考前看两眼。设X服从区间[θ-1, θ1]上的均匀分布样本为x₁,…,xₙ求θ的MLE。这种题目的正确思路是区间是一个长度为2的滑窗要让所有样本点都落在里面滑窗必须满足 θ-1 ≤ min(xᵢ) 且 θ1 ≥ max(xᵢ)即max(xᵢ) - 1 ≤ θ ≤ min(xᵢ) 1在这个区间内密度值1/2始终为常数因为区间长度固定似然值(1/2)ⁿ也是常数所以θ的任何取值都能让似然函数达到同一个最大值。这种情况下最大似然估计不唯一。期末如果出这种题往往问的不是求唯一估计而是让你指出所有的最大似然估计构成一个区间。另外在得到任何参数估计值之后一定要回头校验一步解出的结果是否落在参数的合法范围里。比如估计出了p 1.5但伯努利分布要求p∈[0,1]那就是你的求解过程有问题多半是忽略了边界条件再比如均匀分布的θ估计量如果小于了样本最大值那更不可能因为样本里已经出现了大于θ的观测值与概率模型的假设直接矛盾。这个校验习惯考前一定要养成尤其在考场上时间紧张时它是成本最低的救命检查。5. 多参数与离散分布考场上的进阶问法5.1 多个未知参数的联立方程操作正态分布已经展示了两个参数的MLE这里我把操作要点提炼一下。当未知参数多于一个时标准流程是写出完整似然函数L(θ₁,…,θₖ)取对数得到ln L对每个参数分别求偏导令所有偏导同时为零解联立方程组解得所有参数的表达式。这套流程在数学上叫求对数似然函数的驻点。唯一的额外注意点在于解方程时不要急着代入数值尽量先把表达式化简成封闭形式。比如正态分布那题先由第一式得μ̂ x̄再把x̄代回第二式得σ̂²的表达式。一旦中间环节开始浮现小数后面所有运算都会变得容易出错。有一种进阶题型也值得心里有底双参数指数分布。设X的密度为 f(x;α,β) (1/β)exp(-(x-α)/β)其中xαβ0。这个题目的MLE求解分为两步——对于α它的定义域受限于xᵢα且似然函数关于α单调递增所以α̂ min(xᵢ)锁定α̂之后再用求导方法求解β̂ x̄ - α̂。这种次序统计量导数方法的混合题型正是均匀分布和正态分布两种考法的融合遇到了一定要想清楚哪部分用单调性、哪部分用驻点条件。5.2 泊松分布与伯努利分布的完整实操离散型总体的最大似然估计期末同样常考。概率函数里出现的阶乘、指数形式容易让人看花眼但本质套路没变。先看泊松分布。设X ~ P(λ)分布律为P(Xk) λᵏe⁻λ/k!样本x₁,…,xₙ的似然函数为L(λ) ∏(λˣⁱe⁻λ/xᵢ!) λ^{Σxᵢ}e⁻ⁿλ / ∏(xᵢ!)取对数ln L (Σxᵢ)lnλ - nλ - Σln(xᵢ!)注意最后一项Σln(xᵢ!)与λ无关求导时直接消失。对λ求导d(ln L)/dλ Σxᵢ/λ - n 0解得λ̂ Σxᵢ/n x̄结论非常干净——泊松分布的参数λ的最大似然估计就是样本均值这也是这个结论在教科书里被反复强调的原因。再看伯努利分布。设X ~ B(1,p)P(X1)pP(X0)1-p样本中1的个数记为k则L(p) pᵏ(1-p)ⁿᐨᵏ取对数ln L k ln p (n-k)ln(1-p)求导k/p - (n-k)/(1-p) 0解得p̂ k/n x̄有没有发现规律不管离散连续单参数的大多数常规分布MLE往往最终都落到样本均值或样本均值的函数上。考试时如果你算出来的结果明显不是一个简单的、可解释的形式先别急着交卷重新检查七步流程——八成是哪一步的对数展开出了问题。5.3 隐含条件参数范围的二次检查离散型里还有一个隐蔽的扣分点。比如二项分布B(N,p)参数p的MLE是k/(Nn)但很多人都忽略了一个细节p̂ k/(Nn)必须满足0≤p̂≤1。如果把样本量n或二项试验次数N搞混算出来的比例可能越界。更隐蔽的是当样本里全是0或者全是1时p̂会落在端点0或1上这其实也是合法的MLE——因为似然函数在端点处取最大值此时你写p̂0或p̂1是完全正确的不需要觉得难堪。很多同学拿到这种极端样本会想着估计值不能等于0或1吧然后自作主张改成一个近似值这是大错特错。最大似然估计的唯一标准是让似然函数最大端点结果就是最大不要画蛇添足。6. 阅卷视角的隐藏扣分点这些细节决定你拿满分还是半截分6.1 估计量还是估计值一字之差就是题设事故求θ的最大似然估计量和求θ的最大似然估计值在期末试卷里是有严格区分的大题设问。估计量是用样本随机变量表达的统计量写作θ̂(X₁,…,Xₙ)是一个随机变量的函数估计值是把具体观测数字代入后得到的常数写作θ̂(x₁,…,xₙ)。正确的回答规范是题干求最大似然估计量最终表达式里保留大写Xᵢ或x̄等统计量符号不代入具体数题干若样本观测值为……求最大似然估计值你需要在给出表达式之后把具体数值代入算出最终数字。我在改卷时见过太多学生全程只用小写xᵢ算到最后也没有任何一句将观测值代入得……的说明直接被扣掉结果分。这个分的损失完全可控——考前只需养成一个习惯落笔写结论前看一眼题干问的是量还是值。6.2 无偏性校验MLE有偏并不罕见期末第二问常垂青判断该估计量是否无偏。这里有个非常普遍的误区很多同学默认最大似然估计应该都是无偏的——恰恰相反这个说法完全不正确。拿正态分布来说最大似然估计σ̂² (1/n)Σ(xᵢ-x̄)²的期望值是E(σ̂²) (n-1)/n · σ²这个值永远小于σ²所以σ̂²不是σ²的无偏估计。要想无偏需要乘上n/(n-1)得到修正的样本方差S² (1/(n-1))Σ(xᵢ-x̄)²。这就是教科书反复强调样本方差除以n-1在统计含义上的根源——不是为了凑自由度而是为了无偏性。指数分布Expo(λ)的MLE为λ̂ 1/x̄但E(1/x̄)并不等于1/E(x̄) λ所以它也是有偏的。考场上如果题目问判断无偏性你需要老老实实算期望对样本均值类估计量利用E(x̄) μ通常很快对非线性变换类估计量比如1/x̄、x̄²等不要想当然要么用密度函数积分算期望要么利用相关已知结论。这里我必须给一个提醒无偏性判断是档位分算出来结果不同整题可能少拿一半分。不要因为我觉得应该无偏就跳过期望计算那是在赌运气。6.3 连续运算中的数值精度期末计算很简单但用计算器也有学问。我建议采用全程保留表达式、最后一步再代数字的策略。比如算x̄时如果中间商是分数就先用分数形式保留万一要用小数统一保留4位有效数字以上避免四舍五入误差传到最终结果。最后的估计值按常规保留3位小数即可。这类题目阅卷通常会看步骤末位数字步骤占比高实际上只要逻辑正确、算式完整中途出现很小的计算误差时阅卷老师通常也会给同情分。但如果你在中间步骤就开始省略和约分最后结果偏差太大分数就很难看了。7. 一周冲刺安排从会做到做对在这里我建议复习计划按题型分层套卷节奏来排而不是死磕某本教材的一整章。以考前一天为D-1倒推一个紧凑的节奏可以是这样时间复习内容完成标准D-7理解似然函数定义重新推导五类分布的MLE不看笔记能写出L(θ)并说出取对数的理由D-6专项练习连续型单参数指数、均匀每天10题错误率降到20%以下D-5专项练习多参数正态、双参数指数能熟练解偏导方程组D-4专项练习离散型泊松、二项能区分分布律写法且不遗漏阶乘项D-3无偏性与相合性的配套习题会严格计算期望不凭直觉判断D-2两套完整真题卷限时训练整套试卷在120分钟内完成MLE部分不超时D-1错题重做公式卡片卡片上五类分布的估计量表达式能默写7.1 分题型刷题的三个原则第一个原则是重质量不重数量。最大似然估计的题型非常有限吃透一道经典题胜过盲目刷十道换数不换法的题。建议每做完一道题自己用一句话概括这题考了哪个分布、哪个陷阱、用什么手段解决整理成自己的错题注脚。第二个原则是限时训练。一道MLE大题考场上合理分配时间在12到15分钟。平时练习时就要给自己掐表如果超时说明对步骤还不熟练需要用三步曲形成肌肉记忆写L(θ) → 写ln L → 求导解方程。第三个原则是重算一遍。所有算出的估计量都用一个小样本手算验证一下趋势是否合理。比如正态分布你算σ̂²如果比样本方差还大就要警觉是不是公式写错了——因为σ̂² (n-1)/n·S²它理论上不应该超过S²一旦违背这个直观必有问题。7.2 自测时的评分标准模拟冲剌阶段的自测不要只看对错建议按阅卷视角给自己打分似然函数表达式正确得30%分取对数并正确化简再得30%分求导并解出结果得30%分给出估计量、估计值的规范结论及必要的范围验证得最后10%分。你可以拿这样一套评分逻辑去判断自己的薄弱环节在哪。多数人失分不在求导而在似然函数写错或者忘写定义域这从源头上就决定了后面全是无用功。把前面30%的基础分抓牢比一味追求速度和复杂题型更划算。复习到这个时候你可以合上笔记问自己三个问题给我一个总体密度我能立刻写下它的似然函数吗遇到求导失效的情形我知道该考虑单调性和边界吗题干问估计量还是估计值我能规范作答吗如果答案都是肯定的那这一块内容在考场上大概率稳了。剩下的就是把计算步骤写得再工整一点让阅卷老师一眼看到你的思路脉络。 
长河君 · 2026/10/10 19:15:26 · 阅读 1.2k 最大似然估计期末冲刺：原理、解题步骤与考场易错点
期末备考季被最大似然估计卡住的人不在少数。很多同学背得下步骤却说不清为什么要取对数更怕遇到求导求不出的题。这篇文章我把最大似然估计掰开揉碎讲一遍从原理、标准解题流程到考场陷阱按期末考试的出题逻辑走一遍目标是让你会做题、能拿分、不丢冤枉分。适合正在复习概率论与数理统计、尤其是考前冲刺的本科同学也适合考研基础阶段想一次学透这块内容的人。1. 期末考纲里的必考大户最大似然估计到底在考什么1.1 为什么每个学校都爱出这道题先给结论最大似然估计是参数点估计里最核心的方法也是期末考试和考研数学最稳定的得分题之一。它的地位高因为出卷老师很偏爱原理运算辨析的组合考法——一道题能同时考察你是否理解概率模型、会不会算导数、懂不懂统计量的含义。从历年的试卷分布看最大似然估计的题目呈现几个固定特征分值通常在10到15分属于大题区间而且往往是参数估计章节里最重的一道出题形式大多是设总体X的概率密度/分布律为……求参数θ的最大似然估计量偶尔会追加一问并判断是否无偏考察类型集中在指数分布、正态分布、泊松分布、伯努利分布、均匀分布这五类常见总体上换汤不换药。我把这五类分布的考法差异整理成一张表后面逐个展开总体分布未知参数最大似然估计结果核心运算工具伯努利分布p样本均值对数似然求导泊松分布λ样本均值对数似然求导指数分布λ样本均值的倒数对数似然求导正态分布μ和σ²样本均值、二阶中心矩偏导联立方程组均匀分布θ样本最大值单调性判断不靠求导这张表你在考前如果能闭眼写出来基础分就到手一半了。剩下的关键差距全在算得对不对、扣分点躲不躲得过上。1.2 先判断你的试卷侧重哪种考法不同学校、不同老师对这部分的要求侧重不太一样。我建议你动手复习前先看两样东西课件里关于极大似然估计那几页的例子以及往年试卷的真题。观察它们更偏向偏导方程组运算还是偏向定义域与边界讨论。如果历年真题反复出现带若样本观测值为……的数值计算题说明阅卷时对计算过程和最终数字的精度有要求如果真题经常问求矩估计与最大似然估计并比较那说明你不仅要会算还要会说明无偏性、相合性这些性质。看清楚目标再复习效率会高很多。2. 似然函数不是概率真正理解MLE的第一步2.1 一次掷硬币实验把似然讲透最大似然估计这个名词对新手很不友好因为它把两个抽象概念叠在一起。我们先拆第一个似然函数到底是个什么东西。想象一个最朴素的场景——拿一枚不知道正反面概率的硬币抛了10次结果是7次正面3次反面。假设这枚硬币正面概率是p那么出现7正3反这个结果的概率是P(结果|p) p⁷(1-p)³现在反过来想已知结果是7正3反你想要猜p等于多少。把上面等式的左右两边换个视角固定住结果已发生这个事实把p当成变量这个关于p的函数就叫似然函数。它的含义是在某个p取值下能产生这组已有数据的可能性有多大。注意它不再是通常意义上的概率了——因为分母和样本空间的规约方式不同但数学形式上很接近。这里有个关键思维转换平时我们求概率是已知参数猜结果而似然是已知结果猜参数。如果你做题目时总想不通L(θ)的表达式为什么那样写就往这个方向想——把样本观测值当成给定的、发生过的数据参数是我们需要搜索的对象。2.2 为什么取对数不会改变最大值的位置理解了似然函数的含义下一个高频疑问马上就会冒出来为什么算最大似然估计的时候一定要先取对数原因有两个一个纯粹是计算便利一个是数值稳定性。计算便利显而易见n个独立样本的联合密度是单个密度的乘积L(θ) ∏ f(xᵢ;θ)。乘积求导要用乘法法则项数一多表达式立刻爆炸。而取对数后乘积变成求和ln L(θ) Σ ln f(xᵢ;θ)求导只需要对每一项分别求导再累加简洁得多。数值稳定性也很实际n稍微大一点哪怕每项密度只有0.1左右连乘起来就会趋近于0计算机的浮点数精度根本扛不住。取对数之后数值变成负数累加范围小得多不会出现下溢出。期末考试虽然不让你手算一百个样本连乘但理解和应用是一致的。最需要强调的是ln函数在(0, ∞)上是严格单调递增的所以ln L(θ)和L(θ)在同一个θ处取得最大值。取对数不影响极值点位置这一句话是你所有先取对数再求导操作的合法性依据。我在批改作业时经常见同学在大题开头写一句纯粹刻板的公式套用却根本不解释为什么可以取对数这一环的缺失在阅卷严的老师手里绝对要扣分。3. 连续型总体的标准解题路线正态分布一步一步拆给你看3.1 写似然函数前先盯住定义域初学者最容易被带偏的地方是先急着去连乘、取对数、求导忘了写下参数和样本的取值范围。而定义域恰恰决定了后面几步的合法性甚至决定了整个题目的答案结构。对于连续型总体总体密度函数通常是一个分段函数——比如指数分布只在x0有密度均匀分布在区间[a,b]外密度为0。样本值是已经观测到的固定数那么概率密度函数就必须在每个观测点上都为正否则对数里的0会直接让lnL趋近负无穷最大似然法就崩了。这意味着当参数的取值范围和样本观测值的范围绑定时你必须把这个约束条件写进似然函数里。最常见的就是均匀分布U(0,θ)那种情形——它的密度在xθ的部分是0因此样本的最大值一旦超过θ整个似然函数就等于0不可能是最大值候选。很多同学最后一步算错根子都在这里。3.2 取对数求导的标准姿势当定义域搞清楚了后续步骤就成了一套固定流程。我用正态分布N(μ, σ²)做全流程演示因为这是期末考试里最标准、最频繁的类型而且它同时涉及单参数和多参数两种运算一举两得。设总体X ~ N(μ, σ²)样本为x₁, x₂, …, xₙ。第一步写出似然函数L(μ, σ²) ∏ (1/√(2πσ²))·exp(-(xᵢ-μ)²/(2σ²))这个式子看着吓人但取对数后会迅速变得清爽ln L -(n/2)ln(2π) - (n/2)ln(σ²) - (1/(2σ²))Σ(xᵢ-μ)²注意有时候老师习惯把σ²整体当作一个未知量来求导有时候又令t σ²操作上是等价的。关键是你的求导变量必须明确不要一会对σ求导一会对σ²求导那是考场上最常见的运算翻车点。对μ求偏导令其为零∂ln L/∂μ Σ(xᵢ-μ)/σ² 0解得 μ̂ x̄对σ²求偏导时为了减少错误率把Σ(xᵢ-μ)²当作常数处理∂ln L/∂σ² -n/(2σ²) Σ(xᵢ-μ)²/(2σ⁴) 0解得 σ̂² (1/n)Σ(xᵢ-μ̂)²注意最后一步里μ也必须用上面算出的估计量x̄替换掉。这是很常见的一个延续性交叉——你求σ̂²的时候如果还在式子里保留μ或者保留了μ̂但没意识到要代入x̄整题就乱了。3.3 正态分布的完整数值案例只看公式容易飘。我随便构造一组小样本带你把数值走一遍。假设观测到5个样本值3.24.13.84.53.4。那么样本均值 x̄ (3.24.13.84.53.4)/5 19/5 3.8σ̂² [(3.2-3.8)²(4.1-3.8)²(3.8-3.8)²(4.5-3.8)²(3.4-3.8)²]/5 (0.360.0900.490.16)/5 1.10/5 0.22注意这里算出来的σ̂² 0.22是最大似然估计值分母用的是n而不是n-1。如果你拿计算器按出样本方差是0.275那是除以n-1的结果不是MLE的结果。这两个值的关系期末特别喜欢放在无偏性问法里考后面我专门说。4. 最容易被扣分的均匀分布求导失效时的正确处理4.1 为什么均匀分布不能求导下面这题基本年年有学校考也年年有学生翻车设总体X服从区间[0,θ]上的均匀分布θ0未知样本x₁,…,xₙ已知求θ的最大似然估计。很多同学照搬连续型三步曲先写L(θ) (1/θ)ⁿ然后取对数求导ln L -n ln θ求导等于-n/θ令它等于0——越解越奇怪因为-n/θ根本不可能等于0。问题出在哪出在密度函数是分段函数这件事被忽略了。均匀分布的密度必须严谨写成f(x;θ) 1/θ当0 ≤ x ≤ θf(x;θ) 0当x θ所以严格写全似然函数应该是L(θ) (1/θ)ⁿ当θ ≥ max(xᵢ)L(θ) 0当θ max(xᵢ)在θ ≥ max(xᵢ)这个有效范围内(1/θ)ⁿ是关于θ的单调递减函数θ越大似然值越小。既然没有内部极值点最大值只能出现在定义域的边界上也就是θ̂ max(xᵢ) x₍ₙ₎这就是端点估计的典型题目。它给所有见参数就求导的同学上了一课最大似然估计的思想是最大化L(θ)而最大化未必非要在驻点处发生边界上同样可以取到。4.2 端点估计变体与参数范围校验均匀分布还有一类变体也值得考前看两眼。设X服从区间[θ-1, θ1]上的均匀分布样本为x₁,…,xₙ求θ的MLE。这种题目的正确思路是区间是一个长度为2的滑窗要让所有样本点都落在里面滑窗必须满足 θ-1 ≤ min(xᵢ) 且 θ1 ≥ max(xᵢ)即max(xᵢ) - 1 ≤ θ ≤ min(xᵢ) 1在这个区间内密度值1/2始终为常数因为区间长度固定似然值(1/2)ⁿ也是常数所以θ的任何取值都能让似然函数达到同一个最大值。这种情况下最大似然估计不唯一。期末如果出这种题往往问的不是求唯一估计而是让你指出所有的最大似然估计构成一个区间。另外在得到任何参数估计值之后一定要回头校验一步解出的结果是否落在参数的合法范围里。比如估计出了p 1.5但伯努利分布要求p∈[0,1]那就是你的求解过程有问题多半是忽略了边界条件再比如均匀分布的θ估计量如果小于了样本最大值那更不可能因为样本里已经出现了大于θ的观测值与概率模型的假设直接矛盾。这个校验习惯考前一定要养成尤其在考场上时间紧张时它是成本最低的救命检查。5. 多参数与离散分布考场上的进阶问法5.1 多个未知参数的联立方程操作正态分布已经展示了两个参数的MLE这里我把操作要点提炼一下。当未知参数多于一个时标准流程是写出完整似然函数L(θ₁,…,θₖ)取对数得到ln L对每个参数分别求偏导令所有偏导同时为零解联立方程组解得所有参数的表达式。这套流程在数学上叫求对数似然函数的驻点。唯一的额外注意点在于解方程时不要急着代入数值尽量先把表达式化简成封闭形式。比如正态分布那题先由第一式得μ̂ x̄再把x̄代回第二式得σ̂²的表达式。一旦中间环节开始浮现小数后面所有运算都会变得容易出错。有一种进阶题型也值得心里有底双参数指数分布。设X的密度为 f(x;α,β) (1/β)exp(-(x-α)/β)其中xαβ0。这个题目的MLE求解分为两步——对于α它的定义域受限于xᵢα且似然函数关于α单调递增所以α̂ min(xᵢ)锁定α̂之后再用求导方法求解β̂ x̄ - α̂。这种次序统计量导数方法的混合题型正是均匀分布和正态分布两种考法的融合遇到了一定要想清楚哪部分用单调性、哪部分用驻点条件。5.2 泊松分布与伯努利分布的完整实操离散型总体的最大似然估计期末同样常考。概率函数里出现的阶乘、指数形式容易让人看花眼但本质套路没变。先看泊松分布。设X ~ P(λ)分布律为P(Xk) λᵏe⁻λ/k!样本x₁,…,xₙ的似然函数为L(λ) ∏(λˣⁱe⁻λ/xᵢ!) λ^{Σxᵢ}e⁻ⁿλ / ∏(xᵢ!)取对数ln L (Σxᵢ)lnλ - nλ - Σln(xᵢ!)注意最后一项Σln(xᵢ!)与λ无关求导时直接消失。对λ求导d(ln L)/dλ Σxᵢ/λ - n 0解得λ̂ Σxᵢ/n x̄结论非常干净——泊松分布的参数λ的最大似然估计就是样本均值这也是这个结论在教科书里被反复强调的原因。再看伯努利分布。设X ~ B(1,p)P(X1)pP(X0)1-p样本中1的个数记为k则L(p) pᵏ(1-p)ⁿᐨᵏ取对数ln L k ln p (n-k)ln(1-p)求导k/p - (n-k)/(1-p) 0解得p̂ k/n x̄有没有发现规律不管离散连续单参数的大多数常规分布MLE往往最终都落到样本均值或样本均值的函数上。考试时如果你算出来的结果明显不是一个简单的、可解释的形式先别急着交卷重新检查七步流程——八成是哪一步的对数展开出了问题。5.3 隐含条件参数范围的二次检查离散型里还有一个隐蔽的扣分点。比如二项分布B(N,p)参数p的MLE是k/(Nn)但很多人都忽略了一个细节p̂ k/(Nn)必须满足0≤p̂≤1。如果把样本量n或二项试验次数N搞混算出来的比例可能越界。更隐蔽的是当样本里全是0或者全是1时p̂会落在端点0或1上这其实也是合法的MLE——因为似然函数在端点处取最大值此时你写p̂0或p̂1是完全正确的不需要觉得难堪。很多同学拿到这种极端样本会想着估计值不能等于0或1吧然后自作主张改成一个近似值这是大错特错。最大似然估计的唯一标准是让似然函数最大端点结果就是最大不要画蛇添足。6. 阅卷视角的隐藏扣分点这些细节决定你拿满分还是半截分6.1 估计量还是估计值一字之差就是题设事故求θ的最大似然估计量和求θ的最大似然估计值在期末试卷里是有严格区分的大题设问。估计量是用样本随机变量表达的统计量写作θ̂(X₁,…,Xₙ)是一个随机变量的函数估计值是把具体观测数字代入后得到的常数写作θ̂(x₁,…,xₙ)。正确的回答规范是题干求最大似然估计量最终表达式里保留大写Xᵢ或x̄等统计量符号不代入具体数题干若样本观测值为……求最大似然估计值你需要在给出表达式之后把具体数值代入算出最终数字。我在改卷时见过太多学生全程只用小写xᵢ算到最后也没有任何一句将观测值代入得……的说明直接被扣掉结果分。这个分的损失完全可控——考前只需养成一个习惯落笔写结论前看一眼题干问的是量还是值。6.2 无偏性校验MLE有偏并不罕见期末第二问常垂青判断该估计量是否无偏。这里有个非常普遍的误区很多同学默认最大似然估计应该都是无偏的——恰恰相反这个说法完全不正确。拿正态分布来说最大似然估计σ̂² (1/n)Σ(xᵢ-x̄)²的期望值是E(σ̂²) (n-1)/n · σ²这个值永远小于σ²所以σ̂²不是σ²的无偏估计。要想无偏需要乘上n/(n-1)得到修正的样本方差S² (1/(n-1))Σ(xᵢ-x̄)²。这就是教科书反复强调样本方差除以n-1在统计含义上的根源——不是为了凑自由度而是为了无偏性。指数分布Expo(λ)的MLE为λ̂ 1/x̄但E(1/x̄)并不等于1/E(x̄) λ所以它也是有偏的。考场上如果题目问判断无偏性你需要老老实实算期望对样本均值类估计量利用E(x̄) μ通常很快对非线性变换类估计量比如1/x̄、x̄²等不要想当然要么用密度函数积分算期望要么利用相关已知结论。这里我必须给一个提醒无偏性判断是档位分算出来结果不同整题可能少拿一半分。不要因为我觉得应该无偏就跳过期望计算那是在赌运气。6.3 连续运算中的数值精度期末计算很简单但用计算器也有学问。我建议采用全程保留表达式、最后一步再代数字的策略。比如算x̄时如果中间商是分数就先用分数形式保留万一要用小数统一保留4位有效数字以上避免四舍五入误差传到最终结果。最后的估计值按常规保留3位小数即可。这类题目阅卷通常会看步骤末位数字步骤占比高实际上只要逻辑正确、算式完整中途出现很小的计算误差时阅卷老师通常也会给同情分。但如果你在中间步骤就开始省略和约分最后结果偏差太大分数就很难看了。7. 一周冲刺安排从会做到做对在这里我建议复习计划按题型分层套卷节奏来排而不是死磕某本教材的一整章。以考前一天为D-1倒推一个紧凑的节奏可以是这样时间复习内容完成标准D-7理解似然函数定义重新推导五类分布的MLE不看笔记能写出L(θ)并说出取对数的理由D-6专项练习连续型单参数指数、均匀每天10题错误率降到20%以下D-5专项练习多参数正态、双参数指数能熟练解偏导方程组D-4专项练习离散型泊松、二项能区分分布律写法且不遗漏阶乘项D-3无偏性与相合性的配套习题会严格计算期望不凭直觉判断D-2两套完整真题卷限时训练整套试卷在120分钟内完成MLE部分不超时D-1错题重做公式卡片卡片上五类分布的估计量表达式能默写7.1 分题型刷题的三个原则第一个原则是重质量不重数量。最大似然估计的题型非常有限吃透一道经典题胜过盲目刷十道换数不换法的题。建议每做完一道题自己用一句话概括这题考了哪个分布、哪个陷阱、用什么手段解决整理成自己的错题注脚。第二个原则是限时训练。一道MLE大题考场上合理分配时间在12到15分钟。平时练习时就要给自己掐表如果超时说明对步骤还不熟练需要用三步曲形成肌肉记忆写L(θ) → 写ln L → 求导解方程。第三个原则是重算一遍。所有算出的估计量都用一个小样本手算验证一下趋势是否合理。比如正态分布你算σ̂²如果比样本方差还大就要警觉是不是公式写错了——因为σ̂² (n-1)/n·S²它理论上不应该超过S²一旦违背这个直观必有问题。7.2 自测时的评分标准模拟冲剌阶段的自测不要只看对错建议按阅卷视角给自己打分似然函数表达式正确得30%分取对数并正确化简再得30%分求导并解出结果得30%分给出估计量、估计值的规范结论及必要的范围验证得最后10%分。你可以拿这样一套评分逻辑去判断自己的薄弱环节在哪。多数人失分不在求导而在似然函数写错或者忘写定义域这从源头上就决定了后面全是无用功。把前面30%的基础分抓牢比一味追求速度和复杂题型更划算。复习到这个时候你可以合上笔记问自己三个问题给我一个总体密度我能立刻写下它的似然函数吗遇到求导失效的情形我知道该考虑单调性和边界吗题干问估计量还是估计值我能规范作答吗如果答案都是肯定的那这一块内容在考场上大概率稳了。剩下的就是把计算步骤写得再工整一点让阅卷老师一眼看到你的思路脉络。