1. 从数据像不像正态说起为什么这一步绕不过去很多人做数据分析拿到一列数字的第一反应是直接算均值、跑t检验、上线性模型。但只要样本量不大、分布稍微偏一点这些基于正态假设的方法就会给出离谱的结论。我见过太多案例明明数据是明显的右偏分布硬套t检验p值看着显著实际结论完全站不住脚。问题就出在——没有先做分布检验。正态分布检验是统计建模的地基。一元正态检验针对单个变量判断它是否服从正态分布多元正态检验则针对多个变量的联合分布判断它们的联合分布是否近似多元正态。后者在多元统计分析、结构方程模型、判别分析、Hotellings T²检验等场景里是前置条件。R语言在这块的工具链非常成熟从可视化到正式检验从一元到多元都有对应的函数和包。这篇文章面向的是已经会用R做基本数据处理、但还没系统掌握分布检验流程的人。我会把一元和多元正态检验的完整链路拆开讲先讲清楚每种方法背后的逻辑再给可直接运行的代码最后补上那些文档里不会写、但实操中一定会遇到的坑。文中所有数据均为模拟生成不涉及任何真实数据源。需要提前说明一点标题里提到也可以用于其他分布的检验这不是凑数。正态检验的很多思路——比如经验分布对比、分位数对比、拟合优度——可以平移到指数分布、均匀分布、伽马分布等任意分布的检验上。我会在最后一节专门讲这个迁移方法。2. 一元正态检验三条路线各有各的适用边界一元正态检验的方法大致分三类可视化诊断、基于经验分布的正式检验、基于矩的检验。很多人只记住shapiro.test()但不同方法在不同样本量、不同偏度下的表现差异很大选错了会得出相反结论。2.1 可视化诊断先看图再决定要不要检验正式检验之前我强烈建议先画图。原因很简单检验给出的是是否拒绝正态假设的二元结论而图能告诉你偏离正态的方向和程度。一个p值0.04的检验结果可能只是轻微厚尾也可能是有明显的双峰——这两种情况的处理方式完全不同。最常用的两张图是直方图叠加密度曲线和Q-Q图。set.seed(42) # 生成三组模拟数据标准正态、右偏、双峰 x_norm - rnorm(500, mean 50, sd 10) x_skew - rgamma(500, shape 2, scale 5) x_bimodal - c(rnorm(250, 30, 5), rnorm(250, 70, 5)) # 直方图 密度曲线 par(mfrow c(1, 3)) hist(x_norm, prob TRUE, breaks 30, main 近似正态, col lightblue) lines(density(x_norm), col red, lwd 2) hist(x_skew, prob TRUE, breaks 30, main 右偏, col lightgreen) lines(density(x_skew), col red, lwd 2) hist(x_bimodal, prob TRUE, breaks 30, main 双峰, col lightyellow) lines(density(x_bimodal), col red, lwd 2)Q-Q图更精细它把样本分位数和理论正态分位数做对比。点落在对角线上说明吻合偏离方向能直接读出偏度和峰度信息。par(mfrow c(1, 3)) qqnorm(x_norm, main Q-Q: 近似正态); qqline(x_norm, col red) qqnorm(x_skew, main Q-Q: 右偏); qqline(x_skew, col red) qqnorm(x_bimodal, main Q-Q: 双峰); qqline(x_bimodal, col red)读Q-Q图的经验右偏数据的点会在右上方向上翘、左下方向下弯左偏相反厚尾数据两端点会明显偏离对角线中间贴合双峰数据会呈现S形或分段偏离。这些形态特征比p值更有诊断价值。注意直方图的分箱数breaks参数会显著影响视觉判断。分箱太少会掩盖双峰太多会显得毛糙。我一般用breaks 30起步样本量超过1000时用breaks FD让R自动按Freedman-Diaconis规则选。2.2 基于经验分布的正式检验Shapiro-Wilk、K-S与Anderson-Darling可视化只能定性正式检验给的是定量证据。R里常用的有三个Shapiro-Wilk、Kolmogorov-Smirnov、Anderson-Darling。Shapiro-Wilk检验是小样本n 5000下的首选统计量W越接近1越正态。它的原假设是数据来自正态分布p值小于显著性水平就拒绝。shapiro.test(x_norm) # p值应该很大不拒绝 shapiro.test(x_skew) # p值应该很小拒绝 shapiro.test(x_bimodal)实测下来Shapiro-Wilk对偏度敏感对峰度也敏感综合性能在n5000时是最好的。但样本量超过5000时R会报错因为大样本下它对微小偏离也极度敏感几乎必然拒绝。Kolmogorov-Smirnov检验ks.test的原假设是数据来自某个指定分布。用它检验正态时必须指定均值和标准差否则默认对比标准正态结果没意义。# 错误做法不指定参数默认对比N(0,1) ks.test(x_norm, pnorm) # 结果不可信 # 正确做法用样本估计的参数 ks.test(x_norm, pnorm, mean mean(x_norm), sd sd(x_norm))这里有个大坑用样本估计的参数去做K-S检验p值会偏大偏保守因为参数是从同一批数据估的相当于用数据拟合数据。严格的K-S检验要求参数已知。实践中如果非要用可以用Lilliefors修正R里nortest包的lillie.test()实现了这个修正。Anderson-Darling检验nortest::ad.test对尾部偏离更敏感适合关注极端值的场景。它的统计量给尾部更大权重所以对厚尾、离群点比K-S更灵敏。library(nortest) ad.test(x_norm) ad.test(x_skew) lillie.test(x_norm) # Lilliefors修正的K-S三个检验的对比我整理成表检验方法函数适用样本量敏感方向参数要求Shapiro-Wilkshapiro.testn 5000偏度峰度无需指定K-Sks.test任意整体分布需指定参数Lillieforslillie.test任意整体分布无需指定Anderson-Darlingad.test任意尾部无需指定2.3 基于偏度峰度的检验当样本量很大时怎么办样本量上万时Shapiro-Wilk用不了K-S又太敏感。这时候可以转向偏度-峰度检验。思路是正态分布的偏度为0、峰度为3超额峰度为0。计算样本偏度和峰度看它们是否显著偏离理论值。library(moments) skewness(x_norm) # 接近0 kurtosis(x_norm) # 接近3 # 构造检验统计量大样本下近似正态 n - length(x_norm) sk - skewness(x_norm) ku - kurtosis(x_norm) # 偏度的标准误约为 sqrt(6/n) z_sk - sk / sqrt(6/n) # 超额峰度的标准误约为 sqrt(24/n) z_ku - (ku - 3) / sqrt(24/n) c(skew_z z_sk, kurt_z z_ku)moments包还提供了agostino.test偏度检验和anscombe.test峰度检验它们做了更精细的变换小样本下也比直接算z值靠谱。agostino.test(x_norm) anscombe.test(x_norm)我的经验是大样本下不要迷信单一检验的p值。n10000时哪怕数据只是轻微偏离正态几乎所有检验都会拒绝。这时候要看偏离的实际程度——偏度绝对值小于0.5、超额峰度绝对值小于1通常可以认为近似正态后续参数方法仍然稳健。这是中心极限定理给的底气。3. 多元正态检验一元方法的简单叠加为什么不够一元正态检验做完很多人会想那我对每个变量分别做一遍Shapiro-Wilk全通过了是不是就说明联合分布是多元正态不是。这是多元正态检验里最常见的误解。多元正态要求的是任意线性组合都服从一元正态。每个边缘分布正态联合分布不一定正态——经典反例是X和Y各自标准正态但联合分布可以是两个正态的混合边缘看着正常联合却有双峰或非线性相关结构。所以必须用专门的多元方法。3.1 马氏距离与卡方Q-Q图最直观的多元诊断多元正态的一个关键性质如果数据服从p维多元正态那么每个观测的马氏距离平方服从自由度为p的卡方分布。这个性质直接给出了一个诊断工具——卡方Q-Q图。library(MASS) set.seed(123) # 生成二元正态数据 Sigma - matrix(c(1, 0.6, 0.6, 1), nrow 2) X - mvrnorm(500, mu c(0, 0), Sigma Sigma) # 计算马氏距离平方 center - colMeans(X) S - cov(X) md2 - mahalanobis(X, center, S) # 卡方Q-Q图 p - ncol(X) qqplot(qchisq(ppoints(500), df p), md2, main 卡方Q-Q图, xlab 卡方理论分位数, ylab 马氏距离平方) abline(0, 1, col red)如果点大致落在对角线上说明多元正态假设合理。偏离对角线尤其是右上角上翘说明存在离群点或厚尾。这个方法的优势是把p维问题降到了一维可视化非常直观。但它对离群点敏感一个极端值就能让整张图变形。所以通常配合下面的正式检验一起用。3.2 Mardia检验偏度和峰度的多元推广Mardia检验是多元正态检验里最常用的正式方法它把一元偏度峰度推广到多元。Mardia偏度衡量分布的不对称性Mardia峰度衡量尾部厚度。MVN包提供了完整实现。library(MVN) result - mvn(data X, mvnTest mardia) result$multivariate_normality输出会给出Mardia偏度和峰度的统计量及p值。两个p值都大于显著性水平才不拒绝多元正态。MVN包还支持其他检验方法通过mvnTest参数切换mvn(X, mvnTest hz) # Henze-Zirkler检验 mvn(X, mvnTest royston) # Royston检验适合n p的情况 mvn(X, mvnTest dh) # Doornik-Hansen检验各方法的适用场景方法参数值适用条件特点Mardiamardian p大样本经典对峰度敏感Henze-Zirklerhz任意综合性能好计算稍慢Roystonroystonn 5000小样本友好Doornik-Hansendh大样本基于变换稳健我一般先用Henze-Zirkler做初筛因为它对偏度和峰度都敏感综合性能在模拟研究中表现最好。如果样本量小比如n50换Royston。Mardia作为补充看偏度和峰度分别的情况。3.3 多元离群点检测检验失败时先找捣乱分子多元正态检验拒绝原假设很多时候不是整体分布不对而是少数离群点在作祟。这时候直接下数据不正态的结论太草率应该先做离群点检测。基于马氏距离的检测是最直接的距离超过卡方临界值的观测就是候选离群点。# 用卡方临界值标记离群点 alpha - 0.001 threshold - qchisq(1 - alpha, df p) outliers - which(md2 threshold) length(outliers) # 可视化 plot(md2, pch 19, col ifelse(md2 threshold, red, blue), ylab 马氏距离平方, main 多元离群点检测) abline(h threshold, col red, lty 2)MVN包也内置了离群点检测mvn(X, multivariateOutlierMethod quan) # 分位数法 mvn(X, multivariateOutlierMethod adj) # 调整法找到离群点后不要急着删。先判断它是数据录入错误还是真实极端值。录入错误直接修正真实极端值要结合业务判断——如果它代表一个重要的少数群体删掉会丢失信息这时候可以考虑稳健统计方法或者对数据做变换。实操心得我处理过一批数据Mardia检验p值小于0.001看着完全不正态。结果用马氏距离一查500个样本里只有3个离群点。剔除后重新检验p值0.3完全通过。如果当时直接放弃多元方法就白白浪费了这批数据。4. 当正态假设不成立变换与稳健替代方案检验做完如果数据确实不正态有两条路变换数据让它接近正态或者换用不依赖正态假设的方法。两条路各有适用场景选错了会引入新问题。4.1 Box-Cox变换找到最优的幂变换参数Box-Cox变换是一族幂变换通过极大似然估计找最优的λ参数。λ1是恒等变换λ0是对数变换λ0.5是平方根变换。library(MASS) # 对右偏数据做Box-Cox bc - boxcox(x_skew ~ 1, lambda seq(-2, 2, 0.1)) lambda_opt - bc$x[which.max(bc$y)] lambda_opt # 应用变换 x_transformed - (x_skew^lambda_opt - 1) / lambda_opt shapiro.test(x_transformed)Box-Cox有个硬性要求数据必须全为正数。有零或负数时用不了这时候可以用Yeo-Johnson变换它把定义域扩展到了全体实数。car包的yjPower函数实现了这个。library(car) yj - yjPower(x_skew, lambda 0.5) # 需要先估计lambda变换的代价是可解释性下降。对数变换后的均值反变换回去不是原尺度的均值。所以如果业务方需要原尺度的结论变换要慎用或者只在建模阶段用、报告时反变换。4.2 非参数方法不假设分布也能做推断如果变换效果不好或者业务上不允许变换那就换非参数方法。常见的对应关系参数方法非参数替代R函数单样本t检验Wilcoxon符号秩检验wilcox.test两独立样本t检验Mann-Whitney U检验wilcox.test单因素方差分析Kruskal-Wallis检验kruskal.test重复测量方差分析Friedman检验friedman.testPearson相关Spearman相关cor(methodspearman)非参数方法不依赖正态假设但检验效能会低一些——同样样本量下如果数据其实接近正态非参数方法的p值会偏大。所以不是不正态就无脑上非参数而是要看偏离程度。轻微偏离偏度1时参数方法通常仍然稳健尤其是大样本。4.3 稳健统计量折中方案介于两者之间的是稳健统计方法比如用中位数代替均值、用M估计代替最小二乘、用稳健协方差矩阵代替样本协方差。MASS包的rlm做稳健回归robustbase包提供了稳健的多元方法。library(robustbase) # 稳健协方差估计 cov_robust - covMcd(X) # 用稳健中心做马氏距离 md2_robust - mahalanobis(X, cov_robust$center, cov_robust$cov)稳健方法的好处是保留参数方法的解释框架同时对离群点不敏感。代价是计算复杂、理论门槛高报告时也要额外说明用了什么估计量。5. 把正态检验的思路迁移到其他分布标题里说也可以用于其他分布的检验这不是空话。正态检验的三大思路——经验分布对比、分位数对比、拟合优度——可以平移到任意分布。5.1 任意分布的K-S检验ks.test的第二个参数可以是任意分布函数。检验指数分布x_exp - rexp(500, rate 0.5) ks.test(x_exp, pexp, rate 0.5)检验均匀分布x_unif - runif(500, min 0, max 10) ks.test(x_unif, punif, min 0, max 10)检验伽马分布x_gamma - rgamma(500, shape 3, rate 2) # 参数需要先估计 fit - MASS::fitdistr(x_gamma, gamma) ks.test(x_gamma, pgamma, shape fit$estimate[shape], rate fit$estimate[rate])同样的坑参数从数据估计时K-S的p值偏保守。严格做法是用Lilliefors类修正或者用参数自助法parametric bootstrap模拟p值分布。5.2 通用Q-Q图一行代码适配任意分布Q-Q图的原理是分位数对比只要指定理论分布的分位数函数就能画任意分布的Q-Q图。# 通用Q-Q图函数 qq_any - function(data, dist_func, params list(), main Q-Q图) { n - length(data) theoretical - do.call(dist_func, c(list(p ppoints(n)), params)) observed - sort(data) plot(theoretical, observed, main main, xlab 理论分位数, ylab 样本分位数, pch 19) abline(0, 1, col red) } # 指数分布Q-Q图 qq_any(x_exp, qexp, list(rate 0.5), 指数分布Q-Q图) # 均匀分布Q-Q图 qq_any(x_unif, qunif, list(min 0, max 10), 均匀分布Q-Q图)这个函数的好处是通用。换分布只需要换dist_func和params可视化逻辑完全复用。5.3 拟合优度检验卡方检验的通用框架对于离散分布或者分箱后的连续分布卡方拟合优度检验是通用工具。# 检验泊松分布 x_pois - rpois(500, lambda 4) observed - table(x_pois) # 合并频数过小的类别 lambda_hat - mean(x_pois) expected - dpois(as.numeric(names(observed)), lambda_hat) * length(x_pois) # 合并期望频数小于5的类别 chisq.test(observed, p expected / sum(expected))卡方检验的关键约束每个类别的期望频数不小于5。不满足时要合并类别否则p值不可信。这是实操中最容易忽略的点。5.4 分布选择的决策流程面对一批数据怎么选检验方法我总结了一个决策流程先画图直方图Q-Q图定性判断分布形态和偏离方向。看样本量n5000用Shapiro-Wilk一元或Royston多元n大用Anderson-Darling或偏度峰度。看维度一元用shapiro.test多元用MVN::mvn。查离群点检验拒绝时先做离群点检测排除少数捣乱分子。决定策略轻微偏离用参数方法稳健标准误中度偏离做变换严重偏离或变换无效用非参数。报告结果无论用哪种方法都要报告检验统计量、p值、以及你做了什么处理。这个流程不是死的但按它走能避免大部分低级错误。6. 那些文档里不会写的实操坑这一节是我这些年踩过的坑的汇总每一条都对应一个具体的翻车场景。坑一Shapiro-Wilk的样本量上限。n超过5000时R直接报错sample size must be between 3 and 5000。很多人不知道这个限制数据一多就卡住。解决方案大样本改用ad.test或偏度峰度检验或者随机抽样5000个做检验。坑二K-S检验的参数陷阱。ks.test(x, pnorm)不指定参数时对比的是标准正态N(0,1)。如果你的数据均值是50这个检验必然拒绝但拒绝的原因不是不正态而是均值不是0。这个错误极其常见我见过不止一个项目栽在这上面。坑三多元检验对样本量的要求。Mardia检验在n p时无法计算协方差矩阵奇异。Henze-Zirkler在n很小时功效很低。经验规则n至少是p的10倍多元检验结果才比较可靠。样本不够时要么降维要么用一元方法逐个检验并说明局限。坑四多重检验校正。对10个变量分别做Shapiro-Wilk每个用0.05的显著性水平至少拒绝一个的概率是1-0.95^10≈40%。也就是说即使数据全正态你也有四成概率发现不正态。这时候要用Bonferroni或FDR校正。p_values - apply(X, 2, function(v) shapiro.test(v)$p.value) p_adjusted - p.adjust(p_values, method BH) # Benjamini-Hochberg坑五变换后的反变换。对数变换后做的置信区间反变换回去不是原尺度均值的置信区间而是中位数的。这个区别在报告结果时经常被忽略导致结论偏差。坑六p值不是唯一标准。n100000时偏度0.05也会被检验出显著不正态。但偏度0.05在实际中完全可以忽略。统计显著不等于实际显著这是分布检验里最需要牢记的一条。坑七MVN包的图形输出。mvn(X, multivariatePlot qq)会直接画图但在RStudio的某些版本里图形设备会冲突导致图出不来。解决方法是先pdf(NULL)或者用dev.new()开新设备。坑八模拟数据的可复现性。所有涉及随机数的代码务必在开头set.seed()。我见过太多人跑出来的结果和别人对不上就是因为没设种子。种子值本身不重要重要的是固定。7. 完整实战从数据生成到结论输出的全流程把前面所有内容串起来走一遍完整流程。假设我们有一批模拟的多元数据需要判断能否用多元正态方法。set.seed(2024) library(MASS) library(MVN) library(moments) # 第一步生成模拟数据含少量离群点 n - 300 Sigma - matrix(c(1, 0.5, 0.3, 0.5, 1, 0.4, 0.3, 0.4, 1), nrow 3) X - mvrnorm(n, mu c(10, 20, 30), Sigma Sigma) # 人为加入5个离群点 X[1:5, ] - X[1:5, ] * 3 # 第二步一元检验逐个变量 univ_results - data.frame( variable paste0(V, 1:3), shapiro_p NA, skewness NA, kurtosis NA ) for (i in 1:3) { univ_results$shapiro_p[i] - shapiro.test(X[, i])$p.value univ_results$skewness[i] - skewness(X[, i]) univ_results$kurtosis[i] - kurtosis(X[, i]) } print(univ_results) # 第三步多元检验 mvn_result - mvn(X, mvnTest hz) print(mvn_result$multivariate_normality) # 第四步离群点检测 outlier_result - mvn(X, multivariateOutlierMethod quan) print(outlier_result$multivariate_outlier) # 第五步剔除离群点后重新检验 X_clean - X[-c(1:5), ] mvn_clean - mvn(X_clean, mvnTest hz) print(mvn_clean$multivariate_normality) # 第六步可视化确认 par(mfrow c(1, 2)) mvn(X_clean, multivariatePlot qq)这个流程的关键在于迭代检验→发现离群点→剔除→重新检验→可视化确认。不要指望一次通过。实际数据里离群点、厚尾、轻微偏度几乎必然存在重要的是判断它们是否严重到影响后续分析。关于剔除离群点我的原则是能解释的才剔除。如果离群点对应数据录入错误、设备故障、或者明确的异常事件剔除合理如果只是看着不顺眼那要谨慎因为可能是真实的重要信号。剔除后必须在报告中说明剔除了几个、依据是什么。最后说一个我自己的习惯把检验结果和可视化图一起存档。p值会随着样本量变化但图不会骗人。半年后回头看图能让你快速回忆起当时的数据形态而一堆p值只会让你困惑。这个习惯在长期项目中特别有用。 
长河君 · 2026/10/13 0:09:02 · 阅读 1.2k R语言正态分布检验全指南：从一元到多元及分布迁移
1. 从数据像不像正态说起为什么这一步绕不过去很多人做数据分析拿到一列数字的第一反应是直接算均值、跑t检验、上线性模型。但只要样本量不大、分布稍微偏一点这些基于正态假设的方法就会给出离谱的结论。我见过太多案例明明数据是明显的右偏分布硬套t检验p值看着显著实际结论完全站不住脚。问题就出在——没有先做分布检验。正态分布检验是统计建模的地基。一元正态检验针对单个变量判断它是否服从正态分布多元正态检验则针对多个变量的联合分布判断它们的联合分布是否近似多元正态。后者在多元统计分析、结构方程模型、判别分析、Hotellings T²检验等场景里是前置条件。R语言在这块的工具链非常成熟从可视化到正式检验从一元到多元都有对应的函数和包。这篇文章面向的是已经会用R做基本数据处理、但还没系统掌握分布检验流程的人。我会把一元和多元正态检验的完整链路拆开讲先讲清楚每种方法背后的逻辑再给可直接运行的代码最后补上那些文档里不会写、但实操中一定会遇到的坑。文中所有数据均为模拟生成不涉及任何真实数据源。需要提前说明一点标题里提到也可以用于其他分布的检验这不是凑数。正态检验的很多思路——比如经验分布对比、分位数对比、拟合优度——可以平移到指数分布、均匀分布、伽马分布等任意分布的检验上。我会在最后一节专门讲这个迁移方法。2. 一元正态检验三条路线各有各的适用边界一元正态检验的方法大致分三类可视化诊断、基于经验分布的正式检验、基于矩的检验。很多人只记住shapiro.test()但不同方法在不同样本量、不同偏度下的表现差异很大选错了会得出相反结论。2.1 可视化诊断先看图再决定要不要检验正式检验之前我强烈建议先画图。原因很简单检验给出的是是否拒绝正态假设的二元结论而图能告诉你偏离正态的方向和程度。一个p值0.04的检验结果可能只是轻微厚尾也可能是有明显的双峰——这两种情况的处理方式完全不同。最常用的两张图是直方图叠加密度曲线和Q-Q图。set.seed(42) # 生成三组模拟数据标准正态、右偏、双峰 x_norm - rnorm(500, mean 50, sd 10) x_skew - rgamma(500, shape 2, scale 5) x_bimodal - c(rnorm(250, 30, 5), rnorm(250, 70, 5)) # 直方图 密度曲线 par(mfrow c(1, 3)) hist(x_norm, prob TRUE, breaks 30, main 近似正态, col lightblue) lines(density(x_norm), col red, lwd 2) hist(x_skew, prob TRUE, breaks 30, main 右偏, col lightgreen) lines(density(x_skew), col red, lwd 2) hist(x_bimodal, prob TRUE, breaks 30, main 双峰, col lightyellow) lines(density(x_bimodal), col red, lwd 2)Q-Q图更精细它把样本分位数和理论正态分位数做对比。点落在对角线上说明吻合偏离方向能直接读出偏度和峰度信息。par(mfrow c(1, 3)) qqnorm(x_norm, main Q-Q: 近似正态); qqline(x_norm, col red) qqnorm(x_skew, main Q-Q: 右偏); qqline(x_skew, col red) qqnorm(x_bimodal, main Q-Q: 双峰); qqline(x_bimodal, col red)读Q-Q图的经验右偏数据的点会在右上方向上翘、左下方向下弯左偏相反厚尾数据两端点会明显偏离对角线中间贴合双峰数据会呈现S形或分段偏离。这些形态特征比p值更有诊断价值。注意直方图的分箱数breaks参数会显著影响视觉判断。分箱太少会掩盖双峰太多会显得毛糙。我一般用breaks 30起步样本量超过1000时用breaks FD让R自动按Freedman-Diaconis规则选。2.2 基于经验分布的正式检验Shapiro-Wilk、K-S与Anderson-Darling可视化只能定性正式检验给的是定量证据。R里常用的有三个Shapiro-Wilk、Kolmogorov-Smirnov、Anderson-Darling。Shapiro-Wilk检验是小样本n 5000下的首选统计量W越接近1越正态。它的原假设是数据来自正态分布p值小于显著性水平就拒绝。shapiro.test(x_norm) # p值应该很大不拒绝 shapiro.test(x_skew) # p值应该很小拒绝 shapiro.test(x_bimodal)实测下来Shapiro-Wilk对偏度敏感对峰度也敏感综合性能在n5000时是最好的。但样本量超过5000时R会报错因为大样本下它对微小偏离也极度敏感几乎必然拒绝。Kolmogorov-Smirnov检验ks.test的原假设是数据来自某个指定分布。用它检验正态时必须指定均值和标准差否则默认对比标准正态结果没意义。# 错误做法不指定参数默认对比N(0,1) ks.test(x_norm, pnorm) # 结果不可信 # 正确做法用样本估计的参数 ks.test(x_norm, pnorm, mean mean(x_norm), sd sd(x_norm))这里有个大坑用样本估计的参数去做K-S检验p值会偏大偏保守因为参数是从同一批数据估的相当于用数据拟合数据。严格的K-S检验要求参数已知。实践中如果非要用可以用Lilliefors修正R里nortest包的lillie.test()实现了这个修正。Anderson-Darling检验nortest::ad.test对尾部偏离更敏感适合关注极端值的场景。它的统计量给尾部更大权重所以对厚尾、离群点比K-S更灵敏。library(nortest) ad.test(x_norm) ad.test(x_skew) lillie.test(x_norm) # Lilliefors修正的K-S三个检验的对比我整理成表检验方法函数适用样本量敏感方向参数要求Shapiro-Wilkshapiro.testn 5000偏度峰度无需指定K-Sks.test任意整体分布需指定参数Lillieforslillie.test任意整体分布无需指定Anderson-Darlingad.test任意尾部无需指定2.3 基于偏度峰度的检验当样本量很大时怎么办样本量上万时Shapiro-Wilk用不了K-S又太敏感。这时候可以转向偏度-峰度检验。思路是正态分布的偏度为0、峰度为3超额峰度为0。计算样本偏度和峰度看它们是否显著偏离理论值。library(moments) skewness(x_norm) # 接近0 kurtosis(x_norm) # 接近3 # 构造检验统计量大样本下近似正态 n - length(x_norm) sk - skewness(x_norm) ku - kurtosis(x_norm) # 偏度的标准误约为 sqrt(6/n) z_sk - sk / sqrt(6/n) # 超额峰度的标准误约为 sqrt(24/n) z_ku - (ku - 3) / sqrt(24/n) c(skew_z z_sk, kurt_z z_ku)moments包还提供了agostino.test偏度检验和anscombe.test峰度检验它们做了更精细的变换小样本下也比直接算z值靠谱。agostino.test(x_norm) anscombe.test(x_norm)我的经验是大样本下不要迷信单一检验的p值。n10000时哪怕数据只是轻微偏离正态几乎所有检验都会拒绝。这时候要看偏离的实际程度——偏度绝对值小于0.5、超额峰度绝对值小于1通常可以认为近似正态后续参数方法仍然稳健。这是中心极限定理给的底气。3. 多元正态检验一元方法的简单叠加为什么不够一元正态检验做完很多人会想那我对每个变量分别做一遍Shapiro-Wilk全通过了是不是就说明联合分布是多元正态不是。这是多元正态检验里最常见的误解。多元正态要求的是任意线性组合都服从一元正态。每个边缘分布正态联合分布不一定正态——经典反例是X和Y各自标准正态但联合分布可以是两个正态的混合边缘看着正常联合却有双峰或非线性相关结构。所以必须用专门的多元方法。3.1 马氏距离与卡方Q-Q图最直观的多元诊断多元正态的一个关键性质如果数据服从p维多元正态那么每个观测的马氏距离平方服从自由度为p的卡方分布。这个性质直接给出了一个诊断工具——卡方Q-Q图。library(MASS) set.seed(123) # 生成二元正态数据 Sigma - matrix(c(1, 0.6, 0.6, 1), nrow 2) X - mvrnorm(500, mu c(0, 0), Sigma Sigma) # 计算马氏距离平方 center - colMeans(X) S - cov(X) md2 - mahalanobis(X, center, S) # 卡方Q-Q图 p - ncol(X) qqplot(qchisq(ppoints(500), df p), md2, main 卡方Q-Q图, xlab 卡方理论分位数, ylab 马氏距离平方) abline(0, 1, col red)如果点大致落在对角线上说明多元正态假设合理。偏离对角线尤其是右上角上翘说明存在离群点或厚尾。这个方法的优势是把p维问题降到了一维可视化非常直观。但它对离群点敏感一个极端值就能让整张图变形。所以通常配合下面的正式检验一起用。3.2 Mardia检验偏度和峰度的多元推广Mardia检验是多元正态检验里最常用的正式方法它把一元偏度峰度推广到多元。Mardia偏度衡量分布的不对称性Mardia峰度衡量尾部厚度。MVN包提供了完整实现。library(MVN) result - mvn(data X, mvnTest mardia) result$multivariate_normality输出会给出Mardia偏度和峰度的统计量及p值。两个p值都大于显著性水平才不拒绝多元正态。MVN包还支持其他检验方法通过mvnTest参数切换mvn(X, mvnTest hz) # Henze-Zirkler检验 mvn(X, mvnTest royston) # Royston检验适合n p的情况 mvn(X, mvnTest dh) # Doornik-Hansen检验各方法的适用场景方法参数值适用条件特点Mardiamardian p大样本经典对峰度敏感Henze-Zirklerhz任意综合性能好计算稍慢Roystonroystonn 5000小样本友好Doornik-Hansendh大样本基于变换稳健我一般先用Henze-Zirkler做初筛因为它对偏度和峰度都敏感综合性能在模拟研究中表现最好。如果样本量小比如n50换Royston。Mardia作为补充看偏度和峰度分别的情况。3.3 多元离群点检测检验失败时先找捣乱分子多元正态检验拒绝原假设很多时候不是整体分布不对而是少数离群点在作祟。这时候直接下数据不正态的结论太草率应该先做离群点检测。基于马氏距离的检测是最直接的距离超过卡方临界值的观测就是候选离群点。# 用卡方临界值标记离群点 alpha - 0.001 threshold - qchisq(1 - alpha, df p) outliers - which(md2 threshold) length(outliers) # 可视化 plot(md2, pch 19, col ifelse(md2 threshold, red, blue), ylab 马氏距离平方, main 多元离群点检测) abline(h threshold, col red, lty 2)MVN包也内置了离群点检测mvn(X, multivariateOutlierMethod quan) # 分位数法 mvn(X, multivariateOutlierMethod adj) # 调整法找到离群点后不要急着删。先判断它是数据录入错误还是真实极端值。录入错误直接修正真实极端值要结合业务判断——如果它代表一个重要的少数群体删掉会丢失信息这时候可以考虑稳健统计方法或者对数据做变换。实操心得我处理过一批数据Mardia检验p值小于0.001看着完全不正态。结果用马氏距离一查500个样本里只有3个离群点。剔除后重新检验p值0.3完全通过。如果当时直接放弃多元方法就白白浪费了这批数据。4. 当正态假设不成立变换与稳健替代方案检验做完如果数据确实不正态有两条路变换数据让它接近正态或者换用不依赖正态假设的方法。两条路各有适用场景选错了会引入新问题。4.1 Box-Cox变换找到最优的幂变换参数Box-Cox变换是一族幂变换通过极大似然估计找最优的λ参数。λ1是恒等变换λ0是对数变换λ0.5是平方根变换。library(MASS) # 对右偏数据做Box-Cox bc - boxcox(x_skew ~ 1, lambda seq(-2, 2, 0.1)) lambda_opt - bc$x[which.max(bc$y)] lambda_opt # 应用变换 x_transformed - (x_skew^lambda_opt - 1) / lambda_opt shapiro.test(x_transformed)Box-Cox有个硬性要求数据必须全为正数。有零或负数时用不了这时候可以用Yeo-Johnson变换它把定义域扩展到了全体实数。car包的yjPower函数实现了这个。library(car) yj - yjPower(x_skew, lambda 0.5) # 需要先估计lambda变换的代价是可解释性下降。对数变换后的均值反变换回去不是原尺度的均值。所以如果业务方需要原尺度的结论变换要慎用或者只在建模阶段用、报告时反变换。4.2 非参数方法不假设分布也能做推断如果变换效果不好或者业务上不允许变换那就换非参数方法。常见的对应关系参数方法非参数替代R函数单样本t检验Wilcoxon符号秩检验wilcox.test两独立样本t检验Mann-Whitney U检验wilcox.test单因素方差分析Kruskal-Wallis检验kruskal.test重复测量方差分析Friedman检验friedman.testPearson相关Spearman相关cor(methodspearman)非参数方法不依赖正态假设但检验效能会低一些——同样样本量下如果数据其实接近正态非参数方法的p值会偏大。所以不是不正态就无脑上非参数而是要看偏离程度。轻微偏离偏度1时参数方法通常仍然稳健尤其是大样本。4.3 稳健统计量折中方案介于两者之间的是稳健统计方法比如用中位数代替均值、用M估计代替最小二乘、用稳健协方差矩阵代替样本协方差。MASS包的rlm做稳健回归robustbase包提供了稳健的多元方法。library(robustbase) # 稳健协方差估计 cov_robust - covMcd(X) # 用稳健中心做马氏距离 md2_robust - mahalanobis(X, cov_robust$center, cov_robust$cov)稳健方法的好处是保留参数方法的解释框架同时对离群点不敏感。代价是计算复杂、理论门槛高报告时也要额外说明用了什么估计量。5. 把正态检验的思路迁移到其他分布标题里说也可以用于其他分布的检验这不是空话。正态检验的三大思路——经验分布对比、分位数对比、拟合优度——可以平移到任意分布。5.1 任意分布的K-S检验ks.test的第二个参数可以是任意分布函数。检验指数分布x_exp - rexp(500, rate 0.5) ks.test(x_exp, pexp, rate 0.5)检验均匀分布x_unif - runif(500, min 0, max 10) ks.test(x_unif, punif, min 0, max 10)检验伽马分布x_gamma - rgamma(500, shape 3, rate 2) # 参数需要先估计 fit - MASS::fitdistr(x_gamma, gamma) ks.test(x_gamma, pgamma, shape fit$estimate[shape], rate fit$estimate[rate])同样的坑参数从数据估计时K-S的p值偏保守。严格做法是用Lilliefors类修正或者用参数自助法parametric bootstrap模拟p值分布。5.2 通用Q-Q图一行代码适配任意分布Q-Q图的原理是分位数对比只要指定理论分布的分位数函数就能画任意分布的Q-Q图。# 通用Q-Q图函数 qq_any - function(data, dist_func, params list(), main Q-Q图) { n - length(data) theoretical - do.call(dist_func, c(list(p ppoints(n)), params)) observed - sort(data) plot(theoretical, observed, main main, xlab 理论分位数, ylab 样本分位数, pch 19) abline(0, 1, col red) } # 指数分布Q-Q图 qq_any(x_exp, qexp, list(rate 0.5), 指数分布Q-Q图) # 均匀分布Q-Q图 qq_any(x_unif, qunif, list(min 0, max 10), 均匀分布Q-Q图)这个函数的好处是通用。换分布只需要换dist_func和params可视化逻辑完全复用。5.3 拟合优度检验卡方检验的通用框架对于离散分布或者分箱后的连续分布卡方拟合优度检验是通用工具。# 检验泊松分布 x_pois - rpois(500, lambda 4) observed - table(x_pois) # 合并频数过小的类别 lambda_hat - mean(x_pois) expected - dpois(as.numeric(names(observed)), lambda_hat) * length(x_pois) # 合并期望频数小于5的类别 chisq.test(observed, p expected / sum(expected))卡方检验的关键约束每个类别的期望频数不小于5。不满足时要合并类别否则p值不可信。这是实操中最容易忽略的点。5.4 分布选择的决策流程面对一批数据怎么选检验方法我总结了一个决策流程先画图直方图Q-Q图定性判断分布形态和偏离方向。看样本量n5000用Shapiro-Wilk一元或Royston多元n大用Anderson-Darling或偏度峰度。看维度一元用shapiro.test多元用MVN::mvn。查离群点检验拒绝时先做离群点检测排除少数捣乱分子。决定策略轻微偏离用参数方法稳健标准误中度偏离做变换严重偏离或变换无效用非参数。报告结果无论用哪种方法都要报告检验统计量、p值、以及你做了什么处理。这个流程不是死的但按它走能避免大部分低级错误。6. 那些文档里不会写的实操坑这一节是我这些年踩过的坑的汇总每一条都对应一个具体的翻车场景。坑一Shapiro-Wilk的样本量上限。n超过5000时R直接报错sample size must be between 3 and 5000。很多人不知道这个限制数据一多就卡住。解决方案大样本改用ad.test或偏度峰度检验或者随机抽样5000个做检验。坑二K-S检验的参数陷阱。ks.test(x, pnorm)不指定参数时对比的是标准正态N(0,1)。如果你的数据均值是50这个检验必然拒绝但拒绝的原因不是不正态而是均值不是0。这个错误极其常见我见过不止一个项目栽在这上面。坑三多元检验对样本量的要求。Mardia检验在n p时无法计算协方差矩阵奇异。Henze-Zirkler在n很小时功效很低。经验规则n至少是p的10倍多元检验结果才比较可靠。样本不够时要么降维要么用一元方法逐个检验并说明局限。坑四多重检验校正。对10个变量分别做Shapiro-Wilk每个用0.05的显著性水平至少拒绝一个的概率是1-0.95^10≈40%。也就是说即使数据全正态你也有四成概率发现不正态。这时候要用Bonferroni或FDR校正。p_values - apply(X, 2, function(v) shapiro.test(v)$p.value) p_adjusted - p.adjust(p_values, method BH) # Benjamini-Hochberg坑五变换后的反变换。对数变换后做的置信区间反变换回去不是原尺度均值的置信区间而是中位数的。这个区别在报告结果时经常被忽略导致结论偏差。坑六p值不是唯一标准。n100000时偏度0.05也会被检验出显著不正态。但偏度0.05在实际中完全可以忽略。统计显著不等于实际显著这是分布检验里最需要牢记的一条。坑七MVN包的图形输出。mvn(X, multivariatePlot qq)会直接画图但在RStudio的某些版本里图形设备会冲突导致图出不来。解决方法是先pdf(NULL)或者用dev.new()开新设备。坑八模拟数据的可复现性。所有涉及随机数的代码务必在开头set.seed()。我见过太多人跑出来的结果和别人对不上就是因为没设种子。种子值本身不重要重要的是固定。7. 完整实战从数据生成到结论输出的全流程把前面所有内容串起来走一遍完整流程。假设我们有一批模拟的多元数据需要判断能否用多元正态方法。set.seed(2024) library(MASS) library(MVN) library(moments) # 第一步生成模拟数据含少量离群点 n - 300 Sigma - matrix(c(1, 0.5, 0.3, 0.5, 1, 0.4, 0.3, 0.4, 1), nrow 3) X - mvrnorm(n, mu c(10, 20, 30), Sigma Sigma) # 人为加入5个离群点 X[1:5, ] - X[1:5, ] * 3 # 第二步一元检验逐个变量 univ_results - data.frame( variable paste0(V, 1:3), shapiro_p NA, skewness NA, kurtosis NA ) for (i in 1:3) { univ_results$shapiro_p[i] - shapiro.test(X[, i])$p.value univ_results$skewness[i] - skewness(X[, i]) univ_results$kurtosis[i] - kurtosis(X[, i]) } print(univ_results) # 第三步多元检验 mvn_result - mvn(X, mvnTest hz) print(mvn_result$multivariate_normality) # 第四步离群点检测 outlier_result - mvn(X, multivariateOutlierMethod quan) print(outlier_result$multivariate_outlier) # 第五步剔除离群点后重新检验 X_clean - X[-c(1:5), ] mvn_clean - mvn(X_clean, mvnTest hz) print(mvn_clean$multivariate_normality) # 第六步可视化确认 par(mfrow c(1, 2)) mvn(X_clean, multivariatePlot qq)这个流程的关键在于迭代检验→发现离群点→剔除→重新检验→可视化确认。不要指望一次通过。实际数据里离群点、厚尾、轻微偏度几乎必然存在重要的是判断它们是否严重到影响后续分析。关于剔除离群点我的原则是能解释的才剔除。如果离群点对应数据录入错误、设备故障、或者明确的异常事件剔除合理如果只是看着不顺眼那要谨慎因为可能是真实的重要信号。剔除后必须在报告中说明剔除了几个、依据是什么。最后说一个我自己的习惯把检验结果和可视化图一起存档。p值会随着样本量变化但图不会骗人。半年后回头看图能让你快速回忆起当时的数据形态而一堆p值只会让你困惑。这个习惯在长期项目中特别有用。