现代语言学研究中数学工具并不是“能加分”的辅助手段而是一套底层语言。语音学家用傅里叶变换把声音从时间域拆成频率成分心理语言学家用混合效应模型把实验数据里的说话人差异、词条差异、被试差异分离出来。如果一个语言学研究者说自己“不碰数学”那他实际能做的分析范围会非常窄。本文以两条主线展开第一条是语音声学分析中的傅里叶变换与短时傅里叶变换第二条是实验语言学研究中的混合效应模型。读完本文你可以用 Python 对语音信号做频谱分析用 R 或 statsmodels 拟合混合效应模型并理解每一个统计参数在语言数据中的实际含义。1. 现代语言学中的数学工具地图1.1 为什么语言学需要数学语言现象本身同时属于三种不同的实体语言是一套离散符号系统。音位、语素、词、句法规则都可以写成集合、映射、树结构和形式文法因此集合论、自动机理论和离散数学可以描述它。语言是一段连续的物理信号。人说话时产生的声波在每一个时刻都有确定的压强值分析元音、辅音、声调和韵律都离不开信号处理和傅里叶分析。语言是一组群体行为数据。语言使用者在词汇选择、句法判断、语音感知上存在系统性差异但这些差异不是简单的“对或错”而是连续分布需要用概率统计模型处理。当这三种实体同时出现在一个研究问题里时数学就从“可选工具”变成了“分析语言现象的语言”。例如研究声调的语言学问题先要把音频录制为时域波形再用傅里叶变换或线性预测系数提取基频和共振峰最后用混合效应模型比较不同年龄组说话人的声学参数是否有显著差异。1.2 语言学分科与数学工具对照语言学分支典型研究问题主要数学工具语音学元音共振峰、辅音频谱特征、声调基频傅里叶变换、短时傅里叶变换、线性预测分析音系学音位规则、特征几何、OT 制约条件排序离散数学、集合论、约束求值、动态规划句法学与形式语义学短语结构、移位、量化词辖域自动机、λ演算、类型论、模型论语料库语言学词频分布、搭配强度、主题模型概率论、信息论、统计检验、机器学习心理语言学反应时、错误率、启动效应、可接受度混合效应模型、方差分析、贝叶斯统计社会语言学方言变异、语言态度、音变传播逻辑回归、混合效应模型、社会网络分析历史语言学语系分类、语言年代学系统发生学、动态系统方程、层次聚类表格里的工具不是孤立的。一个完整研究可能同时需要信号处理、统计建模和离散建模。比如研究“英语元音在清辅音前是否更短”需要先提取时长和频谱再做统计建模最后把结果归纳进音系规则。1.3 两条贯穿全文的研究主线为了让讨论足够具体全文聚焦两条可操作的技术路线。第一条是语音信号分析路线从麦克风录制得到时域波形到使用傅里叶变换获得频率成分再到使用短时傅里叶变换观察频谱随时间的变化。这条路线主要回答“某个语音片段里有哪些频率成分它们如何随时间移动”。第二条是语言实验统计建模路线从行为实验得到反应时或评分数据到使用混合效应模型分离被试和项目带来的随机变异再检验固定效应的显著性。这条路线主要回答“某个语言因素对行为指标是否有系统影响”。这两条路线会在一个完整分析项目中汇合提取声学特征后用混合效应模型检验声学特征对感知或产出行为的影响。下面先讲第一条路线。2. 傅里叶变换把语音从时域拉到频域2.1 时域波形能看什么不能看什么打开一段语音的波形图横轴是时间纵轴是振幅。你从波形里能看出这段录音哪里有声音哪里有静音声音是突然爆发还是平缓开始波形振幅大小近似对应响度。但波形图很难回答几个更关键的问题某个元音的第一共振峰在哪里两个说话人的发声音色为什么不同[s] 和 [ʃ] 的频谱差异到底在哪一段频率基频是多少基频曲线怎么走。这些问题都要求把时间域信号转换到频率域。傅里叶变换做的是这件事把一段信号拆解成许多不同频率、不同振幅、不同相位的正弦波的叠加。一个最直观的理解是时域波形是“声音如何随时间变化”的记账本频域频谱是“声音由哪些频率成分组成”的配料表。2.2 傅里叶变换的数学定义和工程解释连续时间信号的傅里叶变换定义为X(f) ∫ x(t) e^(-j2πft) dt其中 x(t) 是时域信号f 是频率j 是虚数单位。实际计算机无法处理连续积分所以使用离散傅里叶变换DFTX[k] Σ x[n] e^(-j2πkn/N)n0..N-1N 是采样点数k 对应离散频率索引。实际计算时几乎从不手写 DFT而是使用快速傅里叶变换FFT。FFT 是 DFT 的高效算法不是另一种变换。在语音分析中记住三点频率分辨率等于 fs / N。采样率 fs 固定时信号越长频率间隔越小频谱越“精细”。奈奎斯特频率是 fs / 2超过这个频率的成分无法表示。语音研究常用采样率 22050 Hz 或 44100 Hz可以覆盖人耳和语音的主要频段。FFT 结果包含幅度和相位。大多数声学分析只看幅度谱或功率谱。2.3 Python 实现合成信号与 FFT 频谱下面用一个合成信号演示 FFT 的核心流程。实际语音处理时信号来自.wav文件但合成信号便于检查频率是否准确。import numpy as np import matplotlib.pyplot as plt fs 22050 duration 0.5 t np.linspace(0, duration, int(fs * duration), endpointFalse) # 模拟三个频率成分模拟基频附近能量、第一共振峰、第二共振峰 f0 120 f1 800 f2 2200 signal ( 0.8 * np.sin(2 * np.pi * f0 * t) 0.4 * np.sin(2 * np.pi * f1 * t) 0.2 * np.sin(2 * np.pi * f2 * t) ) # FFT N len(signal) spectrum np.fft.rfft(signal) freqs np.fft.rfftfreq(N, 1 / fs) magnitude np.abs(spectrum) / N # 绘制频谱 plt.figure(figsize(10, 4)) plt.plot(freqs, magnitude) plt.xlabel(Frequency (Hz)) plt.ylabel(Amplitude) plt.title(Frequency Spectrum) plt.xlim(0, 3000) plt.grid(True) plt.show()这段代码里rfft只计算正频率部分因为对于实信号负频率部分是正频率的镜像。rfftfreq生成对应的频率刻度。将原始 FFT 幅度除以 N是为了把幅度缩放为与原始信号同量级否则只能看到正确的峰值位置数值含义不直观。预期输出是三个明显峰值分别位于 120 Hz、800 Hz、2200 Hz 附近峰值高度与前面设定的系数 0.8、0.4、0.2 对应。2.4 语音研究为什么关注共振峰元音音色主要由声道的共鸣特性决定。声道可以被看作一个滤波器某些频率的成分被加强这些被加强的频率称为共振峰。第一共振峰 F1 和舌位高低相关第二共振峰 F2 和舌位前后相关。用傅里叶变换得到频谱后就可以看到 F1、F2、F3 在能量包络上的峰值位置。实际操作中直接从频谱找局部最大值并不一定稳定因为谐波分量会干扰峰值检测。更常用的做法是使用线性预测编码LPC估计声道滤波器再在估计出的包络曲线上找共振峰。但无论 LPC 还是倒谱分析底层都离不开傅里叶变换。语音学教材里说“共振峰是频谱包络的极大值”这句话听起来简单实际从一段录音得到共振峰数值需要经过预加重、加窗、FFT、平滑、峰值搜索等多步处理。常见坑之一是直接对整段录音做一次 FFT 就声称得到了“共振峰”。整段录音包含不同语音事件频谱是所有事件的平均结果无法反映某个元音在某一时刻的属性。这个问题引出了短时傅里叶变换。3. 短时傅里叶变换语音是非平稳信号必须分段处理3.1 为什么直接用 FFT 处理整段语音会失真傅里叶变换隐含一个假设信号在时间段内是平稳的即频率成分不随时间变化。语音显然不满足这个假设。一个音节里辅音爆发段、送气段、元音段、鼻化段的频谱完全不同即使同一个元音基频也会随时间上升或下降。对整段录音做一次 FFT得到的频谱是所有时间段的混合产物。你可能看到三个模糊的能量峰但无法知道它们在时间的哪一毫秒出现也无法判断它们属于哪个音段。语音研究的核心问题是“某个时刻/某个短时段里的频谱特征”所以必须把信号切成小段对每一段分别做 FFT再把结果拼接成一张“频率随时间变化”的图这就是短时傅里叶变换STFT。3.2 STFT 原理加窗、滑动、频谱图短时傅里叶变换分三步用一个固定长度的窗函数从信号起点截取一小段对窗内信号做 FFT得到这一段时刻的频谱窗函数向右滑动一段距离重复第 1 和第 2 步。每一步得到一列频谱向量。把多列按时间排列横轴是时间、纵轴是频率、颜色深浅表示能量强弱就得到语谱图。窗函数的选择直接影响频率分辨率和谱泄漏矩形窗频率分辨率最高但旁瓣泄漏严重会在真实峰值周围产生虚假波纹汉宁窗和汉明窗旁瓣更低谱泄漏更小但主瓣更宽选择窗长时要权衡时间分辨率与频率分辨率。窗越短时间定位越准但频率分辨率越差窗越长频率分辨率越好却无法准确定位短暂的频谱变化。一个经验值是元音声学分析常使用 25 到 50 毫秒的窗长窗移 10 毫秒左右分析塞音爆发或音高突变时可以使用更短的窗和更高重叠。3.3 Python 实现用 scipy.signal.stft 生成语谱图SciPy 提供了现成的 STFT 实现from scipy.signal import stft import numpy as np import matplotlib.pyplot as plt fs 22050 duration 1.0 t np.linspace(0, duration, int(fs * duration), endpointFalse) # 合成一个频率随时间变化的线性调频信号 f_start 100 f_end 3000 phase 2 * np.pi * (f_start * t (f_end - f_start) * t**2 / (2 * duration)) signal 0.6 * np.sin(phase) f, t_spec, Zxx stft(signal, fsfs, nperseg1024, noverlap512, windowhann) plt.figure(figsize(10, 5)) plt.pcolormesh(t_spec, f, np.abs(Zxx), shadinggouraud, cmapmagma) plt.xlabel(Time (s)) plt.ylabel(Frequency (Hz)) plt.colorbar(labelMagnitude) plt.ylim(0, 4000) plt.show()参数含义nperseg1024每次 FFT 的采样点数在 22050 Hz 下约 46 毫秒noverlap512相邻窗重叠 512 点即窗移 512 点windowhann使用汉宁窗抑制频谱泄漏。如果合成信号的频率从 100 Hz 线性升到 3000 Hz语谱图上会看到一条从左下到右上的亮线。使用真实语音时亮带和暗区的分布模式对应元音、浊音、清音和塞音爆发。3.4 窗长、重叠率与频率分辨率取舍窗长采样点在 22050 Hz 下对应时长频率分辨率时间分辨率适用场景256约 11.6 ms约 86 Hz高塞音爆发、音高突变定位512约 23.2 ms约 43 Hz中一般声学分析、共振峰粗略观察1024约 46.4 ms约 21.5 Hz低平稳元音段、基频测量2048约 92.9 ms约 10.8 Hz很低强调频率精度、对时间变化不敏感的数据这里说的时间分辨率高指的是语谱图能在时间轴上分辨出更短暂的变化代价是窗内有效数据变短频域两个相邻频率峰被混淆的概率增加。实际处理中如果只需要某一段元音的共振峰可以先用标注工具切出元音稳定段再对稳定段做 FFT 或 LPC而不是对整个录音跑 STFT。3.5 STFT 相关常见坑问题现象可能原因检查方式处理建议语谱图出现镜面频带使用了fft而没用单边变换或绘制了正负全部频率查看f轴是否超过奈奎斯特频率在语音分析中通常只显示 0 到 fs/2元音共振峰位置忽高忽低窗长过短频率分辨率不足或信号包含大量谐波干扰不换窗时改用 LPC 估计包络对比结果提高窗长到 40-50 ms或使用 LPC 峰值提取静音段出现强低频能量直流偏置或窗函数对某段噪声放大查看波形基线是否偏移先做预加重和去直流处理再进入 STFT语谱图细节与听感不符采样率、预加重参数设置不符合语音学标准对比 Praat 语谱图参照相同窗长、动态范围参数重新生成还有一个需要优先检查的步骤判断信号进入 STFT 之前是否做过预加重。预加重会提升高频能量对共振峰检测尤其是 F2、F3 有帮助但如果只做感知研究不关心高频细节预加重可做可不做必须在文章方法部分说明。4. 混合效应模型处理语言实验中的个体差异和项目差异4.1 语言实验数据为什么不能用普通线性回归直接分析假设一个心理语言学研究判断一个句子是否是合乎语法的中文句子记录被试的反应时。数据结构通常包含多个被试每个被试看多个句子多个句子每个句子被多个被试看同一被试对同一句子只能产生一条记录句子有不同长度、不同词汇频率、不同句法复杂度被试有不同阅读速度、不同语言背景、不同疲劳程度。如果忽略被试差异把所有数据放在一起做普通线性回归会违反“观测独立”的前提因为同一个被试的多条反应时高度相关。如果忽略项目差异只对被试平均又会损失每个句子的特有信息比如某个句子本身特别长或特别生僻。混合效应模型mixed-effects model也叫线性混合模型 LMM把这两类变异都放进模型固定效应研究者主动操纵或特别关心的变量例如句法复杂度、词频、实验条件随机效应数据来自抽样得到的被试和项目它们只是一个更大总体的随机样本因此每条记录里的“个体偏差”被建模为随机截距或随机斜率。4.2 固定效应与随机效应的区别维度固定效应随机效应含义在总体层面固定不变的系统影响来自随机抽样单位被试、项目的差异典型变量实验条件、词频、音位类型、年龄组被试个体、词条、文本材料分析目标估计该变量对结果的平均影响估计总体的方差成分控制非独立性典型公式写法condition frequency(1错误理解认为所有来源都该固定把每个被试当固定效应放入模型一个常见误区是把所有被试当作固定效应放入回归。如果实验只有 10 个被试还可以做固定效应编码但一旦被试数量达到 50 或 100 个固定效应参数会非常多且结果无法推广到总体。随机效应通过“随机截距”只估计方差而不是为每个被试单独估一个完整参数因此更节省自由度也更能推广。混合效应模型的公式通常写作response ~ fixed_effect1 fixed_effect2 (1 | subject) (1 | item)中文读法是反应时受固定效应一和固定效应二的系统影响同时不同被试和不同项目各自有自己的基线偏移。4.3 R 和 Python 中的模型写法R 的lme4包是心理学和语言学研究中最常用的混合效应模型工具library(lme4) # rt: 反应时 # condition: 实验条件无语法歧义 / 有语法歧义 # word_freq: 词频连续变量已做中心化 # subject: 被试编号 # item: 句子编号 model - lmer( rt ~ condition word_freq (1 | subject) (1 | item), data experiment_data ) summary(model)如果研究者认为实验条件的影响在被试之间和项目之间都存在差异需要加入随机斜率model_full - lmer( rt ~ condition word_freq (1 condition | subject) (1 condition | item), data experiment_data )Python 中可以使用statsmodels的mixedlmimport statsmodels.api as sm from statsmodels.formula.api import mixedlm import pandas as pd df pd.read_csv(experiment_data.csv) model mixedlm( formulart ~ condition word_freq, datadf, groupsdf[subject], re_formula~1 ) result model.fit() print(result.summary())这里的groups指定随机效应的分组变量re_formula~1表示只有随机截距。如果希望每个被试在condition上有随机斜率需要写成re_formula~condition。4.4 一个最小示例音素感知实验设计一个最小但完整的音素感知实验刺激材料16 个合成的 CV 音节一半是 [pa]一半是 [ba]关键变量VOT嗓音起始时间取值从 -20 ms 到 40 ms被试20 名母语者任务每个音节听一遍判断听感是 [ba] 还是 [pa]因变量听到 [pa] 的概率或用于连续声学判断的反应时。假设你已经得到数据perception_data.csv包含列subject、item、vot、is_pa、rt。先拟合一个最简单的线性混合模型预测rtdf pd.read_csv(perception_data.csv) df[vot_c] df[vot] - df[vot].mean() model_rt mixedlm( rt ~ vot_c, datadf, groupsdf[subject], re_formula~1 ) res_rt model_rt.fit() print(res_rt.summary())如果因变量是二元分类is_pa则要使用广义线性混合模型。在 R 中model_logit - glmer( is_pa ~ vot_c (1 vot_c | subject) (1 | item), data perception_data, family binomial ) summary(model_logit)4.5 混合效应模型的常见坑问题现象可能原因检查方式处理建议模型不收敛随机效应结构过于复杂数据量不足查看收敛警告计算每组被试的观测数先拟合随机截距模型再逐步添加随机斜率随机效应方差为 0该分组层面几乎没有变异或模型无法估计检查VarCorr输出保留精简模型或改为固定效应检验固定效应方向与理论预期相反数据编码、中心化或对比编码有问题检查变量取值和参考水平对连续变量做中心化明确因子参考组自由度或显著性结果异常将分类变量按数字编码查看df中变量 dtype使用 pandas Categorical 或 R factor这里的最重要原则是不要一开始就拟合“满随机结构”模型。随机斜率能提高结论可推广性但对数据量要求很高。小样本研究里最大随机效应结构经常导致不收敛经验做法是先拟合随机截距模型再用似然比检验判断增加随机斜率是否显著改善拟合。5. 从傅里叶到混合效应模型一个完整分析链路5.1 研究问题与数据设计把两条路线连起来设计一个真实感较强的完整研究研究问题送气时长VOT变化是否影响普通话母语者对浊音和清音塞音的分类以及这种影响是否受元音类型调节。数据设计由 8 位说话人录制 20 个 CV 音节每个音节包含清塞音 [p] 或浊塞音 [b]后面的元音分 [a]、[i]、[u]对每个音节的 VOT 和 F2 进行声学测量让 30 名听者做感知判断记录反应时rt和判断结果is_pa。本研究的处理链路是先对音频做 STFT 和 LPC 分析提取声学参数再把声学参数和感知行为数据汇总成宽表最后用混合效应模型检验 VOT 和元音类型对感知结果的影响。5.2 声学特征提取用 librosa 读取音频并基于短时傅里叶变换计算频谱特征pip install librosa numpy pandas scipyimport librosa import numpy as np import pandas as pd audio_path stimuli/p_a_01.wav sig, fs librosa.load(audio_path, sr22050, monoTrue) # 短时傅里叶变换 D librosa.stft(sig, n_fft1024, hop_length256, win_length1024, windowhann) magnitude np.abs(D) # 从语谱图中找到元音稳定段的平均频谱 # 这里用固定时间范围做示范实际项目中应根据标注切分 start_frame int(0.1 * fs / 256) end_frame int(0.2 * fs / 256) segment_spectrum magnitude[:, start_frame:end_frame].mean(axis1) # 把频谱写回数据行 feature_row { file: audio_path, mean_magnitude: segment_spectrum.mean(), peak_freq: np.argmax(segment_spectrum) * fs / 1024, }声学参数的提取最终要得到每个刺激的vot_ms和f2_hz。实际项目中通常用 Praat 脚本或语音强制对齐工具完成切分再读回 Python。这一阶段最重要的是记录参数窗长、窗移、窗函数、共振峰搜索范围这些直接影响统计分析结果。5.3 整理实验数据把声学参数和判断结果合并为一个长表acoustic pd.read_csv(acoustic_features.csv) perception pd.read_csv(perception_results.csv) merged perception.merge(acoustic, on[speaker, item, syllable]) merged[vot_c] merged[vot_ms] - merged[vot_ms].mean() merged[f2_c] merged[f2_hz] - merged[f2_hz].mean() merged.to_csv(merged_for_model.csv, indexFalse)在整理数据这一步务必检查每个subject是否覆盖了全部刺激每个item是否被所有被试判断过是否有缺失 VOT 或 F2 的音频是否存在同一被试、同一刺激重复出现的数据。5.4 混合效应模型建模用 Python 拟合反应时模型from statsmodels.formula.api import mixedlm df pd.read_csv(merged_for_model.csv) model mixedlm( rt ~ vot_c * f2_c, datadf, groupsdf[subject], re_formula~1 ) result model.fit(remlTrue) print(result.summary())用 R 拟合分类判断逻辑回归混合模型library(lme4) model_glmer - glmer( is_pa ~ vot_c * f2_c (1 vot_c | subject) (1 | item), data merged_for_model, family binomial, control glmerControl(optimizer bobyqa) ) summary(model_glmer)如果模型不收敛第一步是扩大迭代次数并更换优化器第二步是精简随机结构比如去掉随机斜率第三步才是检查数据是否有极端值。不要为了保住随机斜率强行凑模型。5.5 结果解释要点混合效应模型输出中需要关注固定效应系数vot_c的系数表示 VOT 每增加 1 ms反应时变化的平均量随机效应方差subject的随机截距方差表示不同听者基线反应速度的差异显著性检验statsmodels输出中查看P|z|lme4中可以使用lmerTest获取 p 值。结果解释时不要只报告 p 值还要报告系数估计值、标准误和随机效应的方差成分。例如可以这样写“VOT 每增加 1 ms判断为 [pa] 的 log-odds 增加 0.08SE 0.01, z 8.0, p 0.001。被试随机截距的方差为 0.42表明不同听者之间存在明显基线差异。”5.6 检查点清单阶段检查内容通过标准音频特征提取是否记录了窗长、窗移、窗函数参数可复现数据合并每个刺激是否有完整声学参数无缺失值数据编码分类变量是否为因子类型连续变量是否中心化无连续变量被当作因子模型收敛是否出现收敛警告无警告或已记录处理方式残差诊断残差是否近似正态、无强异方差满足线性混合模型基本假设结果报告是否报告系数、标准误、随机效应方差信息完整6. 学习环境与生产环境工具链配置与可复现分析6.1 学习环境Python、R、Jupyter 的快速配置建议初学者使用同一套环境同时跑通信号处理和统计建模避免在多个工具之间切换# Python 基础包 conda create -n ling-math python3.11 conda activate ling-math pip install numpy scipy matplotlib pandas statsmodels pip install librosa jupyterlab # R 环境在 R 会话中安装 install.packages(lme4) install.packages(lmerTest) install.packages(tidyverse) install.packages(praatpicture)在 Jupyter Notebook 中Python 和 R 可以通过rpy2或reticulate互通。不过刚入门时不建议追求“在一个 Notebook 里同时运行两种语言”更清晰的做法是Python 负责音频特征提取导出 CSVR 负责统计分析最后用 Python 画图汇总。每种工具只用它最擅长的部分。6.2 科研协作环境版本控制、数据字典与日志当分析从个人学习走向论文或团队协作时必须引入工程化约束音频原始文件应放在只读目录不修改原始录音特征提取脚本、统计分析脚本、画图脚本分离使用 Git 管理代码使用requirements.txt或renv锁定依赖版本写出README说明从哪里下载数据、运行哪个脚本、输出哪些文件每一步都保留中间输出比如acoustic_features.csv、merged_for_model.csv避免从头重复运行记录随机种子和模型参数保证轨迹可复现。一个最小目录结构如下project/ ├── data/ │ ├── raw_wav/ │ ├── annotations/ │ └── processed/ │ ├── acoustic_features.csv │ └── merged_for_model.csv ├── scripts/ │ ├── extract_features.py │ ├── merge_data.py │ ├── fit_models.rmd │ └── plot_results.py ├── results/ │ ├── figures/ │ └── model_outputs/ ├── requirements.txt └── README.md6.3 可复现分析清单记录操作系统、Python 版本、R 版本保存pip freeze或conda list输出对音频特征提取结果做抽样人工验证比如用 Praat 对比随机抽取的 20 个共振峰数值对随机效应模型记录优化器和迭代次数论文或报告中明确写出公式而不是只给代码确保所有随机种子固定后两次运行得到相同结果。7. 常见问题排查傅里叶分析与混合效应模型7.1 排查顺序先看数据再看代码再看模型无论遇到傅里叶相关还是混合效应模型相关的问题都按以下顺序排查输入数据是否正确采样率、变量类型、缺失值、数据对齐参数是否合理窗长、窗移、频率范围、中心化、对比编码边界条件信号太短、样本量太少、某些分组只有一条记录模型结构是否过度复杂是否出现完全共线性随机种子和依赖版本不同版本可能导致结果微小差异但不会完全相反日志和输出记录每一步输出的 shape 和统计值避免错误被带进下一步。7.2 傅里叶分析问题排查表问题现象可能原因检查方式处理建议频谱峰值出现在 0 Hz信号有直流偏置计算信号均值是否接近 0先减均值再输入 FFT频谱峰值频率比预期低一半采样率参数传错打印fs和t长度确认1/fs时间间隔正确频谱图太模糊窗长过短查看频率分辨率增加nperseg两个共振峰合并成一个峰窗长过长或频率间隔小查看语谱图颜色带调整窗长或用 LPC 分离STFT 结果与 Praat 差异大动态范围、预加重、窗函数不一致对比相同参数设置统一使用汉宁窗窗长 25-50 ms7.3 混合效应模型问题排查表问题现象可能原因检查方式处理建议模型不收敛随机结构复杂或优化器不适配查看收敛警告换用bobyqa增加迭代次数固定效应不显著但分组差异明显样本量不足或变量间共线性查看方差膨胀因子简化模型检查相关性加入随机斜率后结果剧变随机斜率吸收了主要效应比较嵌套模型用似然比检验决定是否保留模型返回负方差数据变异不足或模型设定错误查看VarCorr输出从随机截距模型开始逐步构建p 值集中在 0.05 附近数据依赖或检验前提未满足做置换检验或贝叶斯估计不要只依赖近似 p 值7.4 数据诊断最容易被忽略的一步在拟合任何模型之前先绘图因为变量分布严重偏斜时需要先做对数变换或选择其他分布族因为离群值可能完全改变固定效应方向因为缺失值会导致模型默认删除整行数据而不是只删除一个变量。import seaborn as sns sns.histplot(df[rt]) sns.boxplot(datadf, xcondition, yrt)8. 最佳实践与扩展方向8.1 语言数据分析的最佳实践第一把“数据质量”放在统计复杂度的前面。一个机器标注错误百出的语料库无论用多高深的模型修复结论都可能不可靠。声学数据要抽样与人工标注对比行为数据要检查按键正确率和异常反应时。第二模型选择从简单开始。先拟合固定效应最小模型再逐步加入随机斜率。不要一开始就试图复制一篇论文里的最大随机效应结构。第三在报告里明确写出公式、参数和软件版本。傅里叶分析的窗长、窗函数和重叠率混合效应模型的固定效应、随机效应结构这些细节决定了结果能否被复现。第四连续变量要中心化分类变量要明确参考水平。否则截距的含义不直观固定效应系数也可能受到无关变异影响。第五不要只看显著性要报告效应量。比如 VOT 对反应时的影响是 3 ms 还是 30 ms所代表的语言学意义完全不同。8.2 傅里叶方向的高级扩展傅里叶分析只是语音声学的基础。继续深入的方向包括倒谱分析用于区分声源和声道贡献辅助基频和共振峰估计线性预测编码用滤波器模型估计声道传递函数比直接频谱峰值更稳定语谱图上的深度学习把 STFT 幅度谱作为输入特征训练语音识别或情感识别模型小波变换很多语音事件在宽松的时间尺度上同时变化小波可以做到可变分辨率。如果目标是计算语言学还可以进一步学习将语谱图转成梅尔频谱图再使用预训练模型做特征提取。8.3 混合效应模型方向的高级扩展经典线性混合模型对应连续反应变量比如反应时。但语言数据经常是分类的判断是否语法正确、选 [pa] 还是 [ba]、上声变调是否发生。这时需要使用广义线性混合模型GLMM把正态分布换成二项分布或泊松分布。如果研究目标是估计声学感知曲线的拐点可以改用贝叶斯混合效应模型例如 R 的brms、Python 的PyMC。贝叶斯方法适合小样本、复杂随机结构和高阶交互代价是计算量更大、先验设置需要论证。如果预测变量之间关系非线性比如音高曲线、共振峰轨迹可以考虑广义加性混合模型GAMM。8.4 对初学者的下一步建议如果你刚接触这个方向先不要急着把所有模型都跑一遍。建议按这个顺序练习录一段自己的元音录音用 Python 绘制波形和频谱对比 [a]、[i] 的共振峰差异用 Praat 和 Python 分别提取同一段录音的共振峰确保自己理解了窗长和预加重的效果找一份公开的心理学反应时数据用lme4拟合随机截距模型报告固定效应和随机效应方差把音频特征提取和混合效应模型连接起来做成一个从.wav文件到统计报告的脚本为整个流程写 README确保三个月后还能按步骤复现。数学对语言学的重要性不在于每个语言学家都要证明数学定理而在于当你面对一段音频、一批实验数据或一个语料库时有能力把“大概听起来更高”“反应更快一些”这样的话变成可检验、可复现、可反驳的数量结论。傅里叶变换和混合效应模型只是这趟旅程的开始但它们足够说明一个事实语言学研究在今天本质上是一项需要严谨技术基础设施的实证工作。 
长河君 · 2026/9/8 3:41:16 · 阅读 1.2k 语言研究中的数学工具：傅里叶变换与混合效应模型
现代语言学研究中数学工具并不是“能加分”的辅助手段而是一套底层语言。语音学家用傅里叶变换把声音从时间域拆成频率成分心理语言学家用混合效应模型把实验数据里的说话人差异、词条差异、被试差异分离出来。如果一个语言学研究者说自己“不碰数学”那他实际能做的分析范围会非常窄。本文以两条主线展开第一条是语音声学分析中的傅里叶变换与短时傅里叶变换第二条是实验语言学研究中的混合效应模型。读完本文你可以用 Python 对语音信号做频谱分析用 R 或 statsmodels 拟合混合效应模型并理解每一个统计参数在语言数据中的实际含义。1. 现代语言学中的数学工具地图1.1 为什么语言学需要数学语言现象本身同时属于三种不同的实体语言是一套离散符号系统。音位、语素、词、句法规则都可以写成集合、映射、树结构和形式文法因此集合论、自动机理论和离散数学可以描述它。语言是一段连续的物理信号。人说话时产生的声波在每一个时刻都有确定的压强值分析元音、辅音、声调和韵律都离不开信号处理和傅里叶分析。语言是一组群体行为数据。语言使用者在词汇选择、句法判断、语音感知上存在系统性差异但这些差异不是简单的“对或错”而是连续分布需要用概率统计模型处理。当这三种实体同时出现在一个研究问题里时数学就从“可选工具”变成了“分析语言现象的语言”。例如研究声调的语言学问题先要把音频录制为时域波形再用傅里叶变换或线性预测系数提取基频和共振峰最后用混合效应模型比较不同年龄组说话人的声学参数是否有显著差异。1.2 语言学分科与数学工具对照语言学分支典型研究问题主要数学工具语音学元音共振峰、辅音频谱特征、声调基频傅里叶变换、短时傅里叶变换、线性预测分析音系学音位规则、特征几何、OT 制约条件排序离散数学、集合论、约束求值、动态规划句法学与形式语义学短语结构、移位、量化词辖域自动机、λ演算、类型论、模型论语料库语言学词频分布、搭配强度、主题模型概率论、信息论、统计检验、机器学习心理语言学反应时、错误率、启动效应、可接受度混合效应模型、方差分析、贝叶斯统计社会语言学方言变异、语言态度、音变传播逻辑回归、混合效应模型、社会网络分析历史语言学语系分类、语言年代学系统发生学、动态系统方程、层次聚类表格里的工具不是孤立的。一个完整研究可能同时需要信号处理、统计建模和离散建模。比如研究“英语元音在清辅音前是否更短”需要先提取时长和频谱再做统计建模最后把结果归纳进音系规则。1.3 两条贯穿全文的研究主线为了让讨论足够具体全文聚焦两条可操作的技术路线。第一条是语音信号分析路线从麦克风录制得到时域波形到使用傅里叶变换获得频率成分再到使用短时傅里叶变换观察频谱随时间的变化。这条路线主要回答“某个语音片段里有哪些频率成分它们如何随时间移动”。第二条是语言实验统计建模路线从行为实验得到反应时或评分数据到使用混合效应模型分离被试和项目带来的随机变异再检验固定效应的显著性。这条路线主要回答“某个语言因素对行为指标是否有系统影响”。这两条路线会在一个完整分析项目中汇合提取声学特征后用混合效应模型检验声学特征对感知或产出行为的影响。下面先讲第一条路线。2. 傅里叶变换把语音从时域拉到频域2.1 时域波形能看什么不能看什么打开一段语音的波形图横轴是时间纵轴是振幅。你从波形里能看出这段录音哪里有声音哪里有静音声音是突然爆发还是平缓开始波形振幅大小近似对应响度。但波形图很难回答几个更关键的问题某个元音的第一共振峰在哪里两个说话人的发声音色为什么不同[s] 和 [ʃ] 的频谱差异到底在哪一段频率基频是多少基频曲线怎么走。这些问题都要求把时间域信号转换到频率域。傅里叶变换做的是这件事把一段信号拆解成许多不同频率、不同振幅、不同相位的正弦波的叠加。一个最直观的理解是时域波形是“声音如何随时间变化”的记账本频域频谱是“声音由哪些频率成分组成”的配料表。2.2 傅里叶变换的数学定义和工程解释连续时间信号的傅里叶变换定义为X(f) ∫ x(t) e^(-j2πft) dt其中 x(t) 是时域信号f 是频率j 是虚数单位。实际计算机无法处理连续积分所以使用离散傅里叶变换DFTX[k] Σ x[n] e^(-j2πkn/N)n0..N-1N 是采样点数k 对应离散频率索引。实际计算时几乎从不手写 DFT而是使用快速傅里叶变换FFT。FFT 是 DFT 的高效算法不是另一种变换。在语音分析中记住三点频率分辨率等于 fs / N。采样率 fs 固定时信号越长频率间隔越小频谱越“精细”。奈奎斯特频率是 fs / 2超过这个频率的成分无法表示。语音研究常用采样率 22050 Hz 或 44100 Hz可以覆盖人耳和语音的主要频段。FFT 结果包含幅度和相位。大多数声学分析只看幅度谱或功率谱。2.3 Python 实现合成信号与 FFT 频谱下面用一个合成信号演示 FFT 的核心流程。实际语音处理时信号来自.wav文件但合成信号便于检查频率是否准确。import numpy as np import matplotlib.pyplot as plt fs 22050 duration 0.5 t np.linspace(0, duration, int(fs * duration), endpointFalse) # 模拟三个频率成分模拟基频附近能量、第一共振峰、第二共振峰 f0 120 f1 800 f2 2200 signal ( 0.8 * np.sin(2 * np.pi * f0 * t) 0.4 * np.sin(2 * np.pi * f1 * t) 0.2 * np.sin(2 * np.pi * f2 * t) ) # FFT N len(signal) spectrum np.fft.rfft(signal) freqs np.fft.rfftfreq(N, 1 / fs) magnitude np.abs(spectrum) / N # 绘制频谱 plt.figure(figsize(10, 4)) plt.plot(freqs, magnitude) plt.xlabel(Frequency (Hz)) plt.ylabel(Amplitude) plt.title(Frequency Spectrum) plt.xlim(0, 3000) plt.grid(True) plt.show()这段代码里rfft只计算正频率部分因为对于实信号负频率部分是正频率的镜像。rfftfreq生成对应的频率刻度。将原始 FFT 幅度除以 N是为了把幅度缩放为与原始信号同量级否则只能看到正确的峰值位置数值含义不直观。预期输出是三个明显峰值分别位于 120 Hz、800 Hz、2200 Hz 附近峰值高度与前面设定的系数 0.8、0.4、0.2 对应。2.4 语音研究为什么关注共振峰元音音色主要由声道的共鸣特性决定。声道可以被看作一个滤波器某些频率的成分被加强这些被加强的频率称为共振峰。第一共振峰 F1 和舌位高低相关第二共振峰 F2 和舌位前后相关。用傅里叶变换得到频谱后就可以看到 F1、F2、F3 在能量包络上的峰值位置。实际操作中直接从频谱找局部最大值并不一定稳定因为谐波分量会干扰峰值检测。更常用的做法是使用线性预测编码LPC估计声道滤波器再在估计出的包络曲线上找共振峰。但无论 LPC 还是倒谱分析底层都离不开傅里叶变换。语音学教材里说“共振峰是频谱包络的极大值”这句话听起来简单实际从一段录音得到共振峰数值需要经过预加重、加窗、FFT、平滑、峰值搜索等多步处理。常见坑之一是直接对整段录音做一次 FFT 就声称得到了“共振峰”。整段录音包含不同语音事件频谱是所有事件的平均结果无法反映某个元音在某一时刻的属性。这个问题引出了短时傅里叶变换。3. 短时傅里叶变换语音是非平稳信号必须分段处理3.1 为什么直接用 FFT 处理整段语音会失真傅里叶变换隐含一个假设信号在时间段内是平稳的即频率成分不随时间变化。语音显然不满足这个假设。一个音节里辅音爆发段、送气段、元音段、鼻化段的频谱完全不同即使同一个元音基频也会随时间上升或下降。对整段录音做一次 FFT得到的频谱是所有时间段的混合产物。你可能看到三个模糊的能量峰但无法知道它们在时间的哪一毫秒出现也无法判断它们属于哪个音段。语音研究的核心问题是“某个时刻/某个短时段里的频谱特征”所以必须把信号切成小段对每一段分别做 FFT再把结果拼接成一张“频率随时间变化”的图这就是短时傅里叶变换STFT。3.2 STFT 原理加窗、滑动、频谱图短时傅里叶变换分三步用一个固定长度的窗函数从信号起点截取一小段对窗内信号做 FFT得到这一段时刻的频谱窗函数向右滑动一段距离重复第 1 和第 2 步。每一步得到一列频谱向量。把多列按时间排列横轴是时间、纵轴是频率、颜色深浅表示能量强弱就得到语谱图。窗函数的选择直接影响频率分辨率和谱泄漏矩形窗频率分辨率最高但旁瓣泄漏严重会在真实峰值周围产生虚假波纹汉宁窗和汉明窗旁瓣更低谱泄漏更小但主瓣更宽选择窗长时要权衡时间分辨率与频率分辨率。窗越短时间定位越准但频率分辨率越差窗越长频率分辨率越好却无法准确定位短暂的频谱变化。一个经验值是元音声学分析常使用 25 到 50 毫秒的窗长窗移 10 毫秒左右分析塞音爆发或音高突变时可以使用更短的窗和更高重叠。3.3 Python 实现用 scipy.signal.stft 生成语谱图SciPy 提供了现成的 STFT 实现from scipy.signal import stft import numpy as np import matplotlib.pyplot as plt fs 22050 duration 1.0 t np.linspace(0, duration, int(fs * duration), endpointFalse) # 合成一个频率随时间变化的线性调频信号 f_start 100 f_end 3000 phase 2 * np.pi * (f_start * t (f_end - f_start) * t**2 / (2 * duration)) signal 0.6 * np.sin(phase) f, t_spec, Zxx stft(signal, fsfs, nperseg1024, noverlap512, windowhann) plt.figure(figsize(10, 5)) plt.pcolormesh(t_spec, f, np.abs(Zxx), shadinggouraud, cmapmagma) plt.xlabel(Time (s)) plt.ylabel(Frequency (Hz)) plt.colorbar(labelMagnitude) plt.ylim(0, 4000) plt.show()参数含义nperseg1024每次 FFT 的采样点数在 22050 Hz 下约 46 毫秒noverlap512相邻窗重叠 512 点即窗移 512 点windowhann使用汉宁窗抑制频谱泄漏。如果合成信号的频率从 100 Hz 线性升到 3000 Hz语谱图上会看到一条从左下到右上的亮线。使用真实语音时亮带和暗区的分布模式对应元音、浊音、清音和塞音爆发。3.4 窗长、重叠率与频率分辨率取舍窗长采样点在 22050 Hz 下对应时长频率分辨率时间分辨率适用场景256约 11.6 ms约 86 Hz高塞音爆发、音高突变定位512约 23.2 ms约 43 Hz中一般声学分析、共振峰粗略观察1024约 46.4 ms约 21.5 Hz低平稳元音段、基频测量2048约 92.9 ms约 10.8 Hz很低强调频率精度、对时间变化不敏感的数据这里说的时间分辨率高指的是语谱图能在时间轴上分辨出更短暂的变化代价是窗内有效数据变短频域两个相邻频率峰被混淆的概率增加。实际处理中如果只需要某一段元音的共振峰可以先用标注工具切出元音稳定段再对稳定段做 FFT 或 LPC而不是对整个录音跑 STFT。3.5 STFT 相关常见坑问题现象可能原因检查方式处理建议语谱图出现镜面频带使用了fft而没用单边变换或绘制了正负全部频率查看f轴是否超过奈奎斯特频率在语音分析中通常只显示 0 到 fs/2元音共振峰位置忽高忽低窗长过短频率分辨率不足或信号包含大量谐波干扰不换窗时改用 LPC 估计包络对比结果提高窗长到 40-50 ms或使用 LPC 峰值提取静音段出现强低频能量直流偏置或窗函数对某段噪声放大查看波形基线是否偏移先做预加重和去直流处理再进入 STFT语谱图细节与听感不符采样率、预加重参数设置不符合语音学标准对比 Praat 语谱图参照相同窗长、动态范围参数重新生成还有一个需要优先检查的步骤判断信号进入 STFT 之前是否做过预加重。预加重会提升高频能量对共振峰检测尤其是 F2、F3 有帮助但如果只做感知研究不关心高频细节预加重可做可不做必须在文章方法部分说明。4. 混合效应模型处理语言实验中的个体差异和项目差异4.1 语言实验数据为什么不能用普通线性回归直接分析假设一个心理语言学研究判断一个句子是否是合乎语法的中文句子记录被试的反应时。数据结构通常包含多个被试每个被试看多个句子多个句子每个句子被多个被试看同一被试对同一句子只能产生一条记录句子有不同长度、不同词汇频率、不同句法复杂度被试有不同阅读速度、不同语言背景、不同疲劳程度。如果忽略被试差异把所有数据放在一起做普通线性回归会违反“观测独立”的前提因为同一个被试的多条反应时高度相关。如果忽略项目差异只对被试平均又会损失每个句子的特有信息比如某个句子本身特别长或特别生僻。混合效应模型mixed-effects model也叫线性混合模型 LMM把这两类变异都放进模型固定效应研究者主动操纵或特别关心的变量例如句法复杂度、词频、实验条件随机效应数据来自抽样得到的被试和项目它们只是一个更大总体的随机样本因此每条记录里的“个体偏差”被建模为随机截距或随机斜率。4.2 固定效应与随机效应的区别维度固定效应随机效应含义在总体层面固定不变的系统影响来自随机抽样单位被试、项目的差异典型变量实验条件、词频、音位类型、年龄组被试个体、词条、文本材料分析目标估计该变量对结果的平均影响估计总体的方差成分控制非独立性典型公式写法condition frequency(1错误理解认为所有来源都该固定把每个被试当固定效应放入模型一个常见误区是把所有被试当作固定效应放入回归。如果实验只有 10 个被试还可以做固定效应编码但一旦被试数量达到 50 或 100 个固定效应参数会非常多且结果无法推广到总体。随机效应通过“随机截距”只估计方差而不是为每个被试单独估一个完整参数因此更节省自由度也更能推广。混合效应模型的公式通常写作response ~ fixed_effect1 fixed_effect2 (1 | subject) (1 | item)中文读法是反应时受固定效应一和固定效应二的系统影响同时不同被试和不同项目各自有自己的基线偏移。4.3 R 和 Python 中的模型写法R 的lme4包是心理学和语言学研究中最常用的混合效应模型工具library(lme4) # rt: 反应时 # condition: 实验条件无语法歧义 / 有语法歧义 # word_freq: 词频连续变量已做中心化 # subject: 被试编号 # item: 句子编号 model - lmer( rt ~ condition word_freq (1 | subject) (1 | item), data experiment_data ) summary(model)如果研究者认为实验条件的影响在被试之间和项目之间都存在差异需要加入随机斜率model_full - lmer( rt ~ condition word_freq (1 condition | subject) (1 condition | item), data experiment_data )Python 中可以使用statsmodels的mixedlmimport statsmodels.api as sm from statsmodels.formula.api import mixedlm import pandas as pd df pd.read_csv(experiment_data.csv) model mixedlm( formulart ~ condition word_freq, datadf, groupsdf[subject], re_formula~1 ) result model.fit() print(result.summary())这里的groups指定随机效应的分组变量re_formula~1表示只有随机截距。如果希望每个被试在condition上有随机斜率需要写成re_formula~condition。4.4 一个最小示例音素感知实验设计一个最小但完整的音素感知实验刺激材料16 个合成的 CV 音节一半是 [pa]一半是 [ba]关键变量VOT嗓音起始时间取值从 -20 ms 到 40 ms被试20 名母语者任务每个音节听一遍判断听感是 [ba] 还是 [pa]因变量听到 [pa] 的概率或用于连续声学判断的反应时。假设你已经得到数据perception_data.csv包含列subject、item、vot、is_pa、rt。先拟合一个最简单的线性混合模型预测rtdf pd.read_csv(perception_data.csv) df[vot_c] df[vot] - df[vot].mean() model_rt mixedlm( rt ~ vot_c, datadf, groupsdf[subject], re_formula~1 ) res_rt model_rt.fit() print(res_rt.summary())如果因变量是二元分类is_pa则要使用广义线性混合模型。在 R 中model_logit - glmer( is_pa ~ vot_c (1 vot_c | subject) (1 | item), data perception_data, family binomial ) summary(model_logit)4.5 混合效应模型的常见坑问题现象可能原因检查方式处理建议模型不收敛随机效应结构过于复杂数据量不足查看收敛警告计算每组被试的观测数先拟合随机截距模型再逐步添加随机斜率随机效应方差为 0该分组层面几乎没有变异或模型无法估计检查VarCorr输出保留精简模型或改为固定效应检验固定效应方向与理论预期相反数据编码、中心化或对比编码有问题检查变量取值和参考水平对连续变量做中心化明确因子参考组自由度或显著性结果异常将分类变量按数字编码查看df中变量 dtype使用 pandas Categorical 或 R factor这里的最重要原则是不要一开始就拟合“满随机结构”模型。随机斜率能提高结论可推广性但对数据量要求很高。小样本研究里最大随机效应结构经常导致不收敛经验做法是先拟合随机截距模型再用似然比检验判断增加随机斜率是否显著改善拟合。5. 从傅里叶到混合效应模型一个完整分析链路5.1 研究问题与数据设计把两条路线连起来设计一个真实感较强的完整研究研究问题送气时长VOT变化是否影响普通话母语者对浊音和清音塞音的分类以及这种影响是否受元音类型调节。数据设计由 8 位说话人录制 20 个 CV 音节每个音节包含清塞音 [p] 或浊塞音 [b]后面的元音分 [a]、[i]、[u]对每个音节的 VOT 和 F2 进行声学测量让 30 名听者做感知判断记录反应时rt和判断结果is_pa。本研究的处理链路是先对音频做 STFT 和 LPC 分析提取声学参数再把声学参数和感知行为数据汇总成宽表最后用混合效应模型检验 VOT 和元音类型对感知结果的影响。5.2 声学特征提取用 librosa 读取音频并基于短时傅里叶变换计算频谱特征pip install librosa numpy pandas scipyimport librosa import numpy as np import pandas as pd audio_path stimuli/p_a_01.wav sig, fs librosa.load(audio_path, sr22050, monoTrue) # 短时傅里叶变换 D librosa.stft(sig, n_fft1024, hop_length256, win_length1024, windowhann) magnitude np.abs(D) # 从语谱图中找到元音稳定段的平均频谱 # 这里用固定时间范围做示范实际项目中应根据标注切分 start_frame int(0.1 * fs / 256) end_frame int(0.2 * fs / 256) segment_spectrum magnitude[:, start_frame:end_frame].mean(axis1) # 把频谱写回数据行 feature_row { file: audio_path, mean_magnitude: segment_spectrum.mean(), peak_freq: np.argmax(segment_spectrum) * fs / 1024, }声学参数的提取最终要得到每个刺激的vot_ms和f2_hz。实际项目中通常用 Praat 脚本或语音强制对齐工具完成切分再读回 Python。这一阶段最重要的是记录参数窗长、窗移、窗函数、共振峰搜索范围这些直接影响统计分析结果。5.3 整理实验数据把声学参数和判断结果合并为一个长表acoustic pd.read_csv(acoustic_features.csv) perception pd.read_csv(perception_results.csv) merged perception.merge(acoustic, on[speaker, item, syllable]) merged[vot_c] merged[vot_ms] - merged[vot_ms].mean() merged[f2_c] merged[f2_hz] - merged[f2_hz].mean() merged.to_csv(merged_for_model.csv, indexFalse)在整理数据这一步务必检查每个subject是否覆盖了全部刺激每个item是否被所有被试判断过是否有缺失 VOT 或 F2 的音频是否存在同一被试、同一刺激重复出现的数据。5.4 混合效应模型建模用 Python 拟合反应时模型from statsmodels.formula.api import mixedlm df pd.read_csv(merged_for_model.csv) model mixedlm( rt ~ vot_c * f2_c, datadf, groupsdf[subject], re_formula~1 ) result model.fit(remlTrue) print(result.summary())用 R 拟合分类判断逻辑回归混合模型library(lme4) model_glmer - glmer( is_pa ~ vot_c * f2_c (1 vot_c | subject) (1 | item), data merged_for_model, family binomial, control glmerControl(optimizer bobyqa) ) summary(model_glmer)如果模型不收敛第一步是扩大迭代次数并更换优化器第二步是精简随机结构比如去掉随机斜率第三步才是检查数据是否有极端值。不要为了保住随机斜率强行凑模型。5.5 结果解释要点混合效应模型输出中需要关注固定效应系数vot_c的系数表示 VOT 每增加 1 ms反应时变化的平均量随机效应方差subject的随机截距方差表示不同听者基线反应速度的差异显著性检验statsmodels输出中查看P|z|lme4中可以使用lmerTest获取 p 值。结果解释时不要只报告 p 值还要报告系数估计值、标准误和随机效应的方差成分。例如可以这样写“VOT 每增加 1 ms判断为 [pa] 的 log-odds 增加 0.08SE 0.01, z 8.0, p 0.001。被试随机截距的方差为 0.42表明不同听者之间存在明显基线差异。”5.6 检查点清单阶段检查内容通过标准音频特征提取是否记录了窗长、窗移、窗函数参数可复现数据合并每个刺激是否有完整声学参数无缺失值数据编码分类变量是否为因子类型连续变量是否中心化无连续变量被当作因子模型收敛是否出现收敛警告无警告或已记录处理方式残差诊断残差是否近似正态、无强异方差满足线性混合模型基本假设结果报告是否报告系数、标准误、随机效应方差信息完整6. 学习环境与生产环境工具链配置与可复现分析6.1 学习环境Python、R、Jupyter 的快速配置建议初学者使用同一套环境同时跑通信号处理和统计建模避免在多个工具之间切换# Python 基础包 conda create -n ling-math python3.11 conda activate ling-math pip install numpy scipy matplotlib pandas statsmodels pip install librosa jupyterlab # R 环境在 R 会话中安装 install.packages(lme4) install.packages(lmerTest) install.packages(tidyverse) install.packages(praatpicture)在 Jupyter Notebook 中Python 和 R 可以通过rpy2或reticulate互通。不过刚入门时不建议追求“在一个 Notebook 里同时运行两种语言”更清晰的做法是Python 负责音频特征提取导出 CSVR 负责统计分析最后用 Python 画图汇总。每种工具只用它最擅长的部分。6.2 科研协作环境版本控制、数据字典与日志当分析从个人学习走向论文或团队协作时必须引入工程化约束音频原始文件应放在只读目录不修改原始录音特征提取脚本、统计分析脚本、画图脚本分离使用 Git 管理代码使用requirements.txt或renv锁定依赖版本写出README说明从哪里下载数据、运行哪个脚本、输出哪些文件每一步都保留中间输出比如acoustic_features.csv、merged_for_model.csv避免从头重复运行记录随机种子和模型参数保证轨迹可复现。一个最小目录结构如下project/ ├── data/ │ ├── raw_wav/ │ ├── annotations/ │ └── processed/ │ ├── acoustic_features.csv │ └── merged_for_model.csv ├── scripts/ │ ├── extract_features.py │ ├── merge_data.py │ ├── fit_models.rmd │ └── plot_results.py ├── results/ │ ├── figures/ │ └── model_outputs/ ├── requirements.txt └── README.md6.3 可复现分析清单记录操作系统、Python 版本、R 版本保存pip freeze或conda list输出对音频特征提取结果做抽样人工验证比如用 Praat 对比随机抽取的 20 个共振峰数值对随机效应模型记录优化器和迭代次数论文或报告中明确写出公式而不是只给代码确保所有随机种子固定后两次运行得到相同结果。7. 常见问题排查傅里叶分析与混合效应模型7.1 排查顺序先看数据再看代码再看模型无论遇到傅里叶相关还是混合效应模型相关的问题都按以下顺序排查输入数据是否正确采样率、变量类型、缺失值、数据对齐参数是否合理窗长、窗移、频率范围、中心化、对比编码边界条件信号太短、样本量太少、某些分组只有一条记录模型结构是否过度复杂是否出现完全共线性随机种子和依赖版本不同版本可能导致结果微小差异但不会完全相反日志和输出记录每一步输出的 shape 和统计值避免错误被带进下一步。7.2 傅里叶分析问题排查表问题现象可能原因检查方式处理建议频谱峰值出现在 0 Hz信号有直流偏置计算信号均值是否接近 0先减均值再输入 FFT频谱峰值频率比预期低一半采样率参数传错打印fs和t长度确认1/fs时间间隔正确频谱图太模糊窗长过短查看频率分辨率增加nperseg两个共振峰合并成一个峰窗长过长或频率间隔小查看语谱图颜色带调整窗长或用 LPC 分离STFT 结果与 Praat 差异大动态范围、预加重、窗函数不一致对比相同参数设置统一使用汉宁窗窗长 25-50 ms7.3 混合效应模型问题排查表问题现象可能原因检查方式处理建议模型不收敛随机结构复杂或优化器不适配查看收敛警告换用bobyqa增加迭代次数固定效应不显著但分组差异明显样本量不足或变量间共线性查看方差膨胀因子简化模型检查相关性加入随机斜率后结果剧变随机斜率吸收了主要效应比较嵌套模型用似然比检验决定是否保留模型返回负方差数据变异不足或模型设定错误查看VarCorr输出从随机截距模型开始逐步构建p 值集中在 0.05 附近数据依赖或检验前提未满足做置换检验或贝叶斯估计不要只依赖近似 p 值7.4 数据诊断最容易被忽略的一步在拟合任何模型之前先绘图因为变量分布严重偏斜时需要先做对数变换或选择其他分布族因为离群值可能完全改变固定效应方向因为缺失值会导致模型默认删除整行数据而不是只删除一个变量。import seaborn as sns sns.histplot(df[rt]) sns.boxplot(datadf, xcondition, yrt)8. 最佳实践与扩展方向8.1 语言数据分析的最佳实践第一把“数据质量”放在统计复杂度的前面。一个机器标注错误百出的语料库无论用多高深的模型修复结论都可能不可靠。声学数据要抽样与人工标注对比行为数据要检查按键正确率和异常反应时。第二模型选择从简单开始。先拟合固定效应最小模型再逐步加入随机斜率。不要一开始就试图复制一篇论文里的最大随机效应结构。第三在报告里明确写出公式、参数和软件版本。傅里叶分析的窗长、窗函数和重叠率混合效应模型的固定效应、随机效应结构这些细节决定了结果能否被复现。第四连续变量要中心化分类变量要明确参考水平。否则截距的含义不直观固定效应系数也可能受到无关变异影响。第五不要只看显著性要报告效应量。比如 VOT 对反应时的影响是 3 ms 还是 30 ms所代表的语言学意义完全不同。8.2 傅里叶方向的高级扩展傅里叶分析只是语音声学的基础。继续深入的方向包括倒谱分析用于区分声源和声道贡献辅助基频和共振峰估计线性预测编码用滤波器模型估计声道传递函数比直接频谱峰值更稳定语谱图上的深度学习把 STFT 幅度谱作为输入特征训练语音识别或情感识别模型小波变换很多语音事件在宽松的时间尺度上同时变化小波可以做到可变分辨率。如果目标是计算语言学还可以进一步学习将语谱图转成梅尔频谱图再使用预训练模型做特征提取。8.3 混合效应模型方向的高级扩展经典线性混合模型对应连续反应变量比如反应时。但语言数据经常是分类的判断是否语法正确、选 [pa] 还是 [ba]、上声变调是否发生。这时需要使用广义线性混合模型GLMM把正态分布换成二项分布或泊松分布。如果研究目标是估计声学感知曲线的拐点可以改用贝叶斯混合效应模型例如 R 的brms、Python 的PyMC。贝叶斯方法适合小样本、复杂随机结构和高阶交互代价是计算量更大、先验设置需要论证。如果预测变量之间关系非线性比如音高曲线、共振峰轨迹可以考虑广义加性混合模型GAMM。8.4 对初学者的下一步建议如果你刚接触这个方向先不要急着把所有模型都跑一遍。建议按这个顺序练习录一段自己的元音录音用 Python 绘制波形和频谱对比 [a]、[i] 的共振峰差异用 Praat 和 Python 分别提取同一段录音的共振峰确保自己理解了窗长和预加重的效果找一份公开的心理学反应时数据用lme4拟合随机截距模型报告固定效应和随机效应方差把音频特征提取和混合效应模型连接起来做成一个从.wav文件到统计报告的脚本为整个流程写 README确保三个月后还能按步骤复现。数学对语言学的重要性不在于每个语言学家都要证明数学定理而在于当你面对一段音频、一批实验数据或一个语料库时有能力把“大概听起来更高”“反应更快一些”这样的话变成可检验、可复现、可反驳的数量结论。傅里叶变换和混合效应模型只是这趟旅程的开始但它们足够说明一个事实语言学研究在今天本质上是一项需要严谨技术基础设施的实证工作。