做时序数据处理的同学十有八九都遇到过这个问题手里好几路数据每个来源的时间戳都不一样——有的按秒记有的按毫秒记有的干脆是每隔几十秒才蹦出来一条。你想把这几路数据放到同一张表里直接算特征、画曲线、喂模型结果一合并全是 NaN。这时候最自然的想法就是“先把时间戳对齐再做差值填充”。这个标题看起来只有十来个字但背后涉及的问题一点不少。时间戳对齐在数学上不难难的是选对对齐策略差值填充在 pandas 里也就是一行.interpolate()难的是搞清楚你到底该用哪种填充方式、填充完之后怎么验证。我做设备状态监测数据融合的时候被这个问题折磨过好几轮这篇就把整套思路、代码、坑一次说清楚。1. 为什么时间对齐是时序分析里最容易被忽略的一步时序分析的大多数教程都默认数据已经是干净、等间隔、时间对齐的。但真实场景里根本不是这么回事。我手头那个故障分析项目采集源包括三轴振动传感器、温度探头、电流互感器和一套 PLC 日志。振动采样是 20kHz温度每秒钟一条电流按 50Hz 刷PLC 是整百毫秒落一条。四路信号的时间基准还各自独立偶尔掉几个点。这样的数据你拿来做频谱分析、功率谱对比、异常检测第一步不把时间轴理清楚后面全是白做。1.1 多路信号采样频率不一致concat 根本没法用很多新手拿到数据后的第一反应是 pd.concat把所有列的原始序列拼在一起。这在列数一致、索引一致的普通表格上没毛病但在时间序列上一定会炸。因为每条记录的索引是各自独立的时间戳A 通道在 00:00.000 有一条B 通道在 00:00.000 也有一条看起来能对上但 A 在 00:00.050 有一条B 在 00:00.060 才有一条concat 之后同一行里就会出现一个空值。更烦的是高频数据天然会让低频数据显得稀疏。振动 20kHz 意味着每秒 2 万个点温度每秒 1 个点。把两者直接横向拼接温度那一行基本全是 NaN整张表 99.99% 是空洞。这时候你唯一能做的就是先定义一个公共的时间基准把所有通道都“搬到”这个基准上去。这个基准就是目标时间轴。1.2 时钟漂移和数据丢点比想象中更常见采样频率不一致还算是“明面上的问题”时钟漂移才是暗坑。多个采集设备各自用一个晶振计时时间久了误差会积累。有些便宜设备的时钟一天能漂好几秒你拿不同设备的原始时间戳做精确对齐就会看到同一物理时刻被记录成相差零点几秒甚至几秒的不同时间点。丢点也很常见。振动采集卡在缓冲区溢出时会丢片段无线温度传感器因为信号遮挡可能连续几分钟不上报。这些缺失如果不对齐到统一点上你在模型训练时就只能用残缺数据。所以时间对齐不仅是格式问题它在某种意义上是在做“数据清洗的骨架”。所有后续的差值填充、特征计算、时序对齐都要依赖这个骨架是否搭得稳。1.3 对齐做不好后续差值填充全是白费这个道理我是在一次误操作里深刻体会到的。当时我用resample(1s).mean()重采样了三路信号然后把缺失部分用线性插值填上看着曲线很顺滑。结果后来跟原始高频信号一比发现插值出来的波形把尖峰全部抹平了频域特征完全变了。问题的根源不在插值而在对齐阶段我把 20kHz 的信号直接降到了 1Hz信息量损失了四个数量级。也就是说对齐策略决定了你能保留多少原始信息差值填充只是在对齐后的网格上做局部修补。如果对齐本身就错了填充得再漂亮也是南辕北辙。2. 对齐方案选型重采样、merge_asof 还是手动构造时间轴对齐时间戳的核心是确定一个公共时间轴然后把各通道映射到这个轴上。根据你的数据特点和下游需求有三条主要路线各有各的适用场景。2.1 统一降采样到低频牺牲信息换取整齐最省事的方式是直接把所有数据重采样到一个较低频率。比如把 20kHz 的振动、50Hz 的电流、1Hz 的温度全部落到 1Hz 的时间轴上。aligned df.resample(1s).mean()这里的意图是以秒为粒度每个整秒窗口内的所有原始点聚合成一个值。mean()只是其中一种聚合方式你也可以用max、min、last或者写自定义函数做 RMS、峰值因子这类特征。对振动信号max能保留冲击特征mean则会非常钝化。这条路适合以下场景下游分析不关心亚秒级细节、数据量太大需要降维、或者你只是想做长期趋势观察。代价是高频信息的不可逆丢失。20kHz 降 1Hz 等于把 20000 个点压成 1 个点能保住什么特征全靠聚合函数的选取心里必须明白这个取舍。2.2 用 merge_asof 做近似匹配保住高频数据的精度如果你不想牺牲高频信息merge_asof是最实用的工具。它做的事情是遍历左表每个时间戳在右表中找到时间最接近且不超过该时刻默认方向是 backward的那条记录。merged pd.merge_asof( left_df, # 作为时间基准的表比如低频的温度 right_df, # 需要对齐到基准上的高频数据 ontimestamp, directionnearest # nearest / forward / backward )这里的关键是方向选择。backward表示取基准时间戳之前最近的一条适合“某一时刻之前的最新状态”这种语义比如控制系统的状态量。nearest取前后最近的一条适合传感器量测。forward取之后最近的一条适合记录时间晚于基准但当时已经生效的数据。merge_asof 最大的优势是它不会丢原始频率只是把高频数据的快照“贴在”低频基准的时间点附近。缺点是它要求两边数据都按时间戳排序而且时间戳必须是可比较的同一类型。所以拿到数据后第一步永远是排序和类型检查。2.3 手动构造目标时间轴再插值最灵活但成本最高当我需要把多路数据统一到一个既不是原始频率、也不是某个低频标准的“任意网格”时我会手动生成时间轴。这个方法最适合做特征工程你可以构造一个步长为 50ms 或者 37ms 的轴然后把每一路信号映射上去。实现思路是先用pd.date_range生成目标轴然后对每一列分别做插值最后合成一张新表。这样做完全控制了输出的采样间隔但代价是代码量变大而且每路数据的插值质量完全取决于你选的插值方法。再有就是性能如果目标轴很长、通道又多循环插值会比较慢后面讲性能优化的时候我会细说。3. 差值填充的四种姿势以及怎么选对齐之后的 NaN 缺口怎么补是整篇文章的核心动作。这一步的选择直接决定数据的“品格”我强烈建议先做需求拆解再选方案而不是默认一把梭线性插值。3.1 前向填充适合状态量不适合连续量ffill也就是 forward fill用上一个有效值填掉后面的缺失。它背后的假设是“缺失期间状态不变”。这个假设对很多离散状态量成立比如设备开机/停机状态、阀门开/关状态、某条报警标志。这些量本身只会在某个时间点跳变跳变之间保持不变用 ffill 是符合物理语义的。但你要是用 ffill 填补温度、振动这类连续变化的物理量就会造出阶梯状曲线频域里会出现虚假的高频成分。我见过有人把 PLC 的模拟量用 ffill 连续填充几个小时下游做差分时直接出现 0 梯级本来应该是曲线变化的地方变成了一段段平地特别假。所以在填充之前先分清这个字段是状态量还是连续量这个分类比任何算法选择都重要。3.2 线性插值最通用的默认选择线性插值假设缺失区间的数值在两个端点之间线性过渡。它在稳态或者变化缓慢的数据上表现不错实现也简单col_filled col.interpolate(methodlinear, limit_directionboth)我会把limit_directionboth当作默认配置否则 pandas 默认只插值中间区域开头和结尾的缺失会保留为 NaN。但要注意线性插值珍惜的是“局部线性”这个前提。如果一段数据里包含明显的周期性波动或冲击线性插值会把波峰波谷削平导致峰峰值被低估。线性插值尤其不适合做外推头部和尾部的缺失只能用首尾有效值前向/后向填充或者直接截断千万不要硬按线性趋势往外延伸否则会出现完全离谱的数值。3.3 样条/多项式插值什么时候值得用样条插值能拟合出平滑曲线对波动性较强的信号视觉效果比线性好很多。pandas 里这样用col_interp col.interpolate(methodpolynomial, order3, limit_directionboth)但越高级的插值方法越容易引入“振荡假象”。高阶多项式在端点附近经常出现龙格现象也就是数值在区间边缘剧烈振荡填充出来的数值和你观测到的范围完全脱节。我做振动数据填充时试过三阶样条个别缺失区间被填出了一个 5 倍于正常幅值的尖峰直接污染了后续的频谱分析。所以我对样条插值的使用原则是只用在缺失段较短、信号本身平滑、且你有能力做人工检查的场景。缺失段一旦超过几十个连续点任何插值方法都不靠谱这时候该考虑的是删段或者用物理模型估算而不是继续在数学插值里打转。3.4 不插值对缺失段的诚实处理填充不是时序处理的“必选项”。很多情况下宁缺毋滥。比如缺失比例超过 20% 的通道插值出来的数据实际上八九成是“猜”的喂给模型反而会让模型学到虚假模式。另一个典型的场景是异常检测真实系统中一段缺失本身就是异常信息填充掉等于抹掉了证据。我处理缺失的原则是先看缺失比例再决定策略。小比例、短区间缺失可以插值大比例、长时间缺失这列要么直接不参与分析要么额外附加一个“缺失掩码特征”喂给模型。所谓掩码特征就是 0/1 标记哪些点是原始值、哪些点是填充值让模型有机会区分真实观测和人工合成这个技巧在实战里很管用。4. 完整实操从乱糟糟的原始数据到对齐后的规整数据光讲概念不够我直接用一个模拟场景完整走一遍流程。构造的数据有三路A 通道每秒采样一次B 通道每 500ms 采样一次但中间丢了几个点C 通道是每 2 秒一条且起始时间偏移了 0.3 秒。这种结构基本复刻了我在采集系统里遇到的现实问题。4.1 数据准备和问题复现先用随机数造一个接近真实的情况import pandas as pd import numpy as np np.random.seed(42) # 通道A1Hz 连续采样 t_a pd.date_range(2025-01-01 00:00:00, periods10, freq1s) df_a pd.DataFrame({timestamp: t_a, ch_a: np.sin(np.arange(10) * 0.5) np.random.normal(0, 0.02, 10)}) # 通道B500ms 采样但第5、6、7个点丢失 t_b pd.date_range(2025-01-01 00:00:00.000, periods20, freq500ms) df_b pd.DataFrame({timestamp: t_b, ch_b: np.cos(np.arange(20) * 0.3) np.random.normal(0, 0.02, 20)}) df_b df_b.drop(df_b.index[[5, 6, 7]]) # 模拟丢点 # 通道C2秒一条起始时间偏移0.3秒 t_c pd.date_range(2025-01-01 00:00:00.300, periods5, freq2s) df_c pd.DataFrame({timestamp: t_c, ch_c: np.random.rand(5) * 10})这三张表各自独立时间戳没法直接对齐。我们的目标很短把所有通道输出到 1 秒等间隔的时间轴上把缺失填掉同时保留原始数据的基本统计特征。4.2 对齐 填充的代码实现我的做法是先用 merge_asof 把所有通道贴到目标时间轴上再用插值处理残余的 NaN。目标时间轴用date_range生成起点取所有通道的最早时间终点取最晚时间。# 生成目标时间轴1秒间隔 target_ts pd.date_range( startmin(df_a[timestamp].min(), df_b[timestamp].min(), df_c[timestamp].min()), endmax(df_a[timestamp].max(), df_b[timestamp].max(), df_c[timestamp].max()), freq1s ) base pd.DataFrame({timestamp: target_ts}) # 依次把每个通道对齐到目标轴 merged base.copy() for i, (name, df_src) in enumerate({ch_a: df_a, ch_b: df_b, ch_c: df_c}.items()): if i 0: # 第一条直接用 backward 方向没有遗漏时结果就是精确匹配 merged pd.merge_asof(merged, df_src, ontimestamp, directionnearest) else: merged pd.merge_asof(merged, df_src, ontimestamp, directionnearest)对齐完成后merged里每个时间点都对应了每路信号的最近邻观测。但是当某路数据的采样间隔大于目标轴间隔时会出现同一观测被反复匹配的情况这在代码里会表现为相邻几行的数值完全相同。这个现象其实也告诉你这条路并不适合 1 秒的时间轴应该考虑更粗的轴或者换用重采样聚合。接下来才是差值填充merged[ch_a] merged[ch_a].interpolate(methodlinear, limit_directionboth) merged[ch_b] merged[ch_b].interpolate(methodlinear, limit_directionboth) merged[ch_c] merged[ch_c].interpolate(methodlinear, limit_directionboth)插值完之后我强烈建议不要立刻收工至少做一次反向验证把填充后的数据再抽样成 2 秒间隔跟原始 2 秒通道的数据对比看趋势是否一致。这个 sanity check 在真实项目里救过我很多次。4.3 结果验证填充后别直接信先做 sanity check验证有几个维度。第一是看时间轴的完整性resample(1s).mean()后应该没有 NaNisna().sum()应该为 0。第二是看数值范围用 describe() 对比填充前后各列的 min、max、mean、std如果插值导致标准差异常缩小说明插值把波动削平了。第三是抽样可视化把原始点和填充点画在同一张图上看填充段是否与相邻数据自然衔接。这个验证步骤不是可选项是必需项尤其是当你准备拿这些数据去训练模型的时候。5. 实战中踩过的坑踩坑经验比原理更重要我把这段时间里最常见的几个问题整理成一张速查表下面的每个点都对应真实操作中会遇到的情况。问题现象排查方法解决方案时区不一致某些列带 UTC 偏移某些列是 naive查看 dtypes 是否含tz统一转tz_localize再tz_convert时间戳非单调merge_asof 报错检查is_monotonic_increasing先sort_values(timestamp)重复时间戳同一时间点有多条记录duplicated().sum()按业务规则去重或聚合首尾缺失interpolate 默认不填观察首尾是否 NaN设置limit_directionboth连续大段缺失插值结果离谱检查最大连续 NaN 数超过阈值就放弃该段插值5.1 时区、夏令时和本地时间时间戳最阴险的问题就在时区。在很多工业系统里设备记录的 UTC 时间、数据库落的是带偏移的本地时间、前端展示用了北京时间的字符串三套混在一起直接做时间对齐会错一整个时区。我的习惯是任何数据进入处理流程的第一步统一转成 UTC 且带时区信息的datetime64[ns, UTC]分析完成后再转回展示时区。夏令时切换更麻烦每天只有 23 小时或者 25 小时如果你的目标时间轴用了本地时区切换那几天会平白多出或缺少一小时。做长期分析时这个现象会导致数据量统计偏差必须留意。5.2 填充边界效应开头和结尾的缺失插值填充对中段缺失表现尚可但对开头和结尾的缺失基本无能为力。开头缺失表示你没有足够的历史数据来推断起点结尾缺失表示未来值未知任何填充都是外推都包含假设。我处理边界缺失的原则是如果首尾缺失不超过总长度的 1%直接用limit_directionboth填掉如果超过就考虑截断这一段或者对首尾单独用 ffill / bfill不要混用线性插值。5.3 性能问题大表上的 merge 为什么慢merge_asof在百万级数据上会很吃力。它虽然内部有加速但前提是两侧都必须排序而排序本身在大数据量下就是开销。如果数据量超过几百万行我的建议是分块处理按天或按小时切分成多个分段分别对齐填充再合并结果。这样能显著降低内存峰值也方便并行化。另一个隐藏性能坑是interpolate()默认按列逐个计算如果 DataFrame 列数特别多循环调用会非常慢。这时可以先转成 numpy 数组用np.interp批量处理或者用 scipy 的interpolate.interp1d向量化。这一步在特征工程阶段能省下大量时间。6. 该不该做差值填充先回答三个问题写了这么多填充方法最后反而要泼一盆冷水差值填充不是必需的。很多项目在填充之前根本没想清楚为什么要填。我做每个填充决策之前都会先问三个问题你也可以按这个标准来审视自己的数据。6.1 缺失比例多少缺失比例决定了填充是否还有意义。单列缺失在 1% 以内填不填都无所谓甚至不填直接丢行也行。缺失在 5% 以内填充是合理的。一旦超过 10%尤其是连续缺失段很长填充结果的置信度会急剧下降。这时候我更倾向于把缺失本身当作一个特征来对待而不是强行补值。6.2 下游是哪种模型不同模型对缺失值的敏感度完全不同。树模型天然可以从 NaN 中学习分支线性模型和神经网络则要求输入张量完整。如果你用 XGBoost、LightGBM完全可以把缺失列直接喂进去配合掩码特征如果你用 LSTM 或全连接网络通常需要把序列补齐成等长张量。所以填充策略在相当程度上是被下游模型逼出来的不是数据本身说要填。6.3 数据是否满足可插值假设线性插值假设变化平滑样条插值假设曲线连续ffill 假设状态不变。你的数据是否满足这些假设决定了填充值到底有没有物理意义。一个很好的检验方法是留出法把一段真实存在的区间标记成缺失做填充再和真实值比对误差。如果误差在可接受范围内说明插值方式可行如果误差大到不可接受说明这段数据根本不适合插值你需要重新考虑方案。我在实际项目里见过很多人把插值当万能药最后模型精度上不去还找不到原因。其实问题的根源早在数据预处理阶段就已经埋下对齐策略丢掉了细节填充方式引入了假模式下游模型学到的全是错的东西。所以我特别想强调的是时间戳对齐和差值填充是两个强耦合的决策一定要放在一起设计、一起验证不要拆开单看。最后再分享一个我自己养成的小习惯原始数据永远保留一份不做对齐、不做填充的备份。任何预处理步骤都应该具备可逆性对齐和填充之后的数据属于“衍生数据”只用来分析和建模。一旦发现处理流程有问题我随时可以回到原始数据重新跑一遍而不是对着已经加工过的数据一头雾水。这个习惯看起来多此一举但它避免过我好几次推倒重来的麻烦值得每个做时序数据的人借鉴。 
长河君 · 2026/10/20 22:55:20 · 阅读 1.2k 时间戳对齐与差值填充：多源时序数据预处理实战指南
做时序数据处理的同学十有八九都遇到过这个问题手里好几路数据每个来源的时间戳都不一样——有的按秒记有的按毫秒记有的干脆是每隔几十秒才蹦出来一条。你想把这几路数据放到同一张表里直接算特征、画曲线、喂模型结果一合并全是 NaN。这时候最自然的想法就是“先把时间戳对齐再做差值填充”。这个标题看起来只有十来个字但背后涉及的问题一点不少。时间戳对齐在数学上不难难的是选对对齐策略差值填充在 pandas 里也就是一行.interpolate()难的是搞清楚你到底该用哪种填充方式、填充完之后怎么验证。我做设备状态监测数据融合的时候被这个问题折磨过好几轮这篇就把整套思路、代码、坑一次说清楚。1. 为什么时间对齐是时序分析里最容易被忽略的一步时序分析的大多数教程都默认数据已经是干净、等间隔、时间对齐的。但真实场景里根本不是这么回事。我手头那个故障分析项目采集源包括三轴振动传感器、温度探头、电流互感器和一套 PLC 日志。振动采样是 20kHz温度每秒钟一条电流按 50Hz 刷PLC 是整百毫秒落一条。四路信号的时间基准还各自独立偶尔掉几个点。这样的数据你拿来做频谱分析、功率谱对比、异常检测第一步不把时间轴理清楚后面全是白做。1.1 多路信号采样频率不一致concat 根本没法用很多新手拿到数据后的第一反应是 pd.concat把所有列的原始序列拼在一起。这在列数一致、索引一致的普通表格上没毛病但在时间序列上一定会炸。因为每条记录的索引是各自独立的时间戳A 通道在 00:00.000 有一条B 通道在 00:00.000 也有一条看起来能对上但 A 在 00:00.050 有一条B 在 00:00.060 才有一条concat 之后同一行里就会出现一个空值。更烦的是高频数据天然会让低频数据显得稀疏。振动 20kHz 意味着每秒 2 万个点温度每秒 1 个点。把两者直接横向拼接温度那一行基本全是 NaN整张表 99.99% 是空洞。这时候你唯一能做的就是先定义一个公共的时间基准把所有通道都“搬到”这个基准上去。这个基准就是目标时间轴。1.2 时钟漂移和数据丢点比想象中更常见采样频率不一致还算是“明面上的问题”时钟漂移才是暗坑。多个采集设备各自用一个晶振计时时间久了误差会积累。有些便宜设备的时钟一天能漂好几秒你拿不同设备的原始时间戳做精确对齐就会看到同一物理时刻被记录成相差零点几秒甚至几秒的不同时间点。丢点也很常见。振动采集卡在缓冲区溢出时会丢片段无线温度传感器因为信号遮挡可能连续几分钟不上报。这些缺失如果不对齐到统一点上你在模型训练时就只能用残缺数据。所以时间对齐不仅是格式问题它在某种意义上是在做“数据清洗的骨架”。所有后续的差值填充、特征计算、时序对齐都要依赖这个骨架是否搭得稳。1.3 对齐做不好后续差值填充全是白费这个道理我是在一次误操作里深刻体会到的。当时我用resample(1s).mean()重采样了三路信号然后把缺失部分用线性插值填上看着曲线很顺滑。结果后来跟原始高频信号一比发现插值出来的波形把尖峰全部抹平了频域特征完全变了。问题的根源不在插值而在对齐阶段我把 20kHz 的信号直接降到了 1Hz信息量损失了四个数量级。也就是说对齐策略决定了你能保留多少原始信息差值填充只是在对齐后的网格上做局部修补。如果对齐本身就错了填充得再漂亮也是南辕北辙。2. 对齐方案选型重采样、merge_asof 还是手动构造时间轴对齐时间戳的核心是确定一个公共时间轴然后把各通道映射到这个轴上。根据你的数据特点和下游需求有三条主要路线各有各的适用场景。2.1 统一降采样到低频牺牲信息换取整齐最省事的方式是直接把所有数据重采样到一个较低频率。比如把 20kHz 的振动、50Hz 的电流、1Hz 的温度全部落到 1Hz 的时间轴上。aligned df.resample(1s).mean()这里的意图是以秒为粒度每个整秒窗口内的所有原始点聚合成一个值。mean()只是其中一种聚合方式你也可以用max、min、last或者写自定义函数做 RMS、峰值因子这类特征。对振动信号max能保留冲击特征mean则会非常钝化。这条路适合以下场景下游分析不关心亚秒级细节、数据量太大需要降维、或者你只是想做长期趋势观察。代价是高频信息的不可逆丢失。20kHz 降 1Hz 等于把 20000 个点压成 1 个点能保住什么特征全靠聚合函数的选取心里必须明白这个取舍。2.2 用 merge_asof 做近似匹配保住高频数据的精度如果你不想牺牲高频信息merge_asof是最实用的工具。它做的事情是遍历左表每个时间戳在右表中找到时间最接近且不超过该时刻默认方向是 backward的那条记录。merged pd.merge_asof( left_df, # 作为时间基准的表比如低频的温度 right_df, # 需要对齐到基准上的高频数据 ontimestamp, directionnearest # nearest / forward / backward )这里的关键是方向选择。backward表示取基准时间戳之前最近的一条适合“某一时刻之前的最新状态”这种语义比如控制系统的状态量。nearest取前后最近的一条适合传感器量测。forward取之后最近的一条适合记录时间晚于基准但当时已经生效的数据。merge_asof 最大的优势是它不会丢原始频率只是把高频数据的快照“贴在”低频基准的时间点附近。缺点是它要求两边数据都按时间戳排序而且时间戳必须是可比较的同一类型。所以拿到数据后第一步永远是排序和类型检查。2.3 手动构造目标时间轴再插值最灵活但成本最高当我需要把多路数据统一到一个既不是原始频率、也不是某个低频标准的“任意网格”时我会手动生成时间轴。这个方法最适合做特征工程你可以构造一个步长为 50ms 或者 37ms 的轴然后把每一路信号映射上去。实现思路是先用pd.date_range生成目标轴然后对每一列分别做插值最后合成一张新表。这样做完全控制了输出的采样间隔但代价是代码量变大而且每路数据的插值质量完全取决于你选的插值方法。再有就是性能如果目标轴很长、通道又多循环插值会比较慢后面讲性能优化的时候我会细说。3. 差值填充的四种姿势以及怎么选对齐之后的 NaN 缺口怎么补是整篇文章的核心动作。这一步的选择直接决定数据的“品格”我强烈建议先做需求拆解再选方案而不是默认一把梭线性插值。3.1 前向填充适合状态量不适合连续量ffill也就是 forward fill用上一个有效值填掉后面的缺失。它背后的假设是“缺失期间状态不变”。这个假设对很多离散状态量成立比如设备开机/停机状态、阀门开/关状态、某条报警标志。这些量本身只会在某个时间点跳变跳变之间保持不变用 ffill 是符合物理语义的。但你要是用 ffill 填补温度、振动这类连续变化的物理量就会造出阶梯状曲线频域里会出现虚假的高频成分。我见过有人把 PLC 的模拟量用 ffill 连续填充几个小时下游做差分时直接出现 0 梯级本来应该是曲线变化的地方变成了一段段平地特别假。所以在填充之前先分清这个字段是状态量还是连续量这个分类比任何算法选择都重要。3.2 线性插值最通用的默认选择线性插值假设缺失区间的数值在两个端点之间线性过渡。它在稳态或者变化缓慢的数据上表现不错实现也简单col_filled col.interpolate(methodlinear, limit_directionboth)我会把limit_directionboth当作默认配置否则 pandas 默认只插值中间区域开头和结尾的缺失会保留为 NaN。但要注意线性插值珍惜的是“局部线性”这个前提。如果一段数据里包含明显的周期性波动或冲击线性插值会把波峰波谷削平导致峰峰值被低估。线性插值尤其不适合做外推头部和尾部的缺失只能用首尾有效值前向/后向填充或者直接截断千万不要硬按线性趋势往外延伸否则会出现完全离谱的数值。3.3 样条/多项式插值什么时候值得用样条插值能拟合出平滑曲线对波动性较强的信号视觉效果比线性好很多。pandas 里这样用col_interp col.interpolate(methodpolynomial, order3, limit_directionboth)但越高级的插值方法越容易引入“振荡假象”。高阶多项式在端点附近经常出现龙格现象也就是数值在区间边缘剧烈振荡填充出来的数值和你观测到的范围完全脱节。我做振动数据填充时试过三阶样条个别缺失区间被填出了一个 5 倍于正常幅值的尖峰直接污染了后续的频谱分析。所以我对样条插值的使用原则是只用在缺失段较短、信号本身平滑、且你有能力做人工检查的场景。缺失段一旦超过几十个连续点任何插值方法都不靠谱这时候该考虑的是删段或者用物理模型估算而不是继续在数学插值里打转。3.4 不插值对缺失段的诚实处理填充不是时序处理的“必选项”。很多情况下宁缺毋滥。比如缺失比例超过 20% 的通道插值出来的数据实际上八九成是“猜”的喂给模型反而会让模型学到虚假模式。另一个典型的场景是异常检测真实系统中一段缺失本身就是异常信息填充掉等于抹掉了证据。我处理缺失的原则是先看缺失比例再决定策略。小比例、短区间缺失可以插值大比例、长时间缺失这列要么直接不参与分析要么额外附加一个“缺失掩码特征”喂给模型。所谓掩码特征就是 0/1 标记哪些点是原始值、哪些点是填充值让模型有机会区分真实观测和人工合成这个技巧在实战里很管用。4. 完整实操从乱糟糟的原始数据到对齐后的规整数据光讲概念不够我直接用一个模拟场景完整走一遍流程。构造的数据有三路A 通道每秒采样一次B 通道每 500ms 采样一次但中间丢了几个点C 通道是每 2 秒一条且起始时间偏移了 0.3 秒。这种结构基本复刻了我在采集系统里遇到的现实问题。4.1 数据准备和问题复现先用随机数造一个接近真实的情况import pandas as pd import numpy as np np.random.seed(42) # 通道A1Hz 连续采样 t_a pd.date_range(2025-01-01 00:00:00, periods10, freq1s) df_a pd.DataFrame({timestamp: t_a, ch_a: np.sin(np.arange(10) * 0.5) np.random.normal(0, 0.02, 10)}) # 通道B500ms 采样但第5、6、7个点丢失 t_b pd.date_range(2025-01-01 00:00:00.000, periods20, freq500ms) df_b pd.DataFrame({timestamp: t_b, ch_b: np.cos(np.arange(20) * 0.3) np.random.normal(0, 0.02, 20)}) df_b df_b.drop(df_b.index[[5, 6, 7]]) # 模拟丢点 # 通道C2秒一条起始时间偏移0.3秒 t_c pd.date_range(2025-01-01 00:00:00.300, periods5, freq2s) df_c pd.DataFrame({timestamp: t_c, ch_c: np.random.rand(5) * 10})这三张表各自独立时间戳没法直接对齐。我们的目标很短把所有通道输出到 1 秒等间隔的时间轴上把缺失填掉同时保留原始数据的基本统计特征。4.2 对齐 填充的代码实现我的做法是先用 merge_asof 把所有通道贴到目标时间轴上再用插值处理残余的 NaN。目标时间轴用date_range生成起点取所有通道的最早时间终点取最晚时间。# 生成目标时间轴1秒间隔 target_ts pd.date_range( startmin(df_a[timestamp].min(), df_b[timestamp].min(), df_c[timestamp].min()), endmax(df_a[timestamp].max(), df_b[timestamp].max(), df_c[timestamp].max()), freq1s ) base pd.DataFrame({timestamp: target_ts}) # 依次把每个通道对齐到目标轴 merged base.copy() for i, (name, df_src) in enumerate({ch_a: df_a, ch_b: df_b, ch_c: df_c}.items()): if i 0: # 第一条直接用 backward 方向没有遗漏时结果就是精确匹配 merged pd.merge_asof(merged, df_src, ontimestamp, directionnearest) else: merged pd.merge_asof(merged, df_src, ontimestamp, directionnearest)对齐完成后merged里每个时间点都对应了每路信号的最近邻观测。但是当某路数据的采样间隔大于目标轴间隔时会出现同一观测被反复匹配的情况这在代码里会表现为相邻几行的数值完全相同。这个现象其实也告诉你这条路并不适合 1 秒的时间轴应该考虑更粗的轴或者换用重采样聚合。接下来才是差值填充merged[ch_a] merged[ch_a].interpolate(methodlinear, limit_directionboth) merged[ch_b] merged[ch_b].interpolate(methodlinear, limit_directionboth) merged[ch_c] merged[ch_c].interpolate(methodlinear, limit_directionboth)插值完之后我强烈建议不要立刻收工至少做一次反向验证把填充后的数据再抽样成 2 秒间隔跟原始 2 秒通道的数据对比看趋势是否一致。这个 sanity check 在真实项目里救过我很多次。4.3 结果验证填充后别直接信先做 sanity check验证有几个维度。第一是看时间轴的完整性resample(1s).mean()后应该没有 NaNisna().sum()应该为 0。第二是看数值范围用 describe() 对比填充前后各列的 min、max、mean、std如果插值导致标准差异常缩小说明插值把波动削平了。第三是抽样可视化把原始点和填充点画在同一张图上看填充段是否与相邻数据自然衔接。这个验证步骤不是可选项是必需项尤其是当你准备拿这些数据去训练模型的时候。5. 实战中踩过的坑踩坑经验比原理更重要我把这段时间里最常见的几个问题整理成一张速查表下面的每个点都对应真实操作中会遇到的情况。问题现象排查方法解决方案时区不一致某些列带 UTC 偏移某些列是 naive查看 dtypes 是否含tz统一转tz_localize再tz_convert时间戳非单调merge_asof 报错检查is_monotonic_increasing先sort_values(timestamp)重复时间戳同一时间点有多条记录duplicated().sum()按业务规则去重或聚合首尾缺失interpolate 默认不填观察首尾是否 NaN设置limit_directionboth连续大段缺失插值结果离谱检查最大连续 NaN 数超过阈值就放弃该段插值5.1 时区、夏令时和本地时间时间戳最阴险的问题就在时区。在很多工业系统里设备记录的 UTC 时间、数据库落的是带偏移的本地时间、前端展示用了北京时间的字符串三套混在一起直接做时间对齐会错一整个时区。我的习惯是任何数据进入处理流程的第一步统一转成 UTC 且带时区信息的datetime64[ns, UTC]分析完成后再转回展示时区。夏令时切换更麻烦每天只有 23 小时或者 25 小时如果你的目标时间轴用了本地时区切换那几天会平白多出或缺少一小时。做长期分析时这个现象会导致数据量统计偏差必须留意。5.2 填充边界效应开头和结尾的缺失插值填充对中段缺失表现尚可但对开头和结尾的缺失基本无能为力。开头缺失表示你没有足够的历史数据来推断起点结尾缺失表示未来值未知任何填充都是外推都包含假设。我处理边界缺失的原则是如果首尾缺失不超过总长度的 1%直接用limit_directionboth填掉如果超过就考虑截断这一段或者对首尾单独用 ffill / bfill不要混用线性插值。5.3 性能问题大表上的 merge 为什么慢merge_asof在百万级数据上会很吃力。它虽然内部有加速但前提是两侧都必须排序而排序本身在大数据量下就是开销。如果数据量超过几百万行我的建议是分块处理按天或按小时切分成多个分段分别对齐填充再合并结果。这样能显著降低内存峰值也方便并行化。另一个隐藏性能坑是interpolate()默认按列逐个计算如果 DataFrame 列数特别多循环调用会非常慢。这时可以先转成 numpy 数组用np.interp批量处理或者用 scipy 的interpolate.interp1d向量化。这一步在特征工程阶段能省下大量时间。6. 该不该做差值填充先回答三个问题写了这么多填充方法最后反而要泼一盆冷水差值填充不是必需的。很多项目在填充之前根本没想清楚为什么要填。我做每个填充决策之前都会先问三个问题你也可以按这个标准来审视自己的数据。6.1 缺失比例多少缺失比例决定了填充是否还有意义。单列缺失在 1% 以内填不填都无所谓甚至不填直接丢行也行。缺失在 5% 以内填充是合理的。一旦超过 10%尤其是连续缺失段很长填充结果的置信度会急剧下降。这时候我更倾向于把缺失本身当作一个特征来对待而不是强行补值。6.2 下游是哪种模型不同模型对缺失值的敏感度完全不同。树模型天然可以从 NaN 中学习分支线性模型和神经网络则要求输入张量完整。如果你用 XGBoost、LightGBM完全可以把缺失列直接喂进去配合掩码特征如果你用 LSTM 或全连接网络通常需要把序列补齐成等长张量。所以填充策略在相当程度上是被下游模型逼出来的不是数据本身说要填。6.3 数据是否满足可插值假设线性插值假设变化平滑样条插值假设曲线连续ffill 假设状态不变。你的数据是否满足这些假设决定了填充值到底有没有物理意义。一个很好的检验方法是留出法把一段真实存在的区间标记成缺失做填充再和真实值比对误差。如果误差在可接受范围内说明插值方式可行如果误差大到不可接受说明这段数据根本不适合插值你需要重新考虑方案。我在实际项目里见过很多人把插值当万能药最后模型精度上不去还找不到原因。其实问题的根源早在数据预处理阶段就已经埋下对齐策略丢掉了细节填充方式引入了假模式下游模型学到的全是错的东西。所以我特别想强调的是时间戳对齐和差值填充是两个强耦合的决策一定要放在一起设计、一起验证不要拆开单看。最后再分享一个我自己养成的小习惯原始数据永远保留一份不做对齐、不做填充的备份。任何预处理步骤都应该具备可逆性对齐和填充之后的数据属于“衍生数据”只用来分析和建模。一旦发现处理流程有问题我随时可以回到原始数据重新跑一遍而不是对着已经加工过的数据一头雾水。这个习惯看起来多此一举但它避免过我好几次推倒重来的麻烦值得每个做时序数据的人借鉴。