回头看这几年在量化数据工程上踩过的坑有一个问题几乎绕不开也几乎坑过每一个从研究到实盘的人——复权。很多时候策略在回测里跑得曲线完美一到实盘就翻车其中相当一部分原因不在策略逻辑本身而是底层K线数据没有处理好复权。标题里那句“从不复权K线到可复现策略数据管道”基本概括了我这些年搭建量化数据底座的完整路径。先说一个很现实的场景。你拿到一只股票2021年到2023年的日线数据直接在本地跑了一个双均线策略年化看着有30%。结果拿去模拟盘一跑收益直接缩水一半。为什么因为这只股票中间有一次10送10的高送转除权当天股价从80元直接跳到40元。你的均线策略看到的是一个“暴跌”于是触发了买入信号——这在回测里反而“抄到了底”但实盘里送转并不会给你带来真实收益这就是典型的前视偏差加上价格断裂带来的失真。所以量化数据工程里复权不是“可选项”而是“必选项”。这篇文章我就围绕复权的核心逻辑、底层数学定义、数据管道的设计以及一条能直接从“不复权K线”生成“可复现策略数据”的完整链路来展开。不管你是刚开始搭个人量化环境还是在团队里负责数据中台这篇文章都会给你一套可以直接落地的方案。1. 复权问题的根源除权除息带来的价格断裂1.1 为什么除权除息会让K线“断裂”上市公司分红送股本质是将公司的一部分权益从股价里剥离出来分给股东。除权除息日当天交易所会根据分红送股方案对股价进行强制性的价格调整。比如10派5元除息日股价直接下调0.5元10送10股价直接腰斩。这种调整在K线上表现为一个向下或向上的跳空缺口。但对于量化策略来说这个缺口是“非交易因素”造成的价格变动——公司的基本面、市场情绪、资金流向并没有在除权那一刻发生真实的剧烈变化。如果策略直接基于不复权价格计算收益率、均线、动量指标就会把这个非交易因素当作真实的行情波动来处理导致信号失真。1.2 前视偏差回测与实盘的“隐身杀手”前视偏差在量化里属于比较隐蔽的错误。它不像是未来函数那样直接拿未来数据做决策而是通过数据的静态属性把未来的信息“偷偷”注入到了历史区间里。举个具体例子。假设某股票在2023年6月实施10送10前复权数据会把2023年6月之前的所有价格都除以2。如果你在2023年1月1日回测你的数据里已经出现了“除权因子2”这个信息而当时市场上真实的成交价格并没有这个因子。前复权数据看起来连续但历史价格已经不是真实交易价格了。很多初学的朋友不理解为什么这算前视偏差——他们认为复权只是数学变换。关键是复权因子本身是“后验”的只有除权除息发生之后你才知道每股送多少、派多少。前复权把未来的分红方案施加到了过去的价格上所以在严格意义上前复权数据天然带有后视信息。1.3 后复权与真实收益数学上的连续性后复权则相反它把除权后的价格向上复权保持历史价格不变让当前价格相对“虚高”。后复权的最大优势是它保证了整个时间序列在数学上的连续性所有收益率计算都不受除权除息影响。但后复权也有它的别扭之处——后复权价格不是市场上真实交易的价格你没法直接用后复权价来判断“股价贵不贵”K线图像是一直向上的曲线真实感弱。而且如果标的经过多年多次分红后复权价可能高得离谱视觉效果上接近“涨了一万倍”容易让新手产生误导。那到底用什么我的答案是计算用后复权展示用前复权存储用不复权复权因子。这句话基本可以作为量化数据工程里处理复权问题的一个共识。2. 复权因子的底层逻辑与选择2.1 三种复权方式的数学定义先说清楚三种K线在数学上的关系。不复权价就是交易所发布的原始成交价记作 (P_{raw})。前复权价 (P_{qf})、后复权价 (P_{hf}) 与原始价格的关系如下前复权以当前时点为基准历史价格按复权因子 (f_t) 缩放使序列连续。设当前最近价格为 (P_{latest})那么前复权价 (P_{qf,t} P_{raw,t} \times \frac{P_{latest}}{P_{hf,latest}} \times \frac{P_{hf,t}}{P_{raw,t}})直观理解就是让整个历史序列都“折”到当前口径下。后复权以首个交易日为基准后续价格累乘复权因子即 (P_{hf,t} P_{raw,t} \times \prod_{i1}^{t} (1 r_i^{adj}))其中 (r_i^{adj}) 表示第 (i) 期的复权调整收益率。实际应用中复权因子常常用“区间涨跌幅还原比例”来定义。比如某只股票除权除息参考价 (P_{ref}) 与除权除息前收盘价 (P_{prev}) 的关系为[ P_{ref} \frac{P_{prev} 每股派息 - 每股配股价 \times 配股比例}{1 送股比例 转增比例 配股比例} ]这个调整比例就是数据商所给“复权因子”的核心来源。拿到因子之后前复权、后复权本质就是一次乘法运算。2.2 复权因子存储的关键思路很多团队在构建行情库时喜欢直接把前复权后的K线存进数据库用的时候直接读取。初看没什么问题但遇到策略迭代、新股上市、除权除息事件之后就会遇到一个致命问题前复权数据会随着新除权事件的发生而整体漂移。举个例子。你2024年1月用某只股票的前复权数据训练了一个模型并记录了回测指标。到了2024年6月这只股票又进行了一次分红全历史前复权价格又一次被“整体压缩”。你再次拉取同样时间窗口的数据发现和之前记录的不一样了——这就破坏了可复现性。所以正确的存储方案应该是存储原始不复权K线保证数据不可变存储每日复权因子或除权除息事件表在读取层动态计算前复权或后复权价格。这套“原始数据因子”的架构既保证数据可追溯又支持随时切换复权方式是可复现策略数据管道的基础。2.3 前复权 vs 后复权到底选哪个聊到选择很多人会纠结。我给一个相对朴素的框架如果你的策略依赖绝对价格阈值比如“股价低于5元买入”那么不能用后复权因为后复权价格早就漂到天上去了。如果你的策略依赖收益率、动量、均线突破那么后复权是数学上最干净的因为它不引入任何后视信息。如果你的策略是长周期价投类关注当前估值和真实成本那你应该直接用不复权价做基本面计算用前复权价做技术面展示。量化里“用一套数据通吃所有策略”本来就是伪需求。数据工程的价值是让你能按需、干净、高效地得到不同口径的数据而不是逼你只选一种。3. 数据管道整体设计从不复权K线到策略数据3.1 分层架构原始层、因子层、服务层一条完整的量化数据管道至少分三层原始层Raw Layer存放从行情源获取的原始不复权K线包括OHLCV、成交额、换手率等不做任何修改只做格式化和分区。因子层Factor Layer基于原始层计算复权因子、涨跌停标记、停牌标记、行业分类等衍生数据。服务层Service Layer对外提供前复权、后复权、不复权三套口径的K线查询接口按天增量更新按需全量重建。这个分层的好处是任何一次除权除息事件只影响因子层和服务层的增量更新原始层永远不动。回测时你可以随时指定“截至某个日期”的复权口径复现当时的真实数据。3.2 数据管道的核心流程整个管道可以拆成四个模块采集入库、除权除息事件识别、复权因子计算、复权数据服务。采集入库负责把日线/分钟线数据落地到原始表除权除息事件识别负责从公告或行情源获取分红送配信息复权因子计算负责基于事件表和价格数据计算每日因子复权数据服务负责对外提供三种口径的数据查询。围绕“可复现”这个目标我建议在管道里加上“数据版本”的概念。每次因子更新或数据修复都写入一个版本号。策略回测时绑定版本号之后无论数据怎么更新历史回测结果都可以通过版本回溯重新生成。3.3 为什么“可复现”是量化数据工程的硬指标回测可复现性直接影响策略迭代的效率。如果数据底层不稳定今天拉到的数据跟明天拉到的数据不一样你就很难判断策略表现的变化是来自参数优化还是数据漂移。我见过一个团队策略研究员和量化开发之间经常因为“同一段代码跑出不同结果”产生矛盾。最后定位到根因就是开发用了最新前复权数据研究员用的是历史某个时间点缓存的数据。数据版本管理一上这个问题直接消失。这不算什么高级技术但确实是最容易被忽略的基础设施。4. 核心实现复权因子的计算与数据管道关键代码4.1 用涨跌幅还原复权因子在缺少官方复权因子数据源的情况下可以通过“不复权收盘价”和“真实收益率”推导复权因子。假设你知道某只股票在相邻两日的不复权价 (P_{raw,t-1}) 和 (P_{raw,t})并且知道在 (t) 日发生了除权除息那么真实收益率为[ r_t \frac{P_{raw,t}}{P_{ref}} - 1 ]其中 (P_{ref}) 是除权除息参考价。如果两日之间没有除权除息真实收益率就是 (P_{raw,t} / P_{raw,t-1} - 1)。之后定义后复权因子[ hf_t hf_{t-1} \times (1 r_t) ]初始 (hf_0 1)。有了后复权因子链前复权因子则为 (qf_t hf_T / hf_t)其中 (hf_T) 是最近交易日的因子。利用“涨跌幅还原”的好处是只需要日线价格和除权除息事件表即可复现数据商的计算结果。下面是核心代码段import pandas as pd import numpy as np def calculate_adjust_factor( price_df: pd.DataFrame, corporate_action_df: pd.DataFrame, ) - pd.DataFrame: 根据不复权价格和除权除息事件表计算每日复权因子。 price_df: columns [trade_date, close, pre_close] corporate_action_df: columns [ex_date, cash_div, bonus_ratio, allot_ratio, allot_price] df price_df.sort_values(trade_date).copy() df[factor] 1.0 df[raw_return] df[close] / df[pre_close] - 1.0 action_map corporate_action_df.set_index(ex_date) for idx, row in df.iterrows(): date row[trade_date] if date in action_map.index: info action_map.loc[date] ref_price (row[pre_close] info[cash_div] - info[allot_ratio] * info[allot_price]) / ( 1 info[bonus_ratio] info[allot_ratio] ) df.loc[idx, raw_return] row[close] / ref_price - 1.0 df[hf_factor] (1 df[raw_return]).cumprod() df[latest_hf] df[hf_factor].iloc[-1] df[qf_factor] df[latest_hf] / df[hf_factor] return df注意这里bonus_ratio是送转比例比如10送10就是1.0cash_div是每股现金分红。4.2 分钟线复权的特殊处理分钟线复权稍微复杂一点因为除权除息通常发生在某一天的开盘前。处理分钟线复权时可以将当日复权因子应用于当天开盘前并把除权当天的前收盘价设置为参考价避免分钟线上出现“跳空”的假信号。实操上最稳妥的办法是分钟线不做动态前复权而是统一用“后复权口径”存储。因为分钟线的数据量比日线大几个量级频繁重算前复权会导致严重的数据漂移和计算浪费。用后复权口径存储计算因子时只在日线维度计算分钟线查询时再关联日线复权因子做一次映射。4.3 复权因子存储与更新策略复权因子的计算不必每次全量跑。除权除息是低频事件对全市场来说每天也就几十例。推荐的做法是每日收盘后增量检测当天是否有除权除息事件如果没有则当天的复权因子沿用前一日不触发任何重算如果有则标记受影响的股票仅对该股票从上市日到当天的因子链进行重算并写入新的因子版本。这套增量策略在大规模行情库中非常关键。A股5000多只股票的日线数据全量重算一次大约只要几分钟但在分钟线级别全量重算就是几十分钟甚至小时级。增量更新可以把延迟控制到秒级。5. 实操中常见的问题与排查技巧5.1 除权日复权价计算“对不上”这是最常遇到的问题。比如某股票除权除息你按公式算出的复权因子和数据商给的因子不一致。大多数情况下问题出在配股、送股的“比例”口径上。A股部分数据源中“送转比例”有的写“送转合计”有的分开写“送股”和“转增”还有的会把配股单独列。送股和转增在除权公式里是等价的但配股单独成项。如果你把配股比例错误地加进送转比例参考价就会算错。建议在处理时先做字段校验明确“送股比例”、“转增比例”、“配股比例”三个字段的语义。5.2 前复权数据“整体漂移”导致回测结果不稳定这个问题在前文已经强调过了但值得再补充一个排查技巧。如果你发现同样一段回测代码在不同日期跑出的结果不一样可以先检查数据版本。一个快速验证方法是对比两次拉取数据的首日收盘价如果首日收盘价变了说明数据发生了复权漂移。解决方案也很直接对于需要长期盯着的回测基线固定使用“截至基准日期的复权因子”或者直接使用后复权数据。5.3 停牌日复权因子的插值问题停牌期间虽然没有成交但除权除息事件仍然可能发生。比如某股票停牌半年期间进行了一次分红送股。复牌当天不复权价会大幅低开但这并不代表市场真的发生了暴跌。处理这个问题的标准做法是复牌当天用“除权参考价”作为前收盘价并在因子计算中把除权事件挂到复牌日而不是停牌前的最后一个交易日。否则因子链会错位导致复牌后的K线整体失真。5.4 涨跌停判断中使用复权价的误区很多策略用涨跌停条件做过滤比如“涨停不开仓”。如果用前复权价来判断涨跌停在除权日附近会出现严重偏差。正确做法是用“不复权价”对比“昨收价”和“当日涨停价”的关系。举个例子10送10除权日前复权价把历史价格全部砍半而昨收价还是除权前价格如果不加处理直接用前复权价计算涨幅会把除权日的正常波动误判为“跌停”。所以涨跌停判断必须走“不复权口径涨跌停价表”的通道。5.5 不同数据源复权因子不一致不同数据商的复权因子偶尔会有细微差异原因主要是分红到账时间、配股上市时间等时间点判定口径不同。这个问题在单边行情里影响不大但在高频策略或套利策略里会被放大。我自己的习惯是选定一家主要数据源之后不要轻易切换如果同时使用多家数据源以其中一家为基准做因子对齐。不要混用不同源的复权因子和价格数据否则会出现“价格是A家的因子是B家的”这类拼接事故。6. 可复现策略数据管道的工程实践6.1 目录结构与表结构设计下面是我在实际项目中比较推荐的一种存储结构按“原始层-因子层-服务层”组织数据文件或数据表。data/ raw/ daily/ trade_date2024-01-01/ stock_000001.parquet stock_600519.parquet minute/ trade_date2024-01-01/ stock_000001.parquet factor/ daily/ adjust_factor_2024-01-01.parquet service/ qfq/ stock_000001.parquet hfq/ stock_000001.parquet在数据库表结构上原始层表、除权除息事件表、复权因子表可以参考以下设计思路原始K线表证券代码、交易日期、开盘价、最高价、最低价、收盘价、成交量、成交额、前收盘价、涨跌幅、换手率。除权除息事件表证券代码、除权除息日、每股现金分红、送股比例、转增比例、配股比例、配股价、除权参考价。复权因子表证券代码、日期、后复权因子、前复权因子、数据版本、更新时间。“数据版本”这个字段建议一定保留。因子表每次重算都生成新的版本号任何策略回测都绑定版本号这是实现可复现的基石。6.2 从原始数据到回测/实盘数据的完整流程整个管道跑起来之后一个典型的策略数据获取流程是这样的从原始层读取某股票自上市以来的不复权日线数据从复权因子表读取截至当日的最新因子根据策略配置选择前复权或后复权口径计算最终价格将复权后的OHLC数据写入服务层供回测引擎或实盘信号引擎读取每日收盘后增量更新因子表和服务层。如果策略需要分钟级数据就在分钟原始数据基础上挂接日线复权因子按日做一次整段复权避免每分钟重复计算。6.3 验证工具复权正确性检查三件套复权数据是否算对可以通过三个简单的检查来验证复权后价格序列不应出现除权日的人为跳空。把复权后收盘价序列中相邻两日的收益率拉出来如果除权日附近出现了超过涨跌停限制的变动说明复权因子有误。后复权累计收益率应当等于区间真实收益率。对任意一段窗口后复权首尾价格之比减去1应等于该窗口区间的不复权累计真实收益率考虑分红再投的口径可以略有差异但差异应该在万分位级别。前复权最新一日价格应等于原始最新一日价格。因为前复权以最新价为基准这个特性可以用来做快速校验。6.4 数据管道上线后的日常监控数据管道上线不是终点之后还要做持续的监控。除权除息日当天要监控受影响股票的服务层数据是否按时更新新数据入库后要检查复权因子的涨跌幅是否在合理范围每周做一次全量复权因子校验对比数据商提供的因子表确保没有漏算错算。建议在管道中设置“警戒线”如果某只股票相邻两日复权后收益率超过11%A股主板涨停为10%ST为5%创业板/科创板为20%自动报警让工程师介入检查。监控看着琐碎但真能救命。我有一次凌晨跑批系统报警某只科创板股票复权后涨幅超过22%排查发现是除权信息解析时把“10转4”误读成了“10送4”导致因子计算错误。如果没有监控这种错误会直接污染下游策略信号。7. 从数据到策略几个容易忽略的细节7.1 回测与实盘的“数据口径一致”远比“数据准确”更重要很多量化初学者会花大量时间追求数据精度但忽略了最核心的一点回测和实盘必须使用同一套数据口径。如果回测用前复权、实盘信号用不复权必然出现信号偏移。我比较推荐的做法是策略信号计算统一使用后复权数据实盘下单时再把后复权价格映射回实际交易价格。这样就可以做到“研究-回测-实盘”三套环境下的信号完全一致。7.2 复权价参与技术指标计算的注意点均线、MACD、布林带等技术指标建立在连续价格序列之上使用前复权/后复权数据都没有问题。但要注意某些指标包含了价格绝对值的运算比如ATR平均真实波幅使用了最高价与最低价之差的历史统计复权方式的不同会直接影响ATR的数值大小。如果策略中混合使用了多个时间周期的数据比如“日线选股分钟线择时”建议统一采用后复权口径。这样能避免因复权方式不统一导致跨周期信号冲突。7.3 成本模型里要不要考虑复权很多人在回测中把手续费和滑点建模得很精细却忽略了除权除息对持仓成本和收益归因的影响。如果你的策略持有股票跨过了除权日那么分红送股会改变持仓数量进而影响后续交易的滑点和手续费计算。比如你持有1000股每股分红0.5元现金到账500元。如果策略按固定比例调仓这500元现金是否参与后续买入直接影响持仓权重。成本模型如果处理不当会把分红收益和策略alpha混在一起导致归因失真。处理方案是在数据管道中维护“持仓事件表”把除权除息当成一次虚拟的“持仓数量变更现金入账”事件并纳入交易模拟。8. 我的实战心得与一些建议做量化数据工程这几年我最大的体会是数据管道的好坏不取决于用了多牛的技术而取决于对各种“边缘情况”的处理是否扎实。复权看起来只是一个乘数因子的问题但它牵扯到除权除息事件解析、存储结构设计、增量更新策略、回测可复现性、实盘信号一致性任何一个环节掉链子都会在下游以意想不到的方式暴雷。如果你现在正打算搭建自己的量化数据管道我的建议是从小处着手先选定一个标的梳理出它上市以来的所有除权除息事件手工计算一遍复权因子再用代码自动化最后跑通原始层到服务层的完整流程。不要一开始就追求全市场覆盖否则你会被数据清洗和异常排查淹没。数据工程的成就感不在于“量大”而在于“可靠”。当你的策略在几个月后还能完整复现当时的回测结果当你在深夜接到报警电话然后从容地定位到一条错误的分红记录你会觉得前面所有的折腾都值得。 
长河君 · 2026/9/15 5:31:16 · 阅读 1.2k 量化数据工程必知：复权因子与可复现K线数据管道搭建指南
回头看这几年在量化数据工程上踩过的坑有一个问题几乎绕不开也几乎坑过每一个从研究到实盘的人——复权。很多时候策略在回测里跑得曲线完美一到实盘就翻车其中相当一部分原因不在策略逻辑本身而是底层K线数据没有处理好复权。标题里那句“从不复权K线到可复现策略数据管道”基本概括了我这些年搭建量化数据底座的完整路径。先说一个很现实的场景。你拿到一只股票2021年到2023年的日线数据直接在本地跑了一个双均线策略年化看着有30%。结果拿去模拟盘一跑收益直接缩水一半。为什么因为这只股票中间有一次10送10的高送转除权当天股价从80元直接跳到40元。你的均线策略看到的是一个“暴跌”于是触发了买入信号——这在回测里反而“抄到了底”但实盘里送转并不会给你带来真实收益这就是典型的前视偏差加上价格断裂带来的失真。所以量化数据工程里复权不是“可选项”而是“必选项”。这篇文章我就围绕复权的核心逻辑、底层数学定义、数据管道的设计以及一条能直接从“不复权K线”生成“可复现策略数据”的完整链路来展开。不管你是刚开始搭个人量化环境还是在团队里负责数据中台这篇文章都会给你一套可以直接落地的方案。1. 复权问题的根源除权除息带来的价格断裂1.1 为什么除权除息会让K线“断裂”上市公司分红送股本质是将公司的一部分权益从股价里剥离出来分给股东。除权除息日当天交易所会根据分红送股方案对股价进行强制性的价格调整。比如10派5元除息日股价直接下调0.5元10送10股价直接腰斩。这种调整在K线上表现为一个向下或向上的跳空缺口。但对于量化策略来说这个缺口是“非交易因素”造成的价格变动——公司的基本面、市场情绪、资金流向并没有在除权那一刻发生真实的剧烈变化。如果策略直接基于不复权价格计算收益率、均线、动量指标就会把这个非交易因素当作真实的行情波动来处理导致信号失真。1.2 前视偏差回测与实盘的“隐身杀手”前视偏差在量化里属于比较隐蔽的错误。它不像是未来函数那样直接拿未来数据做决策而是通过数据的静态属性把未来的信息“偷偷”注入到了历史区间里。举个具体例子。假设某股票在2023年6月实施10送10前复权数据会把2023年6月之前的所有价格都除以2。如果你在2023年1月1日回测你的数据里已经出现了“除权因子2”这个信息而当时市场上真实的成交价格并没有这个因子。前复权数据看起来连续但历史价格已经不是真实交易价格了。很多初学的朋友不理解为什么这算前视偏差——他们认为复权只是数学变换。关键是复权因子本身是“后验”的只有除权除息发生之后你才知道每股送多少、派多少。前复权把未来的分红方案施加到了过去的价格上所以在严格意义上前复权数据天然带有后视信息。1.3 后复权与真实收益数学上的连续性后复权则相反它把除权后的价格向上复权保持历史价格不变让当前价格相对“虚高”。后复权的最大优势是它保证了整个时间序列在数学上的连续性所有收益率计算都不受除权除息影响。但后复权也有它的别扭之处——后复权价格不是市场上真实交易的价格你没法直接用后复权价来判断“股价贵不贵”K线图像是一直向上的曲线真实感弱。而且如果标的经过多年多次分红后复权价可能高得离谱视觉效果上接近“涨了一万倍”容易让新手产生误导。那到底用什么我的答案是计算用后复权展示用前复权存储用不复权复权因子。这句话基本可以作为量化数据工程里处理复权问题的一个共识。2. 复权因子的底层逻辑与选择2.1 三种复权方式的数学定义先说清楚三种K线在数学上的关系。不复权价就是交易所发布的原始成交价记作 (P_{raw})。前复权价 (P_{qf})、后复权价 (P_{hf}) 与原始价格的关系如下前复权以当前时点为基准历史价格按复权因子 (f_t) 缩放使序列连续。设当前最近价格为 (P_{latest})那么前复权价 (P_{qf,t} P_{raw,t} \times \frac{P_{latest}}{P_{hf,latest}} \times \frac{P_{hf,t}}{P_{raw,t}})直观理解就是让整个历史序列都“折”到当前口径下。后复权以首个交易日为基准后续价格累乘复权因子即 (P_{hf,t} P_{raw,t} \times \prod_{i1}^{t} (1 r_i^{adj}))其中 (r_i^{adj}) 表示第 (i) 期的复权调整收益率。实际应用中复权因子常常用“区间涨跌幅还原比例”来定义。比如某只股票除权除息参考价 (P_{ref}) 与除权除息前收盘价 (P_{prev}) 的关系为[ P_{ref} \frac{P_{prev} 每股派息 - 每股配股价 \times 配股比例}{1 送股比例 转增比例 配股比例} ]这个调整比例就是数据商所给“复权因子”的核心来源。拿到因子之后前复权、后复权本质就是一次乘法运算。2.2 复权因子存储的关键思路很多团队在构建行情库时喜欢直接把前复权后的K线存进数据库用的时候直接读取。初看没什么问题但遇到策略迭代、新股上市、除权除息事件之后就会遇到一个致命问题前复权数据会随着新除权事件的发生而整体漂移。举个例子。你2024年1月用某只股票的前复权数据训练了一个模型并记录了回测指标。到了2024年6月这只股票又进行了一次分红全历史前复权价格又一次被“整体压缩”。你再次拉取同样时间窗口的数据发现和之前记录的不一样了——这就破坏了可复现性。所以正确的存储方案应该是存储原始不复权K线保证数据不可变存储每日复权因子或除权除息事件表在读取层动态计算前复权或后复权价格。这套“原始数据因子”的架构既保证数据可追溯又支持随时切换复权方式是可复现策略数据管道的基础。2.3 前复权 vs 后复权到底选哪个聊到选择很多人会纠结。我给一个相对朴素的框架如果你的策略依赖绝对价格阈值比如“股价低于5元买入”那么不能用后复权因为后复权价格早就漂到天上去了。如果你的策略依赖收益率、动量、均线突破那么后复权是数学上最干净的因为它不引入任何后视信息。如果你的策略是长周期价投类关注当前估值和真实成本那你应该直接用不复权价做基本面计算用前复权价做技术面展示。量化里“用一套数据通吃所有策略”本来就是伪需求。数据工程的价值是让你能按需、干净、高效地得到不同口径的数据而不是逼你只选一种。3. 数据管道整体设计从不复权K线到策略数据3.1 分层架构原始层、因子层、服务层一条完整的量化数据管道至少分三层原始层Raw Layer存放从行情源获取的原始不复权K线包括OHLCV、成交额、换手率等不做任何修改只做格式化和分区。因子层Factor Layer基于原始层计算复权因子、涨跌停标记、停牌标记、行业分类等衍生数据。服务层Service Layer对外提供前复权、后复权、不复权三套口径的K线查询接口按天增量更新按需全量重建。这个分层的好处是任何一次除权除息事件只影响因子层和服务层的增量更新原始层永远不动。回测时你可以随时指定“截至某个日期”的复权口径复现当时的真实数据。3.2 数据管道的核心流程整个管道可以拆成四个模块采集入库、除权除息事件识别、复权因子计算、复权数据服务。采集入库负责把日线/分钟线数据落地到原始表除权除息事件识别负责从公告或行情源获取分红送配信息复权因子计算负责基于事件表和价格数据计算每日因子复权数据服务负责对外提供三种口径的数据查询。围绕“可复现”这个目标我建议在管道里加上“数据版本”的概念。每次因子更新或数据修复都写入一个版本号。策略回测时绑定版本号之后无论数据怎么更新历史回测结果都可以通过版本回溯重新生成。3.3 为什么“可复现”是量化数据工程的硬指标回测可复现性直接影响策略迭代的效率。如果数据底层不稳定今天拉到的数据跟明天拉到的数据不一样你就很难判断策略表现的变化是来自参数优化还是数据漂移。我见过一个团队策略研究员和量化开发之间经常因为“同一段代码跑出不同结果”产生矛盾。最后定位到根因就是开发用了最新前复权数据研究员用的是历史某个时间点缓存的数据。数据版本管理一上这个问题直接消失。这不算什么高级技术但确实是最容易被忽略的基础设施。4. 核心实现复权因子的计算与数据管道关键代码4.1 用涨跌幅还原复权因子在缺少官方复权因子数据源的情况下可以通过“不复权收盘价”和“真实收益率”推导复权因子。假设你知道某只股票在相邻两日的不复权价 (P_{raw,t-1}) 和 (P_{raw,t})并且知道在 (t) 日发生了除权除息那么真实收益率为[ r_t \frac{P_{raw,t}}{P_{ref}} - 1 ]其中 (P_{ref}) 是除权除息参考价。如果两日之间没有除权除息真实收益率就是 (P_{raw,t} / P_{raw,t-1} - 1)。之后定义后复权因子[ hf_t hf_{t-1} \times (1 r_t) ]初始 (hf_0 1)。有了后复权因子链前复权因子则为 (qf_t hf_T / hf_t)其中 (hf_T) 是最近交易日的因子。利用“涨跌幅还原”的好处是只需要日线价格和除权除息事件表即可复现数据商的计算结果。下面是核心代码段import pandas as pd import numpy as np def calculate_adjust_factor( price_df: pd.DataFrame, corporate_action_df: pd.DataFrame, ) - pd.DataFrame: 根据不复权价格和除权除息事件表计算每日复权因子。 price_df: columns [trade_date, close, pre_close] corporate_action_df: columns [ex_date, cash_div, bonus_ratio, allot_ratio, allot_price] df price_df.sort_values(trade_date).copy() df[factor] 1.0 df[raw_return] df[close] / df[pre_close] - 1.0 action_map corporate_action_df.set_index(ex_date) for idx, row in df.iterrows(): date row[trade_date] if date in action_map.index: info action_map.loc[date] ref_price (row[pre_close] info[cash_div] - info[allot_ratio] * info[allot_price]) / ( 1 info[bonus_ratio] info[allot_ratio] ) df.loc[idx, raw_return] row[close] / ref_price - 1.0 df[hf_factor] (1 df[raw_return]).cumprod() df[latest_hf] df[hf_factor].iloc[-1] df[qf_factor] df[latest_hf] / df[hf_factor] return df注意这里bonus_ratio是送转比例比如10送10就是1.0cash_div是每股现金分红。4.2 分钟线复权的特殊处理分钟线复权稍微复杂一点因为除权除息通常发生在某一天的开盘前。处理分钟线复权时可以将当日复权因子应用于当天开盘前并把除权当天的前收盘价设置为参考价避免分钟线上出现“跳空”的假信号。实操上最稳妥的办法是分钟线不做动态前复权而是统一用“后复权口径”存储。因为分钟线的数据量比日线大几个量级频繁重算前复权会导致严重的数据漂移和计算浪费。用后复权口径存储计算因子时只在日线维度计算分钟线查询时再关联日线复权因子做一次映射。4.3 复权因子存储与更新策略复权因子的计算不必每次全量跑。除权除息是低频事件对全市场来说每天也就几十例。推荐的做法是每日收盘后增量检测当天是否有除权除息事件如果没有则当天的复权因子沿用前一日不触发任何重算如果有则标记受影响的股票仅对该股票从上市日到当天的因子链进行重算并写入新的因子版本。这套增量策略在大规模行情库中非常关键。A股5000多只股票的日线数据全量重算一次大约只要几分钟但在分钟线级别全量重算就是几十分钟甚至小时级。增量更新可以把延迟控制到秒级。5. 实操中常见的问题与排查技巧5.1 除权日复权价计算“对不上”这是最常遇到的问题。比如某股票除权除息你按公式算出的复权因子和数据商给的因子不一致。大多数情况下问题出在配股、送股的“比例”口径上。A股部分数据源中“送转比例”有的写“送转合计”有的分开写“送股”和“转增”还有的会把配股单独列。送股和转增在除权公式里是等价的但配股单独成项。如果你把配股比例错误地加进送转比例参考价就会算错。建议在处理时先做字段校验明确“送股比例”、“转增比例”、“配股比例”三个字段的语义。5.2 前复权数据“整体漂移”导致回测结果不稳定这个问题在前文已经强调过了但值得再补充一个排查技巧。如果你发现同样一段回测代码在不同日期跑出的结果不一样可以先检查数据版本。一个快速验证方法是对比两次拉取数据的首日收盘价如果首日收盘价变了说明数据发生了复权漂移。解决方案也很直接对于需要长期盯着的回测基线固定使用“截至基准日期的复权因子”或者直接使用后复权数据。5.3 停牌日复权因子的插值问题停牌期间虽然没有成交但除权除息事件仍然可能发生。比如某股票停牌半年期间进行了一次分红送股。复牌当天不复权价会大幅低开但这并不代表市场真的发生了暴跌。处理这个问题的标准做法是复牌当天用“除权参考价”作为前收盘价并在因子计算中把除权事件挂到复牌日而不是停牌前的最后一个交易日。否则因子链会错位导致复牌后的K线整体失真。5.4 涨跌停判断中使用复权价的误区很多策略用涨跌停条件做过滤比如“涨停不开仓”。如果用前复权价来判断涨跌停在除权日附近会出现严重偏差。正确做法是用“不复权价”对比“昨收价”和“当日涨停价”的关系。举个例子10送10除权日前复权价把历史价格全部砍半而昨收价还是除权前价格如果不加处理直接用前复权价计算涨幅会把除权日的正常波动误判为“跌停”。所以涨跌停判断必须走“不复权口径涨跌停价表”的通道。5.5 不同数据源复权因子不一致不同数据商的复权因子偶尔会有细微差异原因主要是分红到账时间、配股上市时间等时间点判定口径不同。这个问题在单边行情里影响不大但在高频策略或套利策略里会被放大。我自己的习惯是选定一家主要数据源之后不要轻易切换如果同时使用多家数据源以其中一家为基准做因子对齐。不要混用不同源的复权因子和价格数据否则会出现“价格是A家的因子是B家的”这类拼接事故。6. 可复现策略数据管道的工程实践6.1 目录结构与表结构设计下面是我在实际项目中比较推荐的一种存储结构按“原始层-因子层-服务层”组织数据文件或数据表。data/ raw/ daily/ trade_date2024-01-01/ stock_000001.parquet stock_600519.parquet minute/ trade_date2024-01-01/ stock_000001.parquet factor/ daily/ adjust_factor_2024-01-01.parquet service/ qfq/ stock_000001.parquet hfq/ stock_000001.parquet在数据库表结构上原始层表、除权除息事件表、复权因子表可以参考以下设计思路原始K线表证券代码、交易日期、开盘价、最高价、最低价、收盘价、成交量、成交额、前收盘价、涨跌幅、换手率。除权除息事件表证券代码、除权除息日、每股现金分红、送股比例、转增比例、配股比例、配股价、除权参考价。复权因子表证券代码、日期、后复权因子、前复权因子、数据版本、更新时间。“数据版本”这个字段建议一定保留。因子表每次重算都生成新的版本号任何策略回测都绑定版本号这是实现可复现的基石。6.2 从原始数据到回测/实盘数据的完整流程整个管道跑起来之后一个典型的策略数据获取流程是这样的从原始层读取某股票自上市以来的不复权日线数据从复权因子表读取截至当日的最新因子根据策略配置选择前复权或后复权口径计算最终价格将复权后的OHLC数据写入服务层供回测引擎或实盘信号引擎读取每日收盘后增量更新因子表和服务层。如果策略需要分钟级数据就在分钟原始数据基础上挂接日线复权因子按日做一次整段复权避免每分钟重复计算。6.3 验证工具复权正确性检查三件套复权数据是否算对可以通过三个简单的检查来验证复权后价格序列不应出现除权日的人为跳空。把复权后收盘价序列中相邻两日的收益率拉出来如果除权日附近出现了超过涨跌停限制的变动说明复权因子有误。后复权累计收益率应当等于区间真实收益率。对任意一段窗口后复权首尾价格之比减去1应等于该窗口区间的不复权累计真实收益率考虑分红再投的口径可以略有差异但差异应该在万分位级别。前复权最新一日价格应等于原始最新一日价格。因为前复权以最新价为基准这个特性可以用来做快速校验。6.4 数据管道上线后的日常监控数据管道上线不是终点之后还要做持续的监控。除权除息日当天要监控受影响股票的服务层数据是否按时更新新数据入库后要检查复权因子的涨跌幅是否在合理范围每周做一次全量复权因子校验对比数据商提供的因子表确保没有漏算错算。建议在管道中设置“警戒线”如果某只股票相邻两日复权后收益率超过11%A股主板涨停为10%ST为5%创业板/科创板为20%自动报警让工程师介入检查。监控看着琐碎但真能救命。我有一次凌晨跑批系统报警某只科创板股票复权后涨幅超过22%排查发现是除权信息解析时把“10转4”误读成了“10送4”导致因子计算错误。如果没有监控这种错误会直接污染下游策略信号。7. 从数据到策略几个容易忽略的细节7.1 回测与实盘的“数据口径一致”远比“数据准确”更重要很多量化初学者会花大量时间追求数据精度但忽略了最核心的一点回测和实盘必须使用同一套数据口径。如果回测用前复权、实盘信号用不复权必然出现信号偏移。我比较推荐的做法是策略信号计算统一使用后复权数据实盘下单时再把后复权价格映射回实际交易价格。这样就可以做到“研究-回测-实盘”三套环境下的信号完全一致。7.2 复权价参与技术指标计算的注意点均线、MACD、布林带等技术指标建立在连续价格序列之上使用前复权/后复权数据都没有问题。但要注意某些指标包含了价格绝对值的运算比如ATR平均真实波幅使用了最高价与最低价之差的历史统计复权方式的不同会直接影响ATR的数值大小。如果策略中混合使用了多个时间周期的数据比如“日线选股分钟线择时”建议统一采用后复权口径。这样能避免因复权方式不统一导致跨周期信号冲突。7.3 成本模型里要不要考虑复权很多人在回测中把手续费和滑点建模得很精细却忽略了除权除息对持仓成本和收益归因的影响。如果你的策略持有股票跨过了除权日那么分红送股会改变持仓数量进而影响后续交易的滑点和手续费计算。比如你持有1000股每股分红0.5元现金到账500元。如果策略按固定比例调仓这500元现金是否参与后续买入直接影响持仓权重。成本模型如果处理不当会把分红收益和策略alpha混在一起导致归因失真。处理方案是在数据管道中维护“持仓事件表”把除权除息当成一次虚拟的“持仓数量变更现金入账”事件并纳入交易模拟。8. 我的实战心得与一些建议做量化数据工程这几年我最大的体会是数据管道的好坏不取决于用了多牛的技术而取决于对各种“边缘情况”的处理是否扎实。复权看起来只是一个乘数因子的问题但它牵扯到除权除息事件解析、存储结构设计、增量更新策略、回测可复现性、实盘信号一致性任何一个环节掉链子都会在下游以意想不到的方式暴雷。如果你现在正打算搭建自己的量化数据管道我的建议是从小处着手先选定一个标的梳理出它上市以来的所有除权除息事件手工计算一遍复权因子再用代码自动化最后跑通原始层到服务层的完整流程。不要一开始就追求全市场覆盖否则你会被数据清洗和异常排查淹没。数据工程的成就感不在于“量大”而在于“可靠”。当你的策略在几个月后还能完整复现当时的回测结果当你在深夜接到报警电话然后从容地定位到一条错误的分红记录你会觉得前面所有的折腾都值得。