1. 项目缘起从“猜”到“算”的共享单车运营革命几年前我在一个共享单车运营团队里每天最头疼的就是“车不够用”和“车没人用”这两个看似矛盾的问题。早高峰的地铁口用户排着队扫码却发现一辆空车都没有而到了下午一些偏僻的公园门口几十辆车静静地停着落满了灰尘。当时的调度基本靠经验、靠感觉甚至靠“猜”——哪个区域昨天用车多今天就多派几辆车过去。这种粗放的管理方式直接导致了运营成本高企和用户体验下降。直到我们开始尝试用数据说话情况才发生了根本性的转变。这一切的核心就是特征工程。今天我想和你深入聊聊如何通过特征工程为共享单车的租赁需求建立一个靠谱的预估模型。这不仅仅是把数据扔进算法里那么简单而是一个将原始、杂乱的数据转化为机器能“理解”的、能揭示规律的信息的过程。就像厨师做菜前要处理食材一样特征工程就是数据科学里的“备菜”环节它直接决定了最终模型这道“大餐”的成败。对于共享单车租赁需求预估这个具体场景我们的目标是给定未来某个时间、某个地点预测那里会有多少人想租车。这听起来简单但背后涉及的因素错综复杂时间、天气、地理位置、节假日、甚至附近有没有大型活动。特征工程就是要从这些纷繁复杂的数据中提炼出最能影响用户决策的关键信号。无论你是数据科学的新手还是想深入了解某个垂直领域应用的老兵这篇文章都将带你走完一个完整的、可复现的特征工程实战流程。2. 理解战场共享单车需求预估的本质与数据全景在动手写一行代码之前我们必须先搞清楚我们要预测的到底是什么以及我们手上有哪些“武器”数据。盲目地开始特征构造就像蒙着眼睛在迷宫里乱撞。2.1 需求预估的本质一个时空条件下的概率问题共享单车的租赁需求不是一个静态的数字。它本质上是在特定时间、特定地点用户产生租车行为的概率。这个概率受到无数因素的影响且具有很强的时空相关性。时间维度需求在一天内有明显的潮汐效应早晚上下班高峰在一周内有周期性工作日通勤 vs 周末休闲在一年内也有季节性春夏骑行意愿高 vs 冬季低。空间维度需求在空间上高度不均匀。地铁站、公交枢纽、写字楼、商圈、大学校园、居民区每个地点的需求模式截然不同。外部环境维度天气是最大的外部扰动因素。下雨、下雪、大风、高温、雾霾都会显著抑制骑行需求。节假日、大型赛事、演唱会、道路施工等事件则会剧烈地改变局部地区的需求模式。因此我们的特征工程必须紧紧围绕这三个维度展开目标是让模型能够“感受”到时间流逝、位置差异和环境变化。2.2 典型数据源解析我们有什么还缺什么一个完整的共享单车需求预估项目数据通常来自多个系统。理解每一类数据的意义和局限是做好特征工程的前提。历史订单数据这是最核心的数据。每一行记录代表一次完整的租还车行为。关键字段包括start_time租车时间、end_time还车时间构建时间特征的基础。start_station_id租车站点ID、end_station_id还车站点ID构建空间特征的基础。user_id用户ID可用于分析用户群体行为但需注意隐私。bike_id车辆ID可用于分析车辆周转率。注意原始订单数据是“交易”数据我们需要将其聚合为我们预测的目标变量——每个时间片、每个站点的租车数量。例如按小时聚合得到“A站点在2023年10月1日8:00-9:00时段内的租车量”。站点/区域元数据描述空间位置属性的数据。station_id站点ID、station_name站点名。latitude纬度、longitude经度最重要的空间信息。capacity车位容量站点能停放的最大车辆数与供需平衡相关。周边POI兴趣点信息这通常是需要外部获取或通过经纬度反查的关键数据。例如站点500米范围内写字楼、地铁站、商场、学校、住宅区的数量和密度。POI数据是区分站点功能属性的黄金特征。时间与日历数据系统自带或很容易生成。从start_time可以衍生出hour小时、day_of_week星期几、day_of_month几号、month月份、is_weekend是否周末、is_holiday是否法定节假日。特殊日期需要自己构建一个日历表标记出调休工作日、重大节日如春节、国庆、本地特色活动日等。天气数据必须从外部API获取的历史天气数据。关键字段包括temperature温度、humidity湿度、wind_speed风速。weather_condition天气状况如“晴”、“多云”、“小雨”、“中雪”。这个类别型变量需要妥善编码。precipitation降水量直接反映降雨/雪量。注意天气数据通常按城市或区域提供需要与单车站点的地理位置进行匹配。一个城市的天气可能差异不大但对于超大城市东西部天气可能有别需要考虑更细粒度的天气数据。事件数据最难获取但影响巨大的数据。包括体育赛事、演唱会、展会、马拉松、道路封闭等信息。这部分数据往往需要从新闻、社交媒体或专门的事件API中爬取和整理。实操心得在项目初期不要追求数据的大而全。优先确保核心数据历史订单、站点位置、基础时间、天气的准确性和完整性。POI和事件数据可以作为第二阶段的优化项。我曾在一个项目中花了大量时间折腾复杂的事件数据后来发现把基础的时间、天气特征做到极致模型效果已经提升了80%。记住高质量的简单特征远胜于粗糙的复杂特征。3. 特征构造实战从原始字段到模型“食粮”这是特征工程最核心、最体现功力的部分。我们将按照数据类别一步步将原始数据“烹饪”成模型可用的特征。3.1 时间特征捕捉周期性规律时间特征是最直接、也是最强大的特征之一。其构造不仅在于提取字段更在于用合适的方式表达周期性。基础时间切片 首先确定预测的粒度。我们是预测未来一小时的租车量还是未来一天的这里以小时级预测为例。我们需要将start_time转换为hour并以此聚合目标变量rental_count。关键时间特征构造循环编码Cyclical Encoding对于hour0-23、day_of_week0-6、month1-12这类具有循环特性的特征直接使用数值编码如hour23是不合适的因为23点和0点在数值上相差很大但在周期上却是相邻的。正确的做法是使用正弦余弦变换# 以hour为例 data[hour_sin] np.sin(2 * np.pi * data[hour]/24) data[hour_cos] np.cos(2 * np.pi * data[hour]/24)这样23点和0点在正弦余弦空间里的位置就会很接近。这对线性模型和树模型理解周期性都有帮助。时段分类根据业务经验将一天划分为几个典型时段如“早高峰7-9点”、“午间11-13点”、“晚高峰17-19点”、“夜间20-6点”、“普通日间”等生成一个类别特征time_slot。这比单纯的hour更能体现需求模式。业务时间标志is_morning_rush是否早高峰。is_evening_rush是否晚高峰。is_working_hour是否工作时间如9-18点。is_weekend是否周末。is_holiday是否法定节假日。这里有个大坑中国的节假日经常包含调休即节假日前后的周末可能变成工作日。必须使用一个准确的“节假日及调休日历表”来生成这个特征否则特征会严重误导模型。3.2 空间与POI特征定义地点的“性格”一个站点的需求很大程度上由其周边环境决定。我们需要用量化的方式描述这种环境。基础空间特征经纬度直接使用latitude和longitude作为特征。对于树模型如LightGBM, XGBoost它们能自动学习空间交互和非线性关系。对于线性模型可能需要加入交叉项或聚类。区域聚类使用聚类算法如K-Means、DBSCAN将所有站点划分为若干区域如“核心商务区”、“大学城”、“大型居住区”、“交通枢纽区”。生成的cluster_id作为一个类别特征可以捕捉宏观的区域功能。POI特征构造核心 假设我们获得了每个站点周边500米范围内的各类POI数量。数量与密度num_metro_entrance地铁口数量。最强预测因子之一通勤刚需。num_bus_stop公交站点数量。num_office_building写字楼数量。num_shopping_mall大型商场数量。num_residential_community住宅小区数量。num_school_university学校/大学数量。num_restaurant餐馆数量。density_poiPOI总密度总数/面积。比例与交叉ratio_office_to_residential写字楼与住宅数量比。这个比值高的地方早高峰需求可能以“流入”为主从家来上班晚高峰以“流出”为主下班回家。has_metro_and_mall是否同时有地铁和商场布尔值。这类站点通常是全天候热点。踩坑实录曾经我们直接使用了高德地图API返回的POI一级分类如“餐饮服务”、“公司企业”。结果发现“公司企业”里既包含大型写字楼也包含街边小店区分度不够。后来我们改为使用更细粒度的POI二级分类如“写字楼”、“公司”并人工核验了部分重点区域的样本特征效果才有了质的提升。数据质量永远在算法之前。3.3 天气特征量化环境舒适度天气数据是连续的数值和离散的类别需要妥善处理。数值型天气特征temperature,humidity,wind_speed,precipitation。通常直接使用也可以做标准化。需要注意的是温度和需求的关系可能不是线性的太冷或太热都会降低需求。可以考虑创建temperature_squared项或分箱成“寒冷”、“舒适”、“炎热”等类别。类别型天气特征weather_condition。绝对不能简单LabelEncoding编码为0,1,2…因为这会引入错误的顺序关系。必须使用独热编码One-Hot Encoding。但类别可能很多晴、多云、阴、小雨、中雨、大雨、雪…会导致特征维度膨胀。一个实用的技巧是业务归类将天气归为几大类如“晴好”、“多云阴天”、“小雨”、“中大雨”、“雪雾等恶劣天气”再进行独热编码。复合天气指标可以构造一些综合指标例如is_bad_weather是否恶劣天气如降水10mm 或 风速10m/s 或 天气为雪/雾。comfort_index一个简化的体感舒适度指数综合温度、湿度、风速计算得出。3.4 滞后与滚动统计特征让模型拥有“记忆”这是时间序列预测的精髓。我们要用过去的数据来预测未来的趋势。目标变量rental_count的滞后特征lag_1h: 上一小时的需求。lag_2h: 上两个小时的需求。lag_24h: 前一天同一小时的需求捕捉日周期。lag_168h: 前一周同一小时的需求捕捉周周期。滚动统计特征 在过去一个时间窗口内计算目标变量的统计量描述近期趋势。rolling_mean_3h: 过去3小时的平均需求。rolling_mean_24h: 过去24小时的平均需求。rolling_std_24h: 过去24小时的需求标准差反映波动性。rolling_max_24h: 过去24小时的最大需求。构造方法# 假设数据已按站点和时间排序 grouped data.groupby(station_id)[rental_count] data[lag_1h] grouped.shift(1) # 滞后1期 data[lag_24h] grouped.shift(24) # 滞后24期 data[rolling_mean_3h] grouped.shift(1).rolling(window3, min_periods1).mean()重要提示在构造这类特征时必须严格按station_id分组后进行shift和rolling操作绝对要避免未来信息泄露。即t时刻的特征只能由t时刻之前的历史数据计算得到。在划分训练集和测试集时也要按时间顺序划分不能随机打乱。4. 特征筛选、验证与避坑指南构造出上百个特征后我们面临两个问题1. 有些特征可能没用甚至有害2. 如何验证我们的特征工程确实有效4.1 特征筛选去掉噪音留住信号不是所有特征都是有益的。冗余特征会增加模型复杂度降低泛化能力甚至引入噪音。方差过滤移除方差极低例如所有样本取值几乎相同的特征。这类特征没有区分度。相关性分析特征与目标的相关性计算每个特征与目标变量rental_count的相关系数对于连续特征用皮尔逊系数对于类别特征可以用方差分析ANOVA F值。剔除那些与目标明显不相关的特征。特征之间的相关性计算特征间的相关系数矩阵。如果两个特征高度相关例如rolling_mean_3h和rolling_mean_6h它们提供的信息是冗余的可以考虑只保留一个或使用PCA等降维方法。对于树模型特征间多重共线性影响相对较小但线性模型对此非常敏感。基于模型的特征重要性使用一个简单的树模型如RandomForest或LightGBM在所有特征上训练一次输出特征重要性排序。这是一个非常实用的方法可以直观看到哪些特征被模型认为最有价值。注意这只是一个参考因为重要性受模型类型和超参数影响。递归特征消除RFE这是一个更系统的方法。它反复构建模型每次剔除最不重要的特征直到达到指定的特征数量。虽然计算量大但效果通常很好。个人经验我的工作流通常是先做方差过滤和高度相关性剔除相关系数0.9快速清理一波。然后用一个基准模型如LightGBM跑出特征重要性人工审视排在末尾的特征结合业务逻辑决定是否删除。最后如果特征数量还是太多比如100再考虑使用RFE进行精炼。记住业务理解永远是最重要的筛子如果一个特征在业务上完全说不通即使它暂时看起来有点用也要谨慎对待可能是过拟合或数据泄露的征兆。4.2 验证策略确保特征工程真的在提升模型特征工程做得好不好最终要由模型效果说话。必须建立一个可靠的验证框架。时间序列交叉验证TimeSeriesSplit这是最关键的一点绝对不能使用随机交叉验证如KFold因为这会破坏数据的时间顺序导致用“未来”的数据来预测“过去”造成极其乐观的虚假结果。必须使用TimeSeriesSplit确保每一次验证中训练集的时间都在测试集之前。from sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5) for train_index, test_index in tscv.split(X): X_train, X_test X.iloc[train_index], X.iloc[test_index] y_train, y_test y.iloc[train_index], y.iloc[test_index] # ... 训练和评估模型设定合理的评估指标对于回归问题常用的有MAE平均绝对误差直观容易被业务方理解。“平均而言我们的预测每小时差多少辆车”。RMSE均方根误差对大的预测误差惩罚更重。MAPE平均绝对百分比误差相对误差。但当真实值很小时如深夜需求为0MAPE会趋于无穷大不适用。可以改用**sMAPE对称平均绝对百分比误差**或对目标变量做平滑处理。业务定制指标例如对于“车不够用”预测值真实值的惩罚是否应该重于“车没人用”预测值真实值这需要和运营团队沟通可能需要自定义损失函数。进行消融实验这是验证特征工程价值的黄金标准。具体步骤是Step 1: 用一个非常简单的特征集比如只有hour和station_id训练一个基线模型记录其验证集分数。Step 2: 逐步加入你构造的特征组例如加入完整的时序特征、加入POI特征、加入天气特征。Step 3: 每加入一组重新训练并评估模型。如果加入某组特征后模型性能在时间序列CV上有稳定且显著的提升说明这组特征有效。如果提升不大甚至下降就需要反思这组特征的设计或数据质量。4.3 常见陷阱与避坑指南数据泄露Data Leakage这是特征工程中最致命、也最容易犯的错误。除了前面提到的滞后特征要严格用shift外还有全局统计信息例如用整个数据集的均值、标准差去填充缺失值或做标准化必须先在训练集上计算统计量再应用到测试集。应该使用sklearn的Pipeline和ColumnTransformer来封装这些过程。时间相关的聚合计算“该站点历史上平均需求”作为特征时只能使用截至当前时间点的历史数据不能包含未来信息。解决方法始终秉持“用过去预测未来”的原则在构造任何涉及聚合、统计的特征时在代码层面明确时间戳的边界。类别特征处理不当高基数类别特征如station_id可能有上千个直接独热编码会产生上千个稀疏特征对线性模型是灾难。处理方式有a) 对于树模型可以直接用标签编码或更高效的类别处理方式如LightGBM的categorical_feature参数b) 使用目标编码Target Encoding用该类别下目标变量的统计量如均值来替代类别本身但必须极其小心地防止数据泄露需在时间序列CV中分层计算。稀有类别某些类别出现次数极少其编码值不稳定。可以考虑将出现次数少于某个阈值的类别归为“其他”。对异常值和缺失值处理粗糙异常值共享单车数据中可能因系统错误记录了一些极端长的骑行时间如几天或极端短的骑行时间如几秒。需要结合业务逻辑设定合理的阈值进行过滤或截断。缺失值天气数据可能缺失POI数据可能获取失败。对于数值特征常用中位数或均值填充同样注意防止数据泄露。对于类别特征可以填充一个特殊值如“未知”。更好的做法是将“是否缺失”作为一个新的布尔特征有时缺失本身就有信息量。忽略特征交互有些特征单独作用不大但组合起来威力巨大。例如“工作日早高峰 地铁口 下雨”这三个特征组合在一起可能预示着需求虽然旺盛但会受到抑制。树模型可以自动捕捉一些交互但对于线性模型需要手动构造交叉特征如is_morning_rush * is_rainy。领域知识是发现重要交互特征的关键。5. 从特征到模型以LightGBM为例的端到端Pipeline理论说再多不如一行代码。这里给出一个以LightGBM模型为例整合了上述特征工程思路的简化版端到端流程框架。请注意这只是一个指导性框架具体参数和特征需要你根据实际数据调整。import pandas as pd import numpy as np from sklearn.model_selection import TimeSeriesSplit from sklearn.preprocessing import OneHotEncoder, StandardScaler from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline import lightgbm as lgb from sklearn.metrics import mean_absolute_error, mean_squared_error # 1. 加载与预处理数据 # 假设df包含datetime, station_id, rental_count, lat, lon, temperature, is_holiday, weather, poi_office, poi_metro... df[datetime] pd.to_datetime(df[datetime]) df df.sort_values([station_id, datetime]).reset_index(dropTrue) # 2. 构造特征函数 def create_features(df): df df.copy() # 时间特征 df[hour] df[datetime].dt.hour df[day_of_week] df[datetime].dt.dayofweek df[month] df[datetime].dt.month df[hour_sin] np.sin(2 * np.pi * df[hour]/24) df[hour_cos] np.cos(2 * np.pi * df[hour]/24) df[is_weekend] df[day_of_week].apply(lambda x: 1 if x 5 else 0) df[is_morning_rush] df[hour].apply(lambda x: 1 if 7 x 9 else 0) df[is_evening_rush] df[hour].apply(lambda x: 1 if 17 x 19 else 0) # 滞后与滚动特征 (按站点分组计算严防泄露) df[lag_1h] df.groupby(station_id)[rental_count].shift(1) df[lag_24h] df.groupby(station_id)[rental_count].shift(24) df[rolling_mean_3h] df.groupby(station_id)[rental_count].shift(1).rolling(window3, min_periods1).mean().values df[rolling_mean_24h] df.groupby(station_id)[rental_count].shift(1).rolling(window24, min_periods1).mean().values # 天气特征处理 (假设weather是类别如sunny, rainy) # 这里先简单归类实际中可用OneHotEncoder weather_map {sunny: good, cloudy: good, overcast: normal, rainy: bad, snowy: bad} df[weather_broad] df[weather].map(weather_map) # 空间交互特征示例 df[has_metro] (df[poi_metro] 0).astype(int) df[metro_rush_interaction] df[has_metro] * df[is_morning_rush] # 处理缺失值滞后特征最前面会有NaN # 对于滞后/滚动特征用该站点的历史均值填充或者直接删除前24行因为lag_24h # 这里简单用后向填充仅作示例生产环境需更严谨 df.fillna(methodbfill, inplaceTrue) # 如果还有NaN如开头数据用0填充 df.fillna(0, inplaceTrue) return df df_featured create_features(df) # 3. 定义特征列和目标列 # 假设我们选择以下特征 feature_columns [hour_sin, hour_cos, day_of_week, is_weekend, is_holiday, is_morning_rush, is_evening_rush, temperature, has_metro, poi_office, poi_residential, lag_1h, lag_24h, rolling_mean_3h, rolling_mean_24h, weather_broad, metro_rush_interaction] # 注意对于LightGBM类别特征可以指定这里weather_broad是类别我们稍后处理 categorical_features [weather_broad, day_of_week] # LightGBM可以高效处理类别特征 # 但对于OneHot编码我们使用ColumnTransformer target_column rental_count X df_featured[feature_columns] y df_featured[target_column] # 4. 划分训练/测试集 (按时间顺序) split_idx int(len(X) * 0.8) # 80%训练20%测试 X_train, X_test X.iloc[:split_idx], X.iloc[split_idx:] y_train, y_test y.iloc[:split_idx], y.iloc[split_idx:] # 5. 构建预处理和模型Pipeline # 数值特征标准化类别特征独热编码如果类别不多 numeric_features [col for col in feature_columns if col not in categorical_features] numeric_transformer Pipeline(steps[(scaler, StandardScaler())]) categorical_transformer Pipeline(steps[(onehot, OneHotEncoder(handle_unknownignore, sparse_outputFalse))]) preprocessor ColumnTransformer( transformers[ (num, numeric_transformer, numeric_features), (cat, categorical_transformer, categorical_features) ]) # 6. 时间序列交叉验证与训练 tscv TimeSeriesSplit(n_splits5) mae_scores [] rmse_scores [] for fold, (train_idx, val_idx) in enumerate(tscv.split(X_train)): print(fTraining fold {fold1}) X_tr, X_val X_train.iloc[train_idx], X_train.iloc[val_idx] y_tr, y_val y_train.iloc[train_idx], y_train.iloc[val_idx] # 预处理只在训练集上拟合然后转换训练集和验证集 X_tr_processed preprocessor.fit_transform(X_tr) X_val_processed preprocessor.transform(X_val) # 转换为LightGBM Dataset格式 lgb_train lgb.Dataset(X_tr_processed, labely_tr) lgb_eval lgb.Dataset(X_val_processed, labely_val, referencelgb_train) params { objective: regression, metric: {l2, l1}, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, verbose: -1 } gbm lgb.train(params, lgb_train, num_boost_round1000, valid_sets[lgb_train, lgb_eval], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(period100)]) # 预测与评估 y_pred gbm.predict(X_val_processed, num_iterationgbm.best_iteration) mae mean_absolute_error(y_val, y_pred) rmse np.sqrt(mean_squared_error(y_val, y_pred)) mae_scores.append(mae) rmse_scores.append(rmse) print(fFold {fold1} - MAE: {mae:.2f}, RMSE: {rmse:.2f}) print(f\nCV平均MAE: {np.mean(mae_scores):.2f} (/- {np.std(mae_scores):.2f})) print(fCV平均RMSE: {np.mean(rmse_scores):.2f} (/- {np.std(rmse_scores):.2f})) # 7. 最终模型训练与测试集评估 print(\n--- 最终模型在测试集上的表现 ---) # 用全部训练数据重新拟合预处理器和模型 preprocessor_final preprocessor.fit(X_train) X_train_processed_final preprocessor_final.transform(X_train) X_test_processed_final preprocessor_final.transform(X_test) lgb_train_final lgb.Dataset(X_train_processed_final, labely_train) lgb_eval_final lgb.Dataset(X_test_processed_final, labely_test, referencelgb_train_final) gbm_final lgb.train(params, lgb_train_final, num_boost_round1000, valid_sets[lgb_train_final, lgb_eval_final], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(period100)]) y_test_pred gbm_final.predict(X_test_processed_final, num_iterationgbm_final.best_iteration) final_mae mean_absolute_error(y_test, y_test_pred) final_rmse np.sqrt(mean_squared_error(y_test, y_test_pred)) print(f测试集 MAE: {final_mae:.2f}) print(f测试集 RMSE: {final_rmse:.2f}) # 8. 特征重要性分析 lgb.plot_importance(gbm_final, max_num_features20, figsize(10, 6))这个框架涵盖了从特征构造、防止数据泄露、时间序列验证到模型训练评估的全过程。在实际操作中你需要根据数据情况调整特征列表、预处理方法、模型参数和验证策略。特征工程不是一蹴而就的而是一个“构造-评估-分析-迭代”的循环过程。通过观察模型的特征重要性分析预测错误的案例你可能会发现新的特征组合思路或者意识到某些特征需要被修正或剔除。这个过程才是数据科学工作中最具创造性和挑战性的部分。 
长河君 · 2026/8/2 16:31:22 · 阅读 1.2k 特征工程实战：从共享单车需求预测看数据到模型的关键转化
1. 项目缘起从“猜”到“算”的共享单车运营革命几年前我在一个共享单车运营团队里每天最头疼的就是“车不够用”和“车没人用”这两个看似矛盾的问题。早高峰的地铁口用户排着队扫码却发现一辆空车都没有而到了下午一些偏僻的公园门口几十辆车静静地停着落满了灰尘。当时的调度基本靠经验、靠感觉甚至靠“猜”——哪个区域昨天用车多今天就多派几辆车过去。这种粗放的管理方式直接导致了运营成本高企和用户体验下降。直到我们开始尝试用数据说话情况才发生了根本性的转变。这一切的核心就是特征工程。今天我想和你深入聊聊如何通过特征工程为共享单车的租赁需求建立一个靠谱的预估模型。这不仅仅是把数据扔进算法里那么简单而是一个将原始、杂乱的数据转化为机器能“理解”的、能揭示规律的信息的过程。就像厨师做菜前要处理食材一样特征工程就是数据科学里的“备菜”环节它直接决定了最终模型这道“大餐”的成败。对于共享单车租赁需求预估这个具体场景我们的目标是给定未来某个时间、某个地点预测那里会有多少人想租车。这听起来简单但背后涉及的因素错综复杂时间、天气、地理位置、节假日、甚至附近有没有大型活动。特征工程就是要从这些纷繁复杂的数据中提炼出最能影响用户决策的关键信号。无论你是数据科学的新手还是想深入了解某个垂直领域应用的老兵这篇文章都将带你走完一个完整的、可复现的特征工程实战流程。2. 理解战场共享单车需求预估的本质与数据全景在动手写一行代码之前我们必须先搞清楚我们要预测的到底是什么以及我们手上有哪些“武器”数据。盲目地开始特征构造就像蒙着眼睛在迷宫里乱撞。2.1 需求预估的本质一个时空条件下的概率问题共享单车的租赁需求不是一个静态的数字。它本质上是在特定时间、特定地点用户产生租车行为的概率。这个概率受到无数因素的影响且具有很强的时空相关性。时间维度需求在一天内有明显的潮汐效应早晚上下班高峰在一周内有周期性工作日通勤 vs 周末休闲在一年内也有季节性春夏骑行意愿高 vs 冬季低。空间维度需求在空间上高度不均匀。地铁站、公交枢纽、写字楼、商圈、大学校园、居民区每个地点的需求模式截然不同。外部环境维度天气是最大的外部扰动因素。下雨、下雪、大风、高温、雾霾都会显著抑制骑行需求。节假日、大型赛事、演唱会、道路施工等事件则会剧烈地改变局部地区的需求模式。因此我们的特征工程必须紧紧围绕这三个维度展开目标是让模型能够“感受”到时间流逝、位置差异和环境变化。2.2 典型数据源解析我们有什么还缺什么一个完整的共享单车需求预估项目数据通常来自多个系统。理解每一类数据的意义和局限是做好特征工程的前提。历史订单数据这是最核心的数据。每一行记录代表一次完整的租还车行为。关键字段包括start_time租车时间、end_time还车时间构建时间特征的基础。start_station_id租车站点ID、end_station_id还车站点ID构建空间特征的基础。user_id用户ID可用于分析用户群体行为但需注意隐私。bike_id车辆ID可用于分析车辆周转率。注意原始订单数据是“交易”数据我们需要将其聚合为我们预测的目标变量——每个时间片、每个站点的租车数量。例如按小时聚合得到“A站点在2023年10月1日8:00-9:00时段内的租车量”。站点/区域元数据描述空间位置属性的数据。station_id站点ID、station_name站点名。latitude纬度、longitude经度最重要的空间信息。capacity车位容量站点能停放的最大车辆数与供需平衡相关。周边POI兴趣点信息这通常是需要外部获取或通过经纬度反查的关键数据。例如站点500米范围内写字楼、地铁站、商场、学校、住宅区的数量和密度。POI数据是区分站点功能属性的黄金特征。时间与日历数据系统自带或很容易生成。从start_time可以衍生出hour小时、day_of_week星期几、day_of_month几号、month月份、is_weekend是否周末、is_holiday是否法定节假日。特殊日期需要自己构建一个日历表标记出调休工作日、重大节日如春节、国庆、本地特色活动日等。天气数据必须从外部API获取的历史天气数据。关键字段包括temperature温度、humidity湿度、wind_speed风速。weather_condition天气状况如“晴”、“多云”、“小雨”、“中雪”。这个类别型变量需要妥善编码。precipitation降水量直接反映降雨/雪量。注意天气数据通常按城市或区域提供需要与单车站点的地理位置进行匹配。一个城市的天气可能差异不大但对于超大城市东西部天气可能有别需要考虑更细粒度的天气数据。事件数据最难获取但影响巨大的数据。包括体育赛事、演唱会、展会、马拉松、道路封闭等信息。这部分数据往往需要从新闻、社交媒体或专门的事件API中爬取和整理。实操心得在项目初期不要追求数据的大而全。优先确保核心数据历史订单、站点位置、基础时间、天气的准确性和完整性。POI和事件数据可以作为第二阶段的优化项。我曾在一个项目中花了大量时间折腾复杂的事件数据后来发现把基础的时间、天气特征做到极致模型效果已经提升了80%。记住高质量的简单特征远胜于粗糙的复杂特征。3. 特征构造实战从原始字段到模型“食粮”这是特征工程最核心、最体现功力的部分。我们将按照数据类别一步步将原始数据“烹饪”成模型可用的特征。3.1 时间特征捕捉周期性规律时间特征是最直接、也是最强大的特征之一。其构造不仅在于提取字段更在于用合适的方式表达周期性。基础时间切片 首先确定预测的粒度。我们是预测未来一小时的租车量还是未来一天的这里以小时级预测为例。我们需要将start_time转换为hour并以此聚合目标变量rental_count。关键时间特征构造循环编码Cyclical Encoding对于hour0-23、day_of_week0-6、month1-12这类具有循环特性的特征直接使用数值编码如hour23是不合适的因为23点和0点在数值上相差很大但在周期上却是相邻的。正确的做法是使用正弦余弦变换# 以hour为例 data[hour_sin] np.sin(2 * np.pi * data[hour]/24) data[hour_cos] np.cos(2 * np.pi * data[hour]/24)这样23点和0点在正弦余弦空间里的位置就会很接近。这对线性模型和树模型理解周期性都有帮助。时段分类根据业务经验将一天划分为几个典型时段如“早高峰7-9点”、“午间11-13点”、“晚高峰17-19点”、“夜间20-6点”、“普通日间”等生成一个类别特征time_slot。这比单纯的hour更能体现需求模式。业务时间标志is_morning_rush是否早高峰。is_evening_rush是否晚高峰。is_working_hour是否工作时间如9-18点。is_weekend是否周末。is_holiday是否法定节假日。这里有个大坑中国的节假日经常包含调休即节假日前后的周末可能变成工作日。必须使用一个准确的“节假日及调休日历表”来生成这个特征否则特征会严重误导模型。3.2 空间与POI特征定义地点的“性格”一个站点的需求很大程度上由其周边环境决定。我们需要用量化的方式描述这种环境。基础空间特征经纬度直接使用latitude和longitude作为特征。对于树模型如LightGBM, XGBoost它们能自动学习空间交互和非线性关系。对于线性模型可能需要加入交叉项或聚类。区域聚类使用聚类算法如K-Means、DBSCAN将所有站点划分为若干区域如“核心商务区”、“大学城”、“大型居住区”、“交通枢纽区”。生成的cluster_id作为一个类别特征可以捕捉宏观的区域功能。POI特征构造核心 假设我们获得了每个站点周边500米范围内的各类POI数量。数量与密度num_metro_entrance地铁口数量。最强预测因子之一通勤刚需。num_bus_stop公交站点数量。num_office_building写字楼数量。num_shopping_mall大型商场数量。num_residential_community住宅小区数量。num_school_university学校/大学数量。num_restaurant餐馆数量。density_poiPOI总密度总数/面积。比例与交叉ratio_office_to_residential写字楼与住宅数量比。这个比值高的地方早高峰需求可能以“流入”为主从家来上班晚高峰以“流出”为主下班回家。has_metro_and_mall是否同时有地铁和商场布尔值。这类站点通常是全天候热点。踩坑实录曾经我们直接使用了高德地图API返回的POI一级分类如“餐饮服务”、“公司企业”。结果发现“公司企业”里既包含大型写字楼也包含街边小店区分度不够。后来我们改为使用更细粒度的POI二级分类如“写字楼”、“公司”并人工核验了部分重点区域的样本特征效果才有了质的提升。数据质量永远在算法之前。3.3 天气特征量化环境舒适度天气数据是连续的数值和离散的类别需要妥善处理。数值型天气特征temperature,humidity,wind_speed,precipitation。通常直接使用也可以做标准化。需要注意的是温度和需求的关系可能不是线性的太冷或太热都会降低需求。可以考虑创建temperature_squared项或分箱成“寒冷”、“舒适”、“炎热”等类别。类别型天气特征weather_condition。绝对不能简单LabelEncoding编码为0,1,2…因为这会引入错误的顺序关系。必须使用独热编码One-Hot Encoding。但类别可能很多晴、多云、阴、小雨、中雨、大雨、雪…会导致特征维度膨胀。一个实用的技巧是业务归类将天气归为几大类如“晴好”、“多云阴天”、“小雨”、“中大雨”、“雪雾等恶劣天气”再进行独热编码。复合天气指标可以构造一些综合指标例如is_bad_weather是否恶劣天气如降水10mm 或 风速10m/s 或 天气为雪/雾。comfort_index一个简化的体感舒适度指数综合温度、湿度、风速计算得出。3.4 滞后与滚动统计特征让模型拥有“记忆”这是时间序列预测的精髓。我们要用过去的数据来预测未来的趋势。目标变量rental_count的滞后特征lag_1h: 上一小时的需求。lag_2h: 上两个小时的需求。lag_24h: 前一天同一小时的需求捕捉日周期。lag_168h: 前一周同一小时的需求捕捉周周期。滚动统计特征 在过去一个时间窗口内计算目标变量的统计量描述近期趋势。rolling_mean_3h: 过去3小时的平均需求。rolling_mean_24h: 过去24小时的平均需求。rolling_std_24h: 过去24小时的需求标准差反映波动性。rolling_max_24h: 过去24小时的最大需求。构造方法# 假设数据已按站点和时间排序 grouped data.groupby(station_id)[rental_count] data[lag_1h] grouped.shift(1) # 滞后1期 data[lag_24h] grouped.shift(24) # 滞后24期 data[rolling_mean_3h] grouped.shift(1).rolling(window3, min_periods1).mean()重要提示在构造这类特征时必须严格按station_id分组后进行shift和rolling操作绝对要避免未来信息泄露。即t时刻的特征只能由t时刻之前的历史数据计算得到。在划分训练集和测试集时也要按时间顺序划分不能随机打乱。4. 特征筛选、验证与避坑指南构造出上百个特征后我们面临两个问题1. 有些特征可能没用甚至有害2. 如何验证我们的特征工程确实有效4.1 特征筛选去掉噪音留住信号不是所有特征都是有益的。冗余特征会增加模型复杂度降低泛化能力甚至引入噪音。方差过滤移除方差极低例如所有样本取值几乎相同的特征。这类特征没有区分度。相关性分析特征与目标的相关性计算每个特征与目标变量rental_count的相关系数对于连续特征用皮尔逊系数对于类别特征可以用方差分析ANOVA F值。剔除那些与目标明显不相关的特征。特征之间的相关性计算特征间的相关系数矩阵。如果两个特征高度相关例如rolling_mean_3h和rolling_mean_6h它们提供的信息是冗余的可以考虑只保留一个或使用PCA等降维方法。对于树模型特征间多重共线性影响相对较小但线性模型对此非常敏感。基于模型的特征重要性使用一个简单的树模型如RandomForest或LightGBM在所有特征上训练一次输出特征重要性排序。这是一个非常实用的方法可以直观看到哪些特征被模型认为最有价值。注意这只是一个参考因为重要性受模型类型和超参数影响。递归特征消除RFE这是一个更系统的方法。它反复构建模型每次剔除最不重要的特征直到达到指定的特征数量。虽然计算量大但效果通常很好。个人经验我的工作流通常是先做方差过滤和高度相关性剔除相关系数0.9快速清理一波。然后用一个基准模型如LightGBM跑出特征重要性人工审视排在末尾的特征结合业务逻辑决定是否删除。最后如果特征数量还是太多比如100再考虑使用RFE进行精炼。记住业务理解永远是最重要的筛子如果一个特征在业务上完全说不通即使它暂时看起来有点用也要谨慎对待可能是过拟合或数据泄露的征兆。4.2 验证策略确保特征工程真的在提升模型特征工程做得好不好最终要由模型效果说话。必须建立一个可靠的验证框架。时间序列交叉验证TimeSeriesSplit这是最关键的一点绝对不能使用随机交叉验证如KFold因为这会破坏数据的时间顺序导致用“未来”的数据来预测“过去”造成极其乐观的虚假结果。必须使用TimeSeriesSplit确保每一次验证中训练集的时间都在测试集之前。from sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5) for train_index, test_index in tscv.split(X): X_train, X_test X.iloc[train_index], X.iloc[test_index] y_train, y_test y.iloc[train_index], y.iloc[test_index] # ... 训练和评估模型设定合理的评估指标对于回归问题常用的有MAE平均绝对误差直观容易被业务方理解。“平均而言我们的预测每小时差多少辆车”。RMSE均方根误差对大的预测误差惩罚更重。MAPE平均绝对百分比误差相对误差。但当真实值很小时如深夜需求为0MAPE会趋于无穷大不适用。可以改用**sMAPE对称平均绝对百分比误差**或对目标变量做平滑处理。业务定制指标例如对于“车不够用”预测值真实值的惩罚是否应该重于“车没人用”预测值真实值这需要和运营团队沟通可能需要自定义损失函数。进行消融实验这是验证特征工程价值的黄金标准。具体步骤是Step 1: 用一个非常简单的特征集比如只有hour和station_id训练一个基线模型记录其验证集分数。Step 2: 逐步加入你构造的特征组例如加入完整的时序特征、加入POI特征、加入天气特征。Step 3: 每加入一组重新训练并评估模型。如果加入某组特征后模型性能在时间序列CV上有稳定且显著的提升说明这组特征有效。如果提升不大甚至下降就需要反思这组特征的设计或数据质量。4.3 常见陷阱与避坑指南数据泄露Data Leakage这是特征工程中最致命、也最容易犯的错误。除了前面提到的滞后特征要严格用shift外还有全局统计信息例如用整个数据集的均值、标准差去填充缺失值或做标准化必须先在训练集上计算统计量再应用到测试集。应该使用sklearn的Pipeline和ColumnTransformer来封装这些过程。时间相关的聚合计算“该站点历史上平均需求”作为特征时只能使用截至当前时间点的历史数据不能包含未来信息。解决方法始终秉持“用过去预测未来”的原则在构造任何涉及聚合、统计的特征时在代码层面明确时间戳的边界。类别特征处理不当高基数类别特征如station_id可能有上千个直接独热编码会产生上千个稀疏特征对线性模型是灾难。处理方式有a) 对于树模型可以直接用标签编码或更高效的类别处理方式如LightGBM的categorical_feature参数b) 使用目标编码Target Encoding用该类别下目标变量的统计量如均值来替代类别本身但必须极其小心地防止数据泄露需在时间序列CV中分层计算。稀有类别某些类别出现次数极少其编码值不稳定。可以考虑将出现次数少于某个阈值的类别归为“其他”。对异常值和缺失值处理粗糙异常值共享单车数据中可能因系统错误记录了一些极端长的骑行时间如几天或极端短的骑行时间如几秒。需要结合业务逻辑设定合理的阈值进行过滤或截断。缺失值天气数据可能缺失POI数据可能获取失败。对于数值特征常用中位数或均值填充同样注意防止数据泄露。对于类别特征可以填充一个特殊值如“未知”。更好的做法是将“是否缺失”作为一个新的布尔特征有时缺失本身就有信息量。忽略特征交互有些特征单独作用不大但组合起来威力巨大。例如“工作日早高峰 地铁口 下雨”这三个特征组合在一起可能预示着需求虽然旺盛但会受到抑制。树模型可以自动捕捉一些交互但对于线性模型需要手动构造交叉特征如is_morning_rush * is_rainy。领域知识是发现重要交互特征的关键。5. 从特征到模型以LightGBM为例的端到端Pipeline理论说再多不如一行代码。这里给出一个以LightGBM模型为例整合了上述特征工程思路的简化版端到端流程框架。请注意这只是一个指导性框架具体参数和特征需要你根据实际数据调整。import pandas as pd import numpy as np from sklearn.model_selection import TimeSeriesSplit from sklearn.preprocessing import OneHotEncoder, StandardScaler from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline import lightgbm as lgb from sklearn.metrics import mean_absolute_error, mean_squared_error # 1. 加载与预处理数据 # 假设df包含datetime, station_id, rental_count, lat, lon, temperature, is_holiday, weather, poi_office, poi_metro... df[datetime] pd.to_datetime(df[datetime]) df df.sort_values([station_id, datetime]).reset_index(dropTrue) # 2. 构造特征函数 def create_features(df): df df.copy() # 时间特征 df[hour] df[datetime].dt.hour df[day_of_week] df[datetime].dt.dayofweek df[month] df[datetime].dt.month df[hour_sin] np.sin(2 * np.pi * df[hour]/24) df[hour_cos] np.cos(2 * np.pi * df[hour]/24) df[is_weekend] df[day_of_week].apply(lambda x: 1 if x 5 else 0) df[is_morning_rush] df[hour].apply(lambda x: 1 if 7 x 9 else 0) df[is_evening_rush] df[hour].apply(lambda x: 1 if 17 x 19 else 0) # 滞后与滚动特征 (按站点分组计算严防泄露) df[lag_1h] df.groupby(station_id)[rental_count].shift(1) df[lag_24h] df.groupby(station_id)[rental_count].shift(24) df[rolling_mean_3h] df.groupby(station_id)[rental_count].shift(1).rolling(window3, min_periods1).mean().values df[rolling_mean_24h] df.groupby(station_id)[rental_count].shift(1).rolling(window24, min_periods1).mean().values # 天气特征处理 (假设weather是类别如sunny, rainy) # 这里先简单归类实际中可用OneHotEncoder weather_map {sunny: good, cloudy: good, overcast: normal, rainy: bad, snowy: bad} df[weather_broad] df[weather].map(weather_map) # 空间交互特征示例 df[has_metro] (df[poi_metro] 0).astype(int) df[metro_rush_interaction] df[has_metro] * df[is_morning_rush] # 处理缺失值滞后特征最前面会有NaN # 对于滞后/滚动特征用该站点的历史均值填充或者直接删除前24行因为lag_24h # 这里简单用后向填充仅作示例生产环境需更严谨 df.fillna(methodbfill, inplaceTrue) # 如果还有NaN如开头数据用0填充 df.fillna(0, inplaceTrue) return df df_featured create_features(df) # 3. 定义特征列和目标列 # 假设我们选择以下特征 feature_columns [hour_sin, hour_cos, day_of_week, is_weekend, is_holiday, is_morning_rush, is_evening_rush, temperature, has_metro, poi_office, poi_residential, lag_1h, lag_24h, rolling_mean_3h, rolling_mean_24h, weather_broad, metro_rush_interaction] # 注意对于LightGBM类别特征可以指定这里weather_broad是类别我们稍后处理 categorical_features [weather_broad, day_of_week] # LightGBM可以高效处理类别特征 # 但对于OneHot编码我们使用ColumnTransformer target_column rental_count X df_featured[feature_columns] y df_featured[target_column] # 4. 划分训练/测试集 (按时间顺序) split_idx int(len(X) * 0.8) # 80%训练20%测试 X_train, X_test X.iloc[:split_idx], X.iloc[split_idx:] y_train, y_test y.iloc[:split_idx], y.iloc[split_idx:] # 5. 构建预处理和模型Pipeline # 数值特征标准化类别特征独热编码如果类别不多 numeric_features [col for col in feature_columns if col not in categorical_features] numeric_transformer Pipeline(steps[(scaler, StandardScaler())]) categorical_transformer Pipeline(steps[(onehot, OneHotEncoder(handle_unknownignore, sparse_outputFalse))]) preprocessor ColumnTransformer( transformers[ (num, numeric_transformer, numeric_features), (cat, categorical_transformer, categorical_features) ]) # 6. 时间序列交叉验证与训练 tscv TimeSeriesSplit(n_splits5) mae_scores [] rmse_scores [] for fold, (train_idx, val_idx) in enumerate(tscv.split(X_train)): print(fTraining fold {fold1}) X_tr, X_val X_train.iloc[train_idx], X_train.iloc[val_idx] y_tr, y_val y_train.iloc[train_idx], y_train.iloc[val_idx] # 预处理只在训练集上拟合然后转换训练集和验证集 X_tr_processed preprocessor.fit_transform(X_tr) X_val_processed preprocessor.transform(X_val) # 转换为LightGBM Dataset格式 lgb_train lgb.Dataset(X_tr_processed, labely_tr) lgb_eval lgb.Dataset(X_val_processed, labely_val, referencelgb_train) params { objective: regression, metric: {l2, l1}, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, verbose: -1 } gbm lgb.train(params, lgb_train, num_boost_round1000, valid_sets[lgb_train, lgb_eval], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(period100)]) # 预测与评估 y_pred gbm.predict(X_val_processed, num_iterationgbm.best_iteration) mae mean_absolute_error(y_val, y_pred) rmse np.sqrt(mean_squared_error(y_val, y_pred)) mae_scores.append(mae) rmse_scores.append(rmse) print(fFold {fold1} - MAE: {mae:.2f}, RMSE: {rmse:.2f}) print(f\nCV平均MAE: {np.mean(mae_scores):.2f} (/- {np.std(mae_scores):.2f})) print(fCV平均RMSE: {np.mean(rmse_scores):.2f} (/- {np.std(rmse_scores):.2f})) # 7. 最终模型训练与测试集评估 print(\n--- 最终模型在测试集上的表现 ---) # 用全部训练数据重新拟合预处理器和模型 preprocessor_final preprocessor.fit(X_train) X_train_processed_final preprocessor_final.transform(X_train) X_test_processed_final preprocessor_final.transform(X_test) lgb_train_final lgb.Dataset(X_train_processed_final, labely_train) lgb_eval_final lgb.Dataset(X_test_processed_final, labely_test, referencelgb_train_final) gbm_final lgb.train(params, lgb_train_final, num_boost_round1000, valid_sets[lgb_train_final, lgb_eval_final], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(period100)]) y_test_pred gbm_final.predict(X_test_processed_final, num_iterationgbm_final.best_iteration) final_mae mean_absolute_error(y_test, y_test_pred) final_rmse np.sqrt(mean_squared_error(y_test, y_test_pred)) print(f测试集 MAE: {final_mae:.2f}) print(f测试集 RMSE: {final_rmse:.2f}) # 8. 特征重要性分析 lgb.plot_importance(gbm_final, max_num_features20, figsize(10, 6))这个框架涵盖了从特征构造、防止数据泄露、时间序列验证到模型训练评估的全过程。在实际操作中你需要根据数据情况调整特征列表、预处理方法、模型参数和验证策略。特征工程不是一蹴而就的而是一个“构造-评估-分析-迭代”的循环过程。通过观察模型的特征重要性分析预测错误的案例你可能会发现新的特征组合思路或者意识到某些特征需要被修正或剔除。这个过程才是数据科学工作中最具创造性和挑战性的部分。