1. 闲鱼价格评估这件事到底难在哪我最初想做这个项目起因特别朴素手里一台闲置的Switch OLED要出二手挂多少价格完全没谱。刷了半小时闲鱼同款机器有人挂1500有人挂2200还有人挂3500说是“传家宝”标价混乱到让人怀疑人生。那一刻我意识到二手平台缺的不是商品而是一个能把“行情价”算明白的工具。这个需求放到电商领域其实是个很典型的场景C2C平台上的商品没有标准定价价格由买卖双方的博弈决定。闲鱼上同一款商品的价格差异往往比渠道价差还大。有人挂低价是为了快速出手有人挂高价是为了等你砍甚至还有标1元钱做引流的。真正的“合理成交价”藏在大量标价、描述、成色、地域、卖家信用这些碎片化信息里人工看一眼容易想批量比较就非常吃力。所以这个项目的核心不是做一个简单的“比价器”而是把整条链路跑通抓取闲鱼上某类商品的大量在售信息清洗出有效特征再用机器学习模型去回归出一个合理的价格区间。整套方案用Python来实现爬虫负责拿数据pandas负责清洗sklearn和LightGBM负责建模。最终的产出不是预测一个精确到分的天价而是一个带置信度的估价区间——比如“iPhone 14 Pro 256G 国行 九成新 带全套配件合理范围5200到5500”。这比单一数字有用得多因为闲鱼本身就是一个议价空间很大的场子成交价的弹性天然存在。这个项目适合谁参考如果你是做二手交易、回收业务、比价工具的开发者这套技术链路可以直接拿去改如果你是Python学习者想让爬虫、pandas、机器学习这些零散技能在一个真实项目里串起来这篇文也能帮你把整个流程走一遍。我会把数据采集、字段设计、特征工程、模型选型和踩过的坑全部拆开讲。2. 数据采集闲鱼商品信息的获取与合规边界2.1 先想清楚到底要采哪些字段做价格评估模型的第一个关键决策不是写代码而是列字段清单。字段设计直接决定了模型能学到什么。我最初脑子一热抓了几十个字段回来结果一半没用上还白白增加了清洗工作量。后来精简成下面这一份基本够用商品标题最重要的文本特征。品牌、型号、容量、颜色、成色、版本信息全藏在里面价格目标变量也是后面清洗工作量最大的字段所在地闲鱼的价格有明显地域差异一线城市的数码产品供给多、价格往往更卷成色描述九成新、仅拆封、充新、战斗成色这类词直接影响价格卖家信用等级芝麻信用分越高成交溢价越明显想要数代表这条商品的受欢迎程度是一个很好的热度信号浏览量曝光后的真实点击数据发布时间判断这条信息在架上挂了多久挂得越久说明定价越不合理商品关键属性比如是否国行、是否在保、是否有配件、是否拆修这里说句关于合规性的实在话。闲鱼并没有完全开放的C2C商品数据API想拿到上述字段技术上绕不开对网页或App端数据的获取。我的原则是只采集公开可见的信息不碰用户隐私数据严格控制请求频率数据仅用于个人学习研究。如果你是在公司做商业项目务必先和法务确认数据来源合规问题能对接官方开放平台就走官方通道这才是长期方案。2.2 采集方案的取舍与实战细节闲鱼的商品数据结构其实比想象中干净。网页端的搜索结果页里商品信息一般以半结构化的JSON格式嵌在页面脚本或接口返回里不需要逐条解析HTML标签那么痛苦。我的实际做法很简单用requests请求搜索接口拿到JSON响应再用json库直接提取。举个例子搜索“Switch OLED”时请求一个搜索接口返回数据里包含商品列表每条记录有title、price、area、browsingCount等字段。关键点是设置好请求头User-Agent、Referer以及用session保持会话状态。整个采集流程用一个循环翻页搞定每翻一页加一个随机sleep。但这里有个非常大的坑如果不控制采集频率很快就会被平台限流甚至封禁。我实测下来的安全节奏是每次请求间隔至少3到8秒单次采集量控制在几百条就暂停一段时间。不要为了追求数据量把IP搞封了那才是得不偿失。另外我建议刚开始不要按“关键词搜索”的粒度去采而是先确定一个垂直品类比如“iPhone 14 Pro 256G”“AirPods Pro 2”“Switch OLED”这种具体型号。原因很简单关键词越细商品的同质性越高后续特征工程和模型训练的噪音越小。如果你上来就搜“手机”采回来的数据包罗万象清洗到怀疑人生。2.3 数据去重与基础清洗采集回来的原始数据不能直接用。闲鱼上同一个商品可能有多个URL入口同一条商品也可能被重复采集到。我用DataFrame做去重时选的去重键是“商品标题价格”的组合因为纯标题会误伤真正的一物多卖纯链接去重又不够彻底。价格字段也需要单独清洗。闲鱼的价格有时候是字符串比如“1350包邮”有时候带逗号“1,350”有时候还有“面议”这种非数字内容。我的清洗函数长这样import re import pandas as pd def clean_price(price_str): if isinstance(price_str, (int, float)): return float(price_str) if not isinstance(price_str, str): return None # 去掉货币符号和中文 s re.sub(r[元¥包邮], , price_str.strip()) # 去掉千分位逗号 s s.replace(,, ) try: return float(s) except ValueError: return None清洗之后我会过滤掉价格小于10元和大于合理区间上限的值。比如Switch OLED的全新价格约2600元超过5000元的在售信息基本都是引流或传家宝对模型训练没什么帮助。这类数据留着不仅拉高方差还会把预测结果带偏。基础清洗结束后就进入最核心的环节把一堆非结构化的闲鱼文本信息转化成模型能用的结构化特征。这一块我单独开一节说因为它才是整个项目里最磨人的部分。3. 闲鱼数据的坑价格维度里的脏数据与隐藏信号3.1 标题是一切特征之源闲鱼的标题是用户自己写的没有平台统一规范。同样是卖一台iPhone有人写“苹果手机便宜出”有人写“iPhone 14 Pro 256G 暗紫色 国行 在保 电池100”这两个标题的信息量天差地别。前者几乎提供不了任何有效特征后者几乎把模型需要的核心维度都到齐了。所以我做了一个“标题特征抽取器”用正则关键词库去匹配关键信息。核心逻辑分四层品牌层匹配苹果、华为、小米、索尼、任天堂等品牌名型号层匹配具体型号iPhone 14 Pro、AirPods Pro 2、Switch OLED等属性层容量128G/256G/512G、颜色、版本国行/港版/美版/日版状态层在保/过保、有锁/无锁、在保/过保、拆修/无拆修、有配件/无配件这套匹配逻辑不复杂用Python的正则和字符串包含判断就能实现但工程量大在维护那份关键词库。比如“国行”和“国版”是同一个意思“仅拆封”和“几乎全新”对成色的描述其实是同一档。这类同义词映射关系需要你在清洗第一轮数据时不断积累属于典型的越用越值钱的经验资产。3.2 价格区间的真实分布与异常值处理闲鱼的价格分布和普通电商平台完全不一样。正常电商的价格服从单峰正态分布闲鱼的价格往往是长尾双峰分布一个峰是真实成交想出手的价格区间另一个峰是超低价引流和超高价的“摆件”。如果你直接拿原始价格做回归模型会拼命去迁就那两个尾巴真正的合理价格反而学不好。我处理价格异常的方案是分位数截断但加了业务判断。具体来说按“品牌型号”分组后剔除低于1%分位数和高于99%分位数的价格。只做一次全局截断不够因为iPhone和Switch的合理价格区间完全不同必须按细分类别来。但这里有一个容易踩的误区不能光看“价格异常”还要看“价格为什么异常”。闲鱼上有些低价其实是明显的骗局比如远超行情的低价有些高价是真的“全新未拆封当年货”。模型做的是拟合规律的事情你可以在特征里增加“是否低于市场价50%”这样的标记变量而不是简单粗暴地删掉。标注异常比删除异常更有价值因为模型学到的是“什么样的商品会卖什么价”而不是纯粹的数据分布统计。还有一个有意思的现象是“0元拍卖”和“1元起拍”这类数据。这类商品的最终成交价取决于竞拍与标价关系不大。我建议这类数据要么单独建模要么直接从价格预测的数据池里剔除。拿它训练模型只会制造噪音因为标价已经完全失真了。3.3 地域、成色、交易属性的价值挖掘闲鱼的价格信号不只在价格本身很多有价值的信息藏在关联字段里。地域就是一个很好的例子。同样一台Switch OLED北京的供给量明显比三四线城市大价格反而更卷反过来一些稀缺型号在非一线城市反而能卖出更高价格因为卖家少、选择少。我在特征里将城市映射到“一线/新一线/二线/其他”这几个档位实测对模型有稳定的增益。成色的价值更直接。闲鱼用户对成色的描述词汇五花八门全新未拆封、仅拆封、几乎全新、九九新、九五新、九成新、八成新、战斗成色。我把它归一化成0到1之间的系数方便模型理解这个语义递进关系成色描述归一化系数全新未拆封1.00仅拆封/几乎全新0.95九九新0.90九五新0.88九成新0.85八成新0.75七成新及以下0.60这个系数表是业务经验值也是后面特征工程里的一个关键映射。它其实是在帮模型做一次“先验编码”让模型不必从头去计算“九九新到底比九成新贵多少”这种语义关系直接给它一个相对合理的位置坐标。“想要数”这个字段也值得单独说。它代表多少人对这条商品点了“想要”本质上是供给和需求匹配度的实时热度信号。我发现同一商品的价格和想要数并不一定是正相关——定价合理的商品想要数往往更高定价离谱的想要数反而极少。所以与其把想要数当作价格因子不如把它当作“这条标价合不合理”的辅助信号。在模型里我把想要数作为回归特征同时对它做了一次对数变换压缩长尾效应。4. 价格预测模型从特征工程到模型选型4.1 特征工程模型能不能学到东西就看这一步价格预测模型的成败七成在特征工程三成在模型参数。这个比例不是夸张而是多次试验后的切身感受。我把特征分成三大类来处理第一类是数值特征。价格、浏览量、想要数这些原始数值我做了标准化和对数变换。价格本身不做标准化那是目标变量但浏览量、想要数这种跨度极大的数据直接用原值会让模型训练不稳定取log是标准解法。第二类是类别特征。品牌、型号、城市级别、颜色这些离散值直接用sklearn的OrdinalEncoder或OneHotEncoder处理。型号的类别数不多几十个OneHot不会太稀疏。注意不要在category转数值时把顺序关系编进去比如“颜色”就不是一个有序变量不能编码成0、1、2这种递增数值。第三类是文本特征。标题里抽取的特征是否有“在保”、成色系数、是否“配件齐全”已经大部分结构化剩下的文本残余我会用TF-IDF再抽一遍关键词权重。具体做法是对所有标题做分词后用TF-IDF矩阵提取Top 300个特征词再叠加SVD降维到20维。这样文本语义信息不会完全丢掉又不会让特征维度爆炸。我试过直接用BERT做标题向量效果确实更准但成本上升了一个数量级。3000条样本的数据量下BERT的边际收益远不如把特征工程在“在保”“版本”“成色”上做扎实。数据量到数万条之后再考虑深度文本模型否则就是杀鸡用牛刀过拟合风险还大。4.2 模型选型为什么从LightGBM而不是深度学习开始第一个版本我用线性回归跑了个基线MAE惨不忍睹——因为闲鱼价格和特征之间根本不是一个线性关系成色从九成新到九五新带来的价格变化不是均匀的品牌效应也不是简单的乘数关系。线性模型天生处理不了这种非线性。然后我换成了随机森林效果明显上了一个台阶但泛化能力还是不够稳某些型号的预测偏差很大。最后换成LightGBM才达到了真正可用的水平。为什么是树模型三个理由闲鱼数据里类别特征多、数值特征少树模型对类别特征的切分天然友好特征之间有很多交互关系比如“国行在保配件齐全”这三个条件同时成立时溢价明显不是简单线性叠加。树模型自动帮你做了这些交互发现样本量只有几千条深度学习在这个量级下容易过拟合树模型反而稳健LightGBM的具体参数我直接贴一份实测好用的配置import lightgbm as lgb params { objective: regression, metric: mae, learning_rate: 0.05, max_depth: 6, num_leaves: 31, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, min_data_in_leaf: 20, verbose: -1 }这套参数的核心思路是用较低的learning_rate配合更多的迭代轮数用feature_fraction和bagging_fraction做双重随机化降低过拟合风险。min_data_in_leaf设置成20防止树为了拟合单个极端样本切得太碎。如果你换更大规模的数据集num_leaves和min_data_in_leaf需要相应调大。4.3 评估指标别用RMSE用中位绝对误差模型评估指标的选择是整个项目里最容易自欺欺人的环节。一开始我用RMSE做评价指标模型调参调到怀疑人生——因为闲鱼数据里的长尾异常点会把RMSE拉到很大训练集上表现为永远“没学好”。后来我把评估指标换成了MAPE平均绝对百分比误差和中位绝对误差MedAE。为什么不用RMSE因为RMSE会对大误差样本平方放大少数高价的“传家宝”商品哪怕只预测错几百块平方之后误差也大得离谱模型为了降低RMSE会拼命去拟合这些极值反而牺牲了大多数商品的预测精度。import numpy as np from sklearn.metrics import median_absolute_error, mean_absolute_percentage_error # 中位绝对误差 medae median_absolute_error(y_true, y_pred) # 平均绝对百分比误差 mape mean_absolute_percentage_error(y_true, y_pred)MAPE能直观告诉用户“平均预测偏差百分之多少”MedAE则告诉你“一半的样本预测偏差在多少以内”。这两个指标对业务方的沟通成本很低你拿着“中位误差3.2%”去汇报比扯RMSE的理论要好使得多。我给自己设定的模型达标线是MAPE在15%以内中位绝对误差不超过同品类均价的8%。达到这个标准之后预测结果就具备实际参考价值了。5. 全流程实战用一批真实数据跑通预测5.1 数据准备与切分的几个关键动作代码层面的数据切分千万不能直接random_split。闲鱼市场价格是随时间波动的上周和这周的价格可能差好几百。如果你把8月份的数据混在训练集和测试集里随机切模型会“偷看”到未来信息测试分数虚高上线后立刻现出原形。我的做法是按数据采集时间排序前80%作为训练集后20%作为测试集。这也是时间序列数据的标准切法。数据量方面我以Switch OLED为例清洗后拿到了约3000条有效样本。这属于能跑通但刚好起步的量级。如果你想让模型真正稳定我建议至少累计5000条以上同一个品类的数据。样本太少稀有型号的预测基本是瞎猜。还要做一个关键动作按“品牌型号”划分训练集和测试集保证测试集里出现过的型号在训练集里也出现过。否则你拿“iPhone 14 Pro”训练出的模型去预测“iPhone 15 Pro”本质上是让模型做外推预测结果没有参考意义。在新品上市初期可以用相似型号做迁移但这个逻辑要单独设计不能默认成立。5.2 训练与调参特征重要性排序揭示了市场真相LightGBM训练完成之后我习惯第一时间打印feature_importance。这个环节经常有意外收获——它告诉你市场真的是怎么运行的。我的开关数据模型里特征重要性前五排名大概是成色系数、是否在保、容量档位、品牌型号组合、是否带配件。地域排在中游颜色几乎垫底。这个排名的业务含义很清楚闲鱼买家最关心东西新不新、有没有保修、能用多久颜色反而不是核心溢价因素。这个发现直接影响了一个决策在后续预测时如果“颜色”特征缺失我不会做复杂填补直接用“未知”作为单独类别因为模型已经学到它影响很小缺失带来的损失也不大。调参阶段有一个通用原则先固定learning_rate用EarlyStopping找最优迭代轮数再逐步调整num_leaves和min_data_in_leaf。不要一开始就同时调所有参数那样你会分不清是哪个参数起了作用。我的实际操作是train_data lgb.Dataset(X_train, labely_train) valid_data lgb.Dataset(X_val, labely_val) model lgb.train( params, train_data, num_boost_round2000, valid_sets[valid_data], callbacks[lgb.early_stopping(50)] )early_stopping设置50轮是合理的少了容易在最优轮次前停下多了浪费时间。5.3 预测结果解读输出区间比输出单点更实用模型训练完之后输出一个单点价格比如5330元当然可以但我最终给业务的使用形态是一个价格区间用训练集预测误差的分布来推区间宽度。假设模型对训练集70%样本的偏差在±250元以内那预测时直接在点预测值上加减250元作为置信区间。这个逻辑很简单但它把“模型告诉你多少钱”变成了“模型告诉你在多少钱范围内能比较快出手”后者对闲鱼卖家的决策帮助大得多。实测效果说话拿我当时采集的Switch OLED数据来跑官方全新价约2600元。对于一台“日版 续航增强版 几乎全新 带原装底座和手柄”的机器模型给出的预测区间是1550到1750元。我当时觉得模型偏保守但实际在闲鱼上以1580元挂出去后三天内收到了十几个询价最后1600元成交。这个结果让我意识到模型的定价不是过于保守而是充分考虑了闲鱼这个场子的真实流通折价。当然也有翻车案例。一台“国行OLED 白色 仅拆封 带原装充电器”的机器模型预测1950元实际挂出去后反馈寡淡后来发现同款机器的国行版本在市场上就是不太好卖因为国行机器在二手市场流通性和改区需求上天然吃亏。这个案例教会我一件事模型预测的是“可参考的价格”不是“一定能卖掉的价格”。流通速度还受品牌认知、配件完整度、甚至挂帖首图的视觉质量影响。6. 上线使用与后续演进从自用脚本到可靠工具6.1 可以把这套能力封装成什么形态模型跑通之后接下去会自然想到一个问题怎么让它真正好用我自己的迭代路径是从Jupyter Notebook脚本开始逐步封装成可复用的命令行工具最后做成了一个极简的Web页面。命令行方式的日常使用甚至更高效python estimate.py --keyword iPhone 14 Pro 256G --city 上海这个命令会先触发数据采集清洗出特征调用模型预测最终打印一份价格报告。如果你想做Web化不要一上来就上大框架。Flask写一个简单的POST接口前端就一个输入框加一个按钮点击后展示商品定价区间和关键因子权重。这个量级一天就能做完但已经足够让团队里其他人用上这个能力。如果你需要批量评估几十上百条商品直接输出一张Excel表更实用。每行一条商品列包含商品标题、预测中位价、预测区间、关键影响因素说明。6.2 需要持续关注的模型漂移问题价格评估模型不是训练完就一劳永逸的。二手市场的价格随时间、新品发布、供应链波动持续漂移。举个例子Switch OLED的二手价会随着任天堂发新机型传闻的发酵而波动iPhone的价格更是紧跟新机发布节奏新机发布前老机型价格会有一波明显的下调。如果你3个月不更新模型预测结果就可能偏离行情10%以上。我的更新策略是每周增量采集一次数据每月做一次全量重训练。增量数据不需要太多每次几百条足以让模型感知价格趋势的变化。最重要的是把训练好的模型单独存一份带日期版本的文件名方便回溯哪一版的预测比较靠谱。这一点建议所有做价格预测模型的人重视模型的价值不在于一次预测有多准而在于它能不能持续跟上市场的变化。一个季度没更新的价格模型本质上已经是一个“过期估值器”。6.3 进一步优化的方向当前模型还有两个明显的提升空间值得后续探索。第一个是引入更细粒度的商品状态数据。比如“电池健康度”对iPhone价格的影响极大闲鱼用户会在描述里经常提到“电池94%”“电池效率99%”。如果能用正则把这部分信息从标题和描述里稳定提取出来作为数值特征模型的预测精度还能上一个台阶。我在初期版本里做过原型效果非常明显问题在于这部分数据的覆盖率不够高很多卖家不写电池信息导致这个特征大量缺失只能用“信息缺失”作为单独一档来处理。第二个是成交价数据的引入。闲鱼网页端在售信息只能看到标价而真实成交价往往存在打折空间。结合我想要数、浏览量和卖家信用等级可以粗略估计一个“标价到成交价”的折扣系数。但更精确的做法是积累聊天记录或线下成交反馈数据这部分属于平台方或卖家私域数据获取门槛较高需要真正合规的数据合作才能实现。从整个项目的角度来看爬虫价格预测这套链路最大的价值不在于单个预测有多准而是它把“一群人靠感觉定价”的隐性经验变成了“一个可量化、可迭代、可解释”的系统能力。这套方法论换到其他C2C平台、其他品类一样适用只是换一套关键词库和特征映射表的事。 
长河君 · 2026/9/18 6:28:24 · 阅读 1.2k 闲鱼价格评估实战：爬虫、特征工程与机器学习建模
1. 闲鱼价格评估这件事到底难在哪我最初想做这个项目起因特别朴素手里一台闲置的Switch OLED要出二手挂多少价格完全没谱。刷了半小时闲鱼同款机器有人挂1500有人挂2200还有人挂3500说是“传家宝”标价混乱到让人怀疑人生。那一刻我意识到二手平台缺的不是商品而是一个能把“行情价”算明白的工具。这个需求放到电商领域其实是个很典型的场景C2C平台上的商品没有标准定价价格由买卖双方的博弈决定。闲鱼上同一款商品的价格差异往往比渠道价差还大。有人挂低价是为了快速出手有人挂高价是为了等你砍甚至还有标1元钱做引流的。真正的“合理成交价”藏在大量标价、描述、成色、地域、卖家信用这些碎片化信息里人工看一眼容易想批量比较就非常吃力。所以这个项目的核心不是做一个简单的“比价器”而是把整条链路跑通抓取闲鱼上某类商品的大量在售信息清洗出有效特征再用机器学习模型去回归出一个合理的价格区间。整套方案用Python来实现爬虫负责拿数据pandas负责清洗sklearn和LightGBM负责建模。最终的产出不是预测一个精确到分的天价而是一个带置信度的估价区间——比如“iPhone 14 Pro 256G 国行 九成新 带全套配件合理范围5200到5500”。这比单一数字有用得多因为闲鱼本身就是一个议价空间很大的场子成交价的弹性天然存在。这个项目适合谁参考如果你是做二手交易、回收业务、比价工具的开发者这套技术链路可以直接拿去改如果你是Python学习者想让爬虫、pandas、机器学习这些零散技能在一个真实项目里串起来这篇文也能帮你把整个流程走一遍。我会把数据采集、字段设计、特征工程、模型选型和踩过的坑全部拆开讲。2. 数据采集闲鱼商品信息的获取与合规边界2.1 先想清楚到底要采哪些字段做价格评估模型的第一个关键决策不是写代码而是列字段清单。字段设计直接决定了模型能学到什么。我最初脑子一热抓了几十个字段回来结果一半没用上还白白增加了清洗工作量。后来精简成下面这一份基本够用商品标题最重要的文本特征。品牌、型号、容量、颜色、成色、版本信息全藏在里面价格目标变量也是后面清洗工作量最大的字段所在地闲鱼的价格有明显地域差异一线城市的数码产品供给多、价格往往更卷成色描述九成新、仅拆封、充新、战斗成色这类词直接影响价格卖家信用等级芝麻信用分越高成交溢价越明显想要数代表这条商品的受欢迎程度是一个很好的热度信号浏览量曝光后的真实点击数据发布时间判断这条信息在架上挂了多久挂得越久说明定价越不合理商品关键属性比如是否国行、是否在保、是否有配件、是否拆修这里说句关于合规性的实在话。闲鱼并没有完全开放的C2C商品数据API想拿到上述字段技术上绕不开对网页或App端数据的获取。我的原则是只采集公开可见的信息不碰用户隐私数据严格控制请求频率数据仅用于个人学习研究。如果你是在公司做商业项目务必先和法务确认数据来源合规问题能对接官方开放平台就走官方通道这才是长期方案。2.2 采集方案的取舍与实战细节闲鱼的商品数据结构其实比想象中干净。网页端的搜索结果页里商品信息一般以半结构化的JSON格式嵌在页面脚本或接口返回里不需要逐条解析HTML标签那么痛苦。我的实际做法很简单用requests请求搜索接口拿到JSON响应再用json库直接提取。举个例子搜索“Switch OLED”时请求一个搜索接口返回数据里包含商品列表每条记录有title、price、area、browsingCount等字段。关键点是设置好请求头User-Agent、Referer以及用session保持会话状态。整个采集流程用一个循环翻页搞定每翻一页加一个随机sleep。但这里有个非常大的坑如果不控制采集频率很快就会被平台限流甚至封禁。我实测下来的安全节奏是每次请求间隔至少3到8秒单次采集量控制在几百条就暂停一段时间。不要为了追求数据量把IP搞封了那才是得不偿失。另外我建议刚开始不要按“关键词搜索”的粒度去采而是先确定一个垂直品类比如“iPhone 14 Pro 256G”“AirPods Pro 2”“Switch OLED”这种具体型号。原因很简单关键词越细商品的同质性越高后续特征工程和模型训练的噪音越小。如果你上来就搜“手机”采回来的数据包罗万象清洗到怀疑人生。2.3 数据去重与基础清洗采集回来的原始数据不能直接用。闲鱼上同一个商品可能有多个URL入口同一条商品也可能被重复采集到。我用DataFrame做去重时选的去重键是“商品标题价格”的组合因为纯标题会误伤真正的一物多卖纯链接去重又不够彻底。价格字段也需要单独清洗。闲鱼的价格有时候是字符串比如“1350包邮”有时候带逗号“1,350”有时候还有“面议”这种非数字内容。我的清洗函数长这样import re import pandas as pd def clean_price(price_str): if isinstance(price_str, (int, float)): return float(price_str) if not isinstance(price_str, str): return None # 去掉货币符号和中文 s re.sub(r[元¥包邮], , price_str.strip()) # 去掉千分位逗号 s s.replace(,, ) try: return float(s) except ValueError: return None清洗之后我会过滤掉价格小于10元和大于合理区间上限的值。比如Switch OLED的全新价格约2600元超过5000元的在售信息基本都是引流或传家宝对模型训练没什么帮助。这类数据留着不仅拉高方差还会把预测结果带偏。基础清洗结束后就进入最核心的环节把一堆非结构化的闲鱼文本信息转化成模型能用的结构化特征。这一块我单独开一节说因为它才是整个项目里最磨人的部分。3. 闲鱼数据的坑价格维度里的脏数据与隐藏信号3.1 标题是一切特征之源闲鱼的标题是用户自己写的没有平台统一规范。同样是卖一台iPhone有人写“苹果手机便宜出”有人写“iPhone 14 Pro 256G 暗紫色 国行 在保 电池100”这两个标题的信息量天差地别。前者几乎提供不了任何有效特征后者几乎把模型需要的核心维度都到齐了。所以我做了一个“标题特征抽取器”用正则关键词库去匹配关键信息。核心逻辑分四层品牌层匹配苹果、华为、小米、索尼、任天堂等品牌名型号层匹配具体型号iPhone 14 Pro、AirPods Pro 2、Switch OLED等属性层容量128G/256G/512G、颜色、版本国行/港版/美版/日版状态层在保/过保、有锁/无锁、在保/过保、拆修/无拆修、有配件/无配件这套匹配逻辑不复杂用Python的正则和字符串包含判断就能实现但工程量大在维护那份关键词库。比如“国行”和“国版”是同一个意思“仅拆封”和“几乎全新”对成色的描述其实是同一档。这类同义词映射关系需要你在清洗第一轮数据时不断积累属于典型的越用越值钱的经验资产。3.2 价格区间的真实分布与异常值处理闲鱼的价格分布和普通电商平台完全不一样。正常电商的价格服从单峰正态分布闲鱼的价格往往是长尾双峰分布一个峰是真实成交想出手的价格区间另一个峰是超低价引流和超高价的“摆件”。如果你直接拿原始价格做回归模型会拼命去迁就那两个尾巴真正的合理价格反而学不好。我处理价格异常的方案是分位数截断但加了业务判断。具体来说按“品牌型号”分组后剔除低于1%分位数和高于99%分位数的价格。只做一次全局截断不够因为iPhone和Switch的合理价格区间完全不同必须按细分类别来。但这里有一个容易踩的误区不能光看“价格异常”还要看“价格为什么异常”。闲鱼上有些低价其实是明显的骗局比如远超行情的低价有些高价是真的“全新未拆封当年货”。模型做的是拟合规律的事情你可以在特征里增加“是否低于市场价50%”这样的标记变量而不是简单粗暴地删掉。标注异常比删除异常更有价值因为模型学到的是“什么样的商品会卖什么价”而不是纯粹的数据分布统计。还有一个有意思的现象是“0元拍卖”和“1元起拍”这类数据。这类商品的最终成交价取决于竞拍与标价关系不大。我建议这类数据要么单独建模要么直接从价格预测的数据池里剔除。拿它训练模型只会制造噪音因为标价已经完全失真了。3.3 地域、成色、交易属性的价值挖掘闲鱼的价格信号不只在价格本身很多有价值的信息藏在关联字段里。地域就是一个很好的例子。同样一台Switch OLED北京的供给量明显比三四线城市大价格反而更卷反过来一些稀缺型号在非一线城市反而能卖出更高价格因为卖家少、选择少。我在特征里将城市映射到“一线/新一线/二线/其他”这几个档位实测对模型有稳定的增益。成色的价值更直接。闲鱼用户对成色的描述词汇五花八门全新未拆封、仅拆封、几乎全新、九九新、九五新、九成新、八成新、战斗成色。我把它归一化成0到1之间的系数方便模型理解这个语义递进关系成色描述归一化系数全新未拆封1.00仅拆封/几乎全新0.95九九新0.90九五新0.88九成新0.85八成新0.75七成新及以下0.60这个系数表是业务经验值也是后面特征工程里的一个关键映射。它其实是在帮模型做一次“先验编码”让模型不必从头去计算“九九新到底比九成新贵多少”这种语义关系直接给它一个相对合理的位置坐标。“想要数”这个字段也值得单独说。它代表多少人对这条商品点了“想要”本质上是供给和需求匹配度的实时热度信号。我发现同一商品的价格和想要数并不一定是正相关——定价合理的商品想要数往往更高定价离谱的想要数反而极少。所以与其把想要数当作价格因子不如把它当作“这条标价合不合理”的辅助信号。在模型里我把想要数作为回归特征同时对它做了一次对数变换压缩长尾效应。4. 价格预测模型从特征工程到模型选型4.1 特征工程模型能不能学到东西就看这一步价格预测模型的成败七成在特征工程三成在模型参数。这个比例不是夸张而是多次试验后的切身感受。我把特征分成三大类来处理第一类是数值特征。价格、浏览量、想要数这些原始数值我做了标准化和对数变换。价格本身不做标准化那是目标变量但浏览量、想要数这种跨度极大的数据直接用原值会让模型训练不稳定取log是标准解法。第二类是类别特征。品牌、型号、城市级别、颜色这些离散值直接用sklearn的OrdinalEncoder或OneHotEncoder处理。型号的类别数不多几十个OneHot不会太稀疏。注意不要在category转数值时把顺序关系编进去比如“颜色”就不是一个有序变量不能编码成0、1、2这种递增数值。第三类是文本特征。标题里抽取的特征是否有“在保”、成色系数、是否“配件齐全”已经大部分结构化剩下的文本残余我会用TF-IDF再抽一遍关键词权重。具体做法是对所有标题做分词后用TF-IDF矩阵提取Top 300个特征词再叠加SVD降维到20维。这样文本语义信息不会完全丢掉又不会让特征维度爆炸。我试过直接用BERT做标题向量效果确实更准但成本上升了一个数量级。3000条样本的数据量下BERT的边际收益远不如把特征工程在“在保”“版本”“成色”上做扎实。数据量到数万条之后再考虑深度文本模型否则就是杀鸡用牛刀过拟合风险还大。4.2 模型选型为什么从LightGBM而不是深度学习开始第一个版本我用线性回归跑了个基线MAE惨不忍睹——因为闲鱼价格和特征之间根本不是一个线性关系成色从九成新到九五新带来的价格变化不是均匀的品牌效应也不是简单的乘数关系。线性模型天生处理不了这种非线性。然后我换成了随机森林效果明显上了一个台阶但泛化能力还是不够稳某些型号的预测偏差很大。最后换成LightGBM才达到了真正可用的水平。为什么是树模型三个理由闲鱼数据里类别特征多、数值特征少树模型对类别特征的切分天然友好特征之间有很多交互关系比如“国行在保配件齐全”这三个条件同时成立时溢价明显不是简单线性叠加。树模型自动帮你做了这些交互发现样本量只有几千条深度学习在这个量级下容易过拟合树模型反而稳健LightGBM的具体参数我直接贴一份实测好用的配置import lightgbm as lgb params { objective: regression, metric: mae, learning_rate: 0.05, max_depth: 6, num_leaves: 31, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, min_data_in_leaf: 20, verbose: -1 }这套参数的核心思路是用较低的learning_rate配合更多的迭代轮数用feature_fraction和bagging_fraction做双重随机化降低过拟合风险。min_data_in_leaf设置成20防止树为了拟合单个极端样本切得太碎。如果你换更大规模的数据集num_leaves和min_data_in_leaf需要相应调大。4.3 评估指标别用RMSE用中位绝对误差模型评估指标的选择是整个项目里最容易自欺欺人的环节。一开始我用RMSE做评价指标模型调参调到怀疑人生——因为闲鱼数据里的长尾异常点会把RMSE拉到很大训练集上表现为永远“没学好”。后来我把评估指标换成了MAPE平均绝对百分比误差和中位绝对误差MedAE。为什么不用RMSE因为RMSE会对大误差样本平方放大少数高价的“传家宝”商品哪怕只预测错几百块平方之后误差也大得离谱模型为了降低RMSE会拼命去拟合这些极值反而牺牲了大多数商品的预测精度。import numpy as np from sklearn.metrics import median_absolute_error, mean_absolute_percentage_error # 中位绝对误差 medae median_absolute_error(y_true, y_pred) # 平均绝对百分比误差 mape mean_absolute_percentage_error(y_true, y_pred)MAPE能直观告诉用户“平均预测偏差百分之多少”MedAE则告诉你“一半的样本预测偏差在多少以内”。这两个指标对业务方的沟通成本很低你拿着“中位误差3.2%”去汇报比扯RMSE的理论要好使得多。我给自己设定的模型达标线是MAPE在15%以内中位绝对误差不超过同品类均价的8%。达到这个标准之后预测结果就具备实际参考价值了。5. 全流程实战用一批真实数据跑通预测5.1 数据准备与切分的几个关键动作代码层面的数据切分千万不能直接random_split。闲鱼市场价格是随时间波动的上周和这周的价格可能差好几百。如果你把8月份的数据混在训练集和测试集里随机切模型会“偷看”到未来信息测试分数虚高上线后立刻现出原形。我的做法是按数据采集时间排序前80%作为训练集后20%作为测试集。这也是时间序列数据的标准切法。数据量方面我以Switch OLED为例清洗后拿到了约3000条有效样本。这属于能跑通但刚好起步的量级。如果你想让模型真正稳定我建议至少累计5000条以上同一个品类的数据。样本太少稀有型号的预测基本是瞎猜。还要做一个关键动作按“品牌型号”划分训练集和测试集保证测试集里出现过的型号在训练集里也出现过。否则你拿“iPhone 14 Pro”训练出的模型去预测“iPhone 15 Pro”本质上是让模型做外推预测结果没有参考意义。在新品上市初期可以用相似型号做迁移但这个逻辑要单独设计不能默认成立。5.2 训练与调参特征重要性排序揭示了市场真相LightGBM训练完成之后我习惯第一时间打印feature_importance。这个环节经常有意外收获——它告诉你市场真的是怎么运行的。我的开关数据模型里特征重要性前五排名大概是成色系数、是否在保、容量档位、品牌型号组合、是否带配件。地域排在中游颜色几乎垫底。这个排名的业务含义很清楚闲鱼买家最关心东西新不新、有没有保修、能用多久颜色反而不是核心溢价因素。这个发现直接影响了一个决策在后续预测时如果“颜色”特征缺失我不会做复杂填补直接用“未知”作为单独类别因为模型已经学到它影响很小缺失带来的损失也不大。调参阶段有一个通用原则先固定learning_rate用EarlyStopping找最优迭代轮数再逐步调整num_leaves和min_data_in_leaf。不要一开始就同时调所有参数那样你会分不清是哪个参数起了作用。我的实际操作是train_data lgb.Dataset(X_train, labely_train) valid_data lgb.Dataset(X_val, labely_val) model lgb.train( params, train_data, num_boost_round2000, valid_sets[valid_data], callbacks[lgb.early_stopping(50)] )early_stopping设置50轮是合理的少了容易在最优轮次前停下多了浪费时间。5.3 预测结果解读输出区间比输出单点更实用模型训练完之后输出一个单点价格比如5330元当然可以但我最终给业务的使用形态是一个价格区间用训练集预测误差的分布来推区间宽度。假设模型对训练集70%样本的偏差在±250元以内那预测时直接在点预测值上加减250元作为置信区间。这个逻辑很简单但它把“模型告诉你多少钱”变成了“模型告诉你在多少钱范围内能比较快出手”后者对闲鱼卖家的决策帮助大得多。实测效果说话拿我当时采集的Switch OLED数据来跑官方全新价约2600元。对于一台“日版 续航增强版 几乎全新 带原装底座和手柄”的机器模型给出的预测区间是1550到1750元。我当时觉得模型偏保守但实际在闲鱼上以1580元挂出去后三天内收到了十几个询价最后1600元成交。这个结果让我意识到模型的定价不是过于保守而是充分考虑了闲鱼这个场子的真实流通折价。当然也有翻车案例。一台“国行OLED 白色 仅拆封 带原装充电器”的机器模型预测1950元实际挂出去后反馈寡淡后来发现同款机器的国行版本在市场上就是不太好卖因为国行机器在二手市场流通性和改区需求上天然吃亏。这个案例教会我一件事模型预测的是“可参考的价格”不是“一定能卖掉的价格”。流通速度还受品牌认知、配件完整度、甚至挂帖首图的视觉质量影响。6. 上线使用与后续演进从自用脚本到可靠工具6.1 可以把这套能力封装成什么形态模型跑通之后接下去会自然想到一个问题怎么让它真正好用我自己的迭代路径是从Jupyter Notebook脚本开始逐步封装成可复用的命令行工具最后做成了一个极简的Web页面。命令行方式的日常使用甚至更高效python estimate.py --keyword iPhone 14 Pro 256G --city 上海这个命令会先触发数据采集清洗出特征调用模型预测最终打印一份价格报告。如果你想做Web化不要一上来就上大框架。Flask写一个简单的POST接口前端就一个输入框加一个按钮点击后展示商品定价区间和关键因子权重。这个量级一天就能做完但已经足够让团队里其他人用上这个能力。如果你需要批量评估几十上百条商品直接输出一张Excel表更实用。每行一条商品列包含商品标题、预测中位价、预测区间、关键影响因素说明。6.2 需要持续关注的模型漂移问题价格评估模型不是训练完就一劳永逸的。二手市场的价格随时间、新品发布、供应链波动持续漂移。举个例子Switch OLED的二手价会随着任天堂发新机型传闻的发酵而波动iPhone的价格更是紧跟新机发布节奏新机发布前老机型价格会有一波明显的下调。如果你3个月不更新模型预测结果就可能偏离行情10%以上。我的更新策略是每周增量采集一次数据每月做一次全量重训练。增量数据不需要太多每次几百条足以让模型感知价格趋势的变化。最重要的是把训练好的模型单独存一份带日期版本的文件名方便回溯哪一版的预测比较靠谱。这一点建议所有做价格预测模型的人重视模型的价值不在于一次预测有多准而在于它能不能持续跟上市场的变化。一个季度没更新的价格模型本质上已经是一个“过期估值器”。6.3 进一步优化的方向当前模型还有两个明显的提升空间值得后续探索。第一个是引入更细粒度的商品状态数据。比如“电池健康度”对iPhone价格的影响极大闲鱼用户会在描述里经常提到“电池94%”“电池效率99%”。如果能用正则把这部分信息从标题和描述里稳定提取出来作为数值特征模型的预测精度还能上一个台阶。我在初期版本里做过原型效果非常明显问题在于这部分数据的覆盖率不够高很多卖家不写电池信息导致这个特征大量缺失只能用“信息缺失”作为单独一档来处理。第二个是成交价数据的引入。闲鱼网页端在售信息只能看到标价而真实成交价往往存在打折空间。结合我想要数、浏览量和卖家信用等级可以粗略估计一个“标价到成交价”的折扣系数。但更精确的做法是积累聊天记录或线下成交反馈数据这部分属于平台方或卖家私域数据获取门槛较高需要真正合规的数据合作才能实现。从整个项目的角度来看爬虫价格预测这套链路最大的价值不在于单个预测有多准而是它把“一群人靠感觉定价”的隐性经验变成了“一个可量化、可迭代、可解释”的系统能力。这套方法论换到其他C2C平台、其他品类一样适用只是换一套关键词库和特征映射表的事。