简介本资源是一份面向数据科学初学者与潮玩行业研究者的实战型舆情分析项目包聚焦Labubu这一现象级潮玩IP的走红动因解决‘如何从多源社交平台数据中量化受众画像与情感倾向’的核心问题。压缩包共16个文件388.54MB涵盖3个平台爬虫脚本py、3类原始评论数据csv、1个Jupyter分析笔记本ipynb、7个文本配置与中间结果文件txt/json/bin完整覆盖数据采集、清洗、情感词频统计含Very Positive/Very Negative专项统计、停用词管理及模型微调含PyTorch模型bin与config.json全流程。已有246人学习下载读者可直接复现跨平台舆情对比分析、掌握潮玩类UGC文本处理范式并获得可迁移的多源数据融合分析框架与实操脚本。 最近朋友圈和小红书刷到Labubu的频率已经高到让我这个做数据的人也坐不住了。作为一个常年和爬虫、舆情分析打交道的博主我第一反应不是“这玩意儿怎么这么火”而是“它到底有多火谁在讨论它讨论的内容到底是什么”。与其凭感觉猜不如直接拉数据说话。所以我搞了一个多平台数据采集加受众舆情分析的小项目把小红书、微博、抖音、得物这些平台跟Labubu相关的内容都抓了一遍做了清洗、情感分析、主题聚类和受众画像最后整理成了一套可以直接复用的数据集和源码这篇文章就把整个思路、操作细节和踩过的坑完整拆给你。不管你是做潮玩行业的运营、研究IP传播的营销人还是想拿真实数据练手的数据分析爱好者这套“从数据采集到舆情洞察”的流程都能直接套用。它不是那种教科书式的demo而是我实际操作下来、反复调过的方案。我会把平台怎么选、关键词怎么定、数据怎么清洗、情感分析怎么调优、受众画像怎么推断以及那些文档里不会写的问题都讲清楚。1. 先问对问题Labubu的火到底该怎么用数据证明1.1 从“感觉火了”到“量化火”很多人在聊Labubu时只能给出“身边好多人买”“朋友圈天天看到”这种主观感受。但做数据分析的人不能这么交差你需要把“火”拆成可量化的维度。我的思路是把“火”分成四个层次认知度、讨论度、情绪倾向和消费转化。认知度对应的是内容量级讨论度对应的是互动量情绪倾向对应的是好评差评的比例和情感强度消费转化则看二手价格和电商评论的活跃度。这四个维度不是拍脑袋定的。认知度解决“多少人知道”讨论度解决“多少人愿意参与”情绪倾向解决“大家的态度是正还是负”消费转化解决“热度有没有变成真金白银”。这套框架不只能用在Labubu上任何IP、明星、新品上市你都可以用同样的维度去拆解这就是数据思维的通用性。我选择的数据平台也跟这四个维度一一对应。小红书代表种草与审美表达微博代表事件传播与破圈节奏抖音代表泛娱乐流量扩散得物和闲鱼代表交易与溢价信号电商平台代表真实购买后的反馈。每个平台提供的信号不同只看单一平台很容易得出片面的结论多平台交叉验证才不会翻车。1.2 多平台数据源选型的底层逻辑有人可能会问直接看微信指数或者百度指数不就行了吗确实可以但那些指数只给了趋势曲线没有文本内容你没法知道大家到底在讨论什么、情绪是正面的还是负面的。而“为什么火”这个问题的答案恰恰藏在具体的文本里是觉得设计好看是跟风晒图是想炒高价还是纯粹觉得表情包好用所以我选平台的标准有三个内容文本可得性、用户画像差异性、互动数据完整性。小红书的笔记文本和评论非常完整适合做深度内容分析微博的转发链能看清传播路径适合找破圈节点抖音的评论虽然短但量大适合看泛人群的情绪反应得物和闲鱼的标题与价格数据能还原二级市场的溢价逻辑。技术实现上不同类型平台的数据采集方式也不同。小红书和微博这类有网页版和移动端的可以用爬虫采集公开页面数据得物和闲鱼有开放的商品搜索接口可以调用电商平台的评价数据则通过公开的评论接口获取。这里要强调一点所有采集都严格限定在公开可见的数据范围之内遵守平台服务条款和robots协议控制采集频率不碰用户隐私和未公开数据。这套原则是所有数据项目的第一条红线。2. 数据采集搭建一套可复用的多平台数据管道2.1 关键词体系设计别只抓“Labubu”采集的第一步不是写爬虫而是设计关键词体系。很多人一上来只搜“Labubu”结果数据量少得可怜还漏掉了大量隐性讨论。实际上用户在真实场景里很少只打这一个词尤其是潮玩圈黑话太多了。我最终确定的关键词分成了三类覆盖了80%以上的相关内容核心词Labubu、LABUBU、拉布布音译变体、labubu大小写变体。关联词泡泡玛特、盲盒、端盒、隐藏款、大娃、小野同系列IP、Tycoco同系列角色。场景词痛包、挂件、桌面搭子、手办、周边、改娃、捏捏、去迪士尼、排队、补盒。为什么要做三层关键词因为只抓核心词会丢失大量和Labubu强关联的内容而只抓场景词又会混入其他IP的噪声。比如搜“盲盒”会把整个潮玩品类都带进来搜“痛包”会混入手帐圈和偶像周边的内容。正确的做法是用核心词做精确匹配用关联词和场景词做扩展匹配然后在清洗阶段通过同时出现策略比如必须有“Labubu”或“拉布布”出现在文本中来过滤无关数据。我建议你在做类似项目时先花半小时人工浏览一下目标平台的话题页把用户在真实语境里的说法记下来再扩充进关键词表。这个步骤看起来费时间实际能帮你少采一到两轮重复数据性价比极高。2.2 爬虫与API的合规实现公开数据的正确拿法确定关键词之后就可以写采集程序了。我在项目里主要用Python的requests库配合Scrapy框架搭了一套分布式的采集管道数据源分为两类一类走公开API比如微博的关键词搜索接口和得物的搜索接口另一类走页面解析比如小红书的关键词笔记页和抖音的评论弹层。这里要特别说明合规性问题。很多新手一上来就研究各种逆向和加密参数其实没必要也容易踩红线。我踩过的坑是一开始图省事用了某个第三方封装库结果对方经常把字段映射改掉反而浪费了大量时间。正确做法是直接请求对方公开的接口地址带上正常的User-Agent和基础请求头按正常用户节奏限速采集单账号并发控制在1到2个请求每秒。如果遇到需要登录才能看的内容就跳过——公开数据量已经足够支撑分析不需要碰任何非公开数据。采集程序的核心逻辑可以抽象成这样一个模板跑通了之后换平台只需要改解析函数import time import requests from urllib.parse import quote def fetch_keyword_pages(platform, keyword, max_pages50): 按关键词采集平台公开搜索页数据 platform: 平台名称 keyword: 关键词 max_pages: 最大页数 results [] for page in range(1, max_pages 1): # 构造公开搜索接口这里以通用结构为例 url fhttps://api.example.com/search?keyword{quote(keyword)}page{page} resp requests.get(url, headers{User-Agent: Mozilla/5.0}, timeout10) if resp.status_code ! 200: # 遇到非200状态码说明触发了限流退避等待 time.sleep(60) continue data resp.json() items data.get(items, []) if not items: break for item in items: item[platform] platform item[keyword] keyword results.append(item) time.sleep(1.5) # 限速模拟人工浏览节奏 return results这套代码的核心不是解析逻辑而是限速和失败重试机制。我见过太多人跑大数据量时直接被封IP最后全盘报废。宁可多花一倍时间也不要一次性把速度拉满。采集过程我在服务器上跑了大概三天最终拿到的小红书笔记约4.2万条、评论约28万条微博博文约6.8万条抖音视频标题加高赞评论约12万条得物和闲鱼商品信息约1.5万条。这个量级对于舆情分析来说是足够的再多边际效益也不高。2.3 数据清洗与去重多平台数据的脏比你想的还脏采集完成后数据清洗是决定分析质量最关键的一步。多平台数据的脏主要体现在几个方面同一篇内容被多个关键词重复抓取、营销号批量发布的内容污染样本、短文本无意义评论过多以及平台间账号搬运导致的内容重复。我的清洗流程分四步走。第一步是去重用内容内容的MD5值做粗去重再用标题和正文的SimHash做细去重把搬运内容合并成一条并保留最早发布时间的记录。第二步是过滤噪声删除纯标点、纯表情、纯转发无评论的内容以及明显的广告文本比如包含“加V”“代购”“私信”等高频营销词。第三步是字段规整把不同平台的发布时间统一成时间戳格式把互动数字段点赞、评论、转发清洗成整型把表情符号转成文本标记方便后续做情感分析。第四步是平台标识与样本平衡。多平台数据天然存在量级差异比如小红书的数据可能比得物多出十倍直接合并跑统计模型会被大样本平台主导。所以我给每一条记录打上platform字段在后续的对比分析中始终按平台维度分组不盲目混合计算全局指标。清洗这事听着不性感但实际上我整个项目中大概有40%的时间都花在处理脏数据上。数据质量直接决定了分析结论的可靠程度这一点怎么强调都不为过。你要是图省事跳过清洗后面做的情感分析和主题聚类都会得出误导性的结论。3. 舆情分析核心情感、主题与时间趋势3.1 情感分析怎么落地方案通用工具在潮玩领域会失灵清洗完数据后第一个核心分析任务是情感分析。很多人会觉得这有什么难的直接调一个现成的Python情感分析库不就行了但你真去跑一遍会发现通用情感模型在潮玩领域表现得非常离谱。比如“这脸好丑但我好爱”这句话通用模型大概率判成负面但潮玩用户说这话的时候是带着喜爱的“丑萌”恰恰是Labubu的核心魅力。再比如“绝绝子”“无语子”“狠狠爱了”“谁懂啊”这些梗系表达通用模型基本判不准。所以我在项目里用了一个“通用模型领域修正”的两阶段方案。第一阶段用SnowNLP的预训练模型给每条文本打一个基础情感分范围在0到1之间第二阶段做规则修正我构建了一个潮玩领域的自定义词典包含正向词可爱、上头、真香、绝绝子、治愈、入坑和负向词炒价、恶心、退了、翻车、失望再结合程度副词特别、太、真的、有点做加权调整。这种修正方案比纯用深度学习模型要稳定得多因为潮玩领域的语料积累还不够很多人也没有精力去微调一个BERT模型。但如果你有标注数据也可以考虑用一个小规模的文本分类模型比如用transformers库微调一个中文BERT效果会更好。代码上我实现了一个最简单的情感倾向判断函数def sentiment_pipeline(text): # Phase 1: 通用预训练模型打分 from snownlp import SnowNLP base_score SnowNLP(text).sentiments # 0~1 # Phase 2: 领域词典修正 pos_words [可爱, 上头, 真香, 绝绝子, 治愈, 入坑] neg_words [炒价, 恶心, 退了, 翻车, 失望, 智商税] pos_hit sum(1 for w in pos_words if w in text) neg_hit sum(1 for w in neg_words if w in text) # 综合得分基础分 领域词加权 final_score base_score * 0.7 min((pos_hit * 0.15) - (neg_hit * 0.15), 0.5) final_score max(0.0, min(1.0, final_score)) if final_score 0.6: return positive elif final_score 0.4: return negative else: return neutral跑完全量数据后我发现一个有意思的现象Labubu相关讨论中正面情感占比大约在61%负面约9%中性约30%。负面比例不算低但负面内容主要集中在对炒价行为和黄牛的抱怨上而不是对产品本身的否定。这说明大家的不满指向的是价格生态而不是IP本身这种“骂市场但不骂IP”的情绪结构恰恰是IP热度能持续的原因之一。3.2 主题建模从讨论里看出“火的来源”情感只能告诉我们“态度好不好”主题模型才能告诉我们“大家都在聊什么”。我用LDALatent Dirichlet Allocation对清洗后的文本做了主题聚类这个话题模型能把一堆文本自动归成几个主题组每个组由一组高频词表征。不用LDA的话你也可以用jieba分词加高频词统计但主题之间的占比关系很难结构化呈现所以我还是推荐LDA。调整LDA的主题数量是需要反复试的。我试了从4到12个主题最终确定7个主题时困惑度最低且业务可解释性最强。这7个主题可以归纳为主题编号主题关键词节选业务解释样本占比T1端盒、隐藏款、抽中、手感、补盒盲盒购买与抽盒攻略18%T2好可爱、上头、表情包、桌面颜值与情绪价值表达22%T3痛包、挂件、钥匙扣、改造周边搭配与二次创作15%T4出、收、换、价格、包邮二手交易与流通12%T5迪士尼、排队、限定、联动线下打卡与限定场景9%T6明星、同款、演唱会、机场明星效应与明星延伸内容8%T7泡泡玛特、股价、营销、热门商业与行业讨论6%看这个主题分布你就能理解Labubu为什么火了它的讨论并不集中在某一个点上而是同时在盲盒玩法、情绪表达、场景搭配、二手流通、线下活动、明星效应和商业话题七个方向扩散。这就是一个成熟的“社交货币型IP”的特征——它不是一个手办而是一个可以嵌入不同生活场景的符号。T2的高占比尤其值得注意也就是说有将近四分之一的人在讨论中表达的是“可爱”“上头”“表情包”等纯情绪反馈这其实是IP能获客的情感基础。3.3 时间趋势与破圈节点热度不是均匀涨的主题分布只能说明“聊什么”时间趋势才能回答“怎么火的”。我把所有数据按天聚合绘制了讨论量曲线并和关键事件做交叉比对。通常这种分析你会看到几个明显的脉冲式峰值每一个峰值背后都有一个传播动因。我整理了一下Labubu的数据能清楚看到三个大的跃升节点。第一波是产品系列走红与某个爆款系列的盲盒发售时间吻合讨论量出现第一次飙升第二波是某海外顶流艺人在公开场合多次佩戴Labubu周边出街直接引发大量粉丝跟风购买和晒图第三波是线下限定联动活动比如和大型主题乐园的联名区域开放带动了大量线下打卡内容产出。在数据上这三波分别对应了微博讨论量的突然抬升、抖音和快手等短视频平台内容的批量出现以及小红书打卡笔记的集中发布。这个“明星引爆线下承接内容平台扩散”的路径是很多潮流IP破圈的通用套路。如果你做的项目不是Labubu而是别的IP也可以用同样的方法去还原它的走红路径。这里我补充一个实操经验分析时间趋势时一定要把平台分开看。微博的讨论波峰来得最早通常是事件驱动小红书的波峰比微博晚三天到一周属于“事件后种草”抖音的波峰则和线下打卡以及话题挑战强相关。如果混在一起看总量曲线这些时间差会被抹平分析不出传播路径。4. 受众画像到底是谁在为Labubu花钱4.1 人群画像的分层性别、年龄、城市文本数据没有用户后台信息这决定了受众画像不能直接拿到精确的人口统计学数据。但我们可以通过文本特征和平台特性来推算。我的方法是对评论用户的昵称、头像、文本表达习惯以及互动行为做间接推断。先说性别。从文本特征来看小红书上与Labubu相关的讨论中女性用户的占比明显偏高。我不是直接看用户性别标签而是通过昵称中的女性化表达习惯、内容中常出现的“姐妹”“集美”等称呼、以及“痛包”“穿搭”“可爱”等话题标签来综合判断。综合三个平台的估算Labubu的讨论者中女性大约占七成左右这个比例和盲盒品类的整体受众结构是吻合的。再说年龄。从内容表达方式来看Labubu的核心讨论人群集中在18到30岁这个区间。判断依据包括“学生党”“上班族”等身份词、“期末周”“通勤”等场景词以及表情包和网络梗的使用密度。当然这个年龄段跨度并不小内部还可以细分。学生群体更多讨论“生活费”“攒钱抽盒”职场群体更多讨论“解压”“桌面搭子”这两种诉求对应的是完全不同的消费心理。城市分布方面由于我采集的数据里存在明显的本地生活场景词比如具体商圈名、线下活动地点我可以判断一线和新一线城市的密度最高。这符合潮玩品类的消费特点线下渠道铺得越密的城市讨论和购买热度自然越高。4.2 兴趣圈层的交叉分析Labubu不只是潮玩圈的事做受众分析时最忌把用户想象成一个同质群体。我用LDA主题结果和用户发帖内容做了用户级主题偏好关联把Labubu的关注者分成了几类交叉圈层。第一类是传统潮玩圈这些人原来是玩Molly、Dimoo的现在转向Labubu讨论内容围绕端盒、隐藏款和手感对IP的忠诚度高。第二类是娱乐追星圈这些人是因为喜欢的艺人同款才入坑的他们的讨论中经常提到明星名字和“同款”字样购买行为更倾向于跟风爆款款型。第三类是手帐和痛包圈她们本身有装饰、改造、搭配的创作习惯Labubu的挂件形态正好契合了这个需求。第四类是普通大众圈这些人原本不买盲盒但因为Labubu的表情包形象和社交平台的传播开始关注讨论偏向“好可爱”“想要”等浅层表达。这几个圈层的人数和商业价值是很不一样的。大众圈的量最大但购买转化率可能最低潮玩圈的绝对量不大但复购和收藏属性最强追星圈的购买决策来得又快又急但热度容易被明星动态左右痛包圈的创作属性强能把IP带进更广阔的日常场景里。理解这四类人群才算真正理解了Labubu的受众结构。4.3 消费力与二手溢价的信号分析受众画像的最后一块拼图是消费力信号这里我用的是价格数据。我采集了得物和闲鱼上Labubu相关商品的挂牌价并与官方发售价做了对比。数据直观地显示Labubu的二手市场存在明显的分层普通款溢价通常在0.8到1.5倍之间热门款在2到4倍之间个别隐藏款和限定款可以到5倍以上。这里需要注意一个操作细节闲鱼和得物的挂牌价不等于成交价很多卖家挂高价不一定能卖出去。所以要分析真实的溢价水平最好能采集到“想要”人数、浏览量和卖家信用等信号用这些指标来对挂牌价做加权修正。我在项目里给每条商品数据除了价格之外还带上了浏览量和想要数这两个字段这样就能区分“有价无市”和“真实流通”的款型。二手溢价和传播热度不是简单线性关系。我一个很有意思的发现是溢价最集中的并不是讨论量大、曝光高的主流款而是一些讨论度中等但颜值评价极高的特定款型。这说明真正驱动二手市场溢价的是收藏圈内部的审美共识而不是大众传播的热度。这个洞察单纯看小红书数据是得不到的必须把内容数据和交易数据放在一起才能看清。5. 数据可视化与结论输出让数据自己说话5.1 从数据到图表一套直接能用的可视化方案分析做完之后可视化是把结果落地成可读报告的关键一步。我在项目里用了两个主力工具一个是pyecharts适合做中文场景下的交互式图表另一个是matplotlib和seaborn适合做静态出版级图。如果你不想折腾前端可以只用pyecharts生成HTML浏览器里直接打开就能交互发布博客或者做汇报都够用。我做可视化的核心原则是“一图一结论”。情感分析是环形图和堆叠柱状图主题模型是词云和气泡图时间趋势是折线图加事件标注受众画像是雷达图。不要把太多信息堆在一张图里图表的价值是让结论更清晰不是炫技。from pyecharts.charts import Line, Bar from pyecharts import options as opts def plot_trend_by_platform(df, platform): 绘制单平台的讨论量时间趋势 subset df[df[platform] platform] daily subset.groupby(date).size().reset_index(namecount) line ( Line() .add_xaxis(daily[date].astype(str).tolist()) .add_yaxis(讨论量, daily[count].tolist(), is_smoothTrue) .set_global_opts( title_optsopts.TitleOpts(titlef{platform} Labubu讨论量趋势), tooltip_optsopts.TooltipOpts(triggeraxis), datazoom_opts[opts.DataZoomOpts()], ) ) return line # 调用示例 # line plot_trend_by_platform(df, xiaohongshu) # line.render(trend_xiaohongshu.html)如果你希望出一张静态汇总图我建议做一张四象限散点图横轴是各平台的讨论量纵轴是正面情感占比点大小代表平均互动量。这样一张图就能看出每个平台在Labubu传播中的角色差异。5.2 数据分析结论Labubu热度背后的数据证据从数据来看Labubu的火不是营销口号而是一套有数据支撑的系统性现象。四个维度的证据如下认知度上各平台相关内容量级已经达到头部IP水平讨论度上互动率远远高于普通潮玩盘点类内容情绪倾向上正面情感六成以上且负面集中于价格生态消费转化上多个渠道出现明显溢价和供不应求的现象。这些数据串起来回答了“为什么火”这个问题Labubu的设计形象天然适合做表情传播盲盒模式自带开箱的惊喜机制和成瘾性明星事件起到了破圈放大作用周边产品的可改造性延伸了使用场景再加渠道端的限量策略维持了稀缺性。这五个因素缺一不可。你单拿出任何一个都不足以支撑一个IP的热度但组合起来就形成了滚雪球效应。从情绪倾向上看正面讨论占比高的背后原因是“悦己消费”和“社交货币”两种心理叠加。很多人买Labubu不是为了收藏价值而是为了取悦自己或者融入社交圈层。不管是桌面上的摆件还是包上的挂件它在日常生活中持续提醒持有者“我有这个东西”这种持续的自我满足感是传统大娃玩具不具备的。6. 数据集与源码的完整说明6.1 数据集的文件目录与结构这个项目的所有产物我都做了归档整理数据集和源码的目录设计遵循“一张表一个主题”的原则方便按需取用。整个包的结构如下labubu_analysis/ ├── data/ │ ├── raw/ │ │ ├── xiaohongshu_notes.csv │ │ ├── xiaohongshu_comments.csv │ │ ├── weibo_posts.csv │ │ ├── douyin_videos_comments.csv │ │ └── second_market_prices.csv │ ├── cleaned/ │ │ ├── content_clean.csv │ │ └── price_clean.csv │ └── processed/ │ ├── sentiment_result.csv │ ├── topic_result.csv │ └── audience_features.csv ├── code/ │ ├── 01_crawler/ │ │ ├── base_crawler.py │ │ ├── xiaohongshu_crawler.py │ │ ├── weibo_crawler.py │ │ ├── douyin_crawler.py │ │ └── second_market_crawler.py │ ├── 02_clean/ │ │ └── data_cleaner.py │ ├── 03_analysis/ │ │ ├── sentiment_analysis.py │ │ ├── topic_model.py │ │ └── audience_profile.py │ └── 04_visualization/ │ └── charts.py └── README.md每个CSV文件的字段说明都写在README里。比如小红书笔记那一份有笔记ID、标题、正文、点赞数、收藏数、评论数、发布时间、话题标签等字段评论表有评论ID、笔记ID、用户名、评论文本、点赞数、发布时间等。二手市场价格表包含了商品标题、平台、挂牌价、浏览量、想要数、卖家信用等级等字段这是我分析溢价的核心依据。数据集的清洗版本已经处理掉了明显的重复和噪声数据所有时间字段统一成了ISO格式适用人群可以直接跑分析代码不用再面对一堆脏数据。如果你只想复现结论直接用cleaned和processed里的文件就够了。6.2 源码模块设计说明与复现步骤源码按数据流水线分成四个模块采集、清洗、分析、可视化模块之间通过标准CSV文件衔接不搞复杂的数据库依赖。这样设计的目的是让每个环节都可以独立运行和单独调试排查问题的时候不用从入口到出口全部跑一遍。复现这个项目的步骤很清楚。第一步先确认Python环境是3.9以上版本安装依赖包# 建议用虚拟环境 python -m venv venv source venv/bin/activate # Windows下是 venv\Scripts\activate pip install pandas numpy jieba snownlp scikit-learn pyecharts requests scrapy第二步如果你想直接复现分析结果先不用跑采集模块直接读取data/cleaned/或data/processed/下的文件运行03_analysis里的脚本就能得到情感分析结果、主题聚类和受众画像。第三步如果你想从零开始采集新数据那就先配置好01_crawler每个平台脚本里的关键词和时间范围参数按顺序执行采集脚本然后跑清洗脚本生成新的cleaned数据最后再进入分析环节。这里我要给一个实用建议第一步先不要碰采集先把分析代码跑通。因为分析代码的输出结果可视化做得比较直观你能尽早确认数据字段是否对齐、结论是否稳定。等分析流程稳了再回头补采集能从源头上避开“拿着不好使的数据硬分析”的尴尬。我一开始就是反着来的结果采集脚本跑了三天分析时才发现字段映射错了又返工重新清洗浪费了不少时间。6.3 复现时最容易踩的三个坑第一个坑是中文编码问题。CSV文件默认用UTF-8编码但Windows下的Excel打开有时候会乱码。我最后的解决方案是在写入CSV时指定encodingutf-8-sig而不是utf-8这样Excel也能正常打开。如果你读取时发现乱码先检查读取代码里的encoding参数八成是这里的问题。第二个坑是时间字段的类型混乱。不同平台返回的时间格式五花八门有微信时间戳形式的有2024-01-01 12:30:00格式的还有“3小时前”这种相对时间。清洗时我写了统一的解析函数先把所有格式转成datetime对象再统一输出成ISO字符串。相对时间还要结合采集时间来计算这一步容易漏。第三个坑是评论数据的缺失值处理。很多采集到的评论对象没有点赞数或者没有用户名称这很正常不要随便把整行删掉。我在清洗时是按字段单独处理的缺失的点赞数标记为0缺失的用户名标记为unknown缺失的评论文本直接删除因为没有任何文本内容的评论对情感分析毫无意义。这样既保留了数据量又不至于让缺失值污染分析结果。7. 延伸从Labubu看潮玩IP的数据分析通用方法论7.1 一套可以迁移到其他IP的分析框架做完了Labubu这个项目我最大的感受是这套方法不是为Labubu定制的而是可以迁移到任何IP分析上的一套通用框架。你只需要换掉关键词表、调整领域情感词典、重新跑一遍数据管道就能得到另一个IP的受众画像和舆情报告。我目前验证过可迁移的场景至少包括这些新发布盲盒系列的初期舆情监测、不同IP之间的受众重合度分析、二手市场价格与新品发布之间的联动研究、线下活动对线上讨论量的拉动效果评估。这套框架的底层逻辑是“公开数据交叉验证多维度建模”这个逻辑在任何行业都成立只不过在潮玩领域特别合适因为这个品类的线上讨论和线下交易都高度活跃数据密度足够支撑分析。7.2 图片数据与YOLO的拓展玩法文本数据之外还有一个值得尝试的方向是图片数据。Labubu的火爆明显带火了线下打卡和晒图行为这些图片数据是文本舆情分析覆盖不到的。如果你想把分析做得更深一层可以考虑用目标检测模型对用户晒图里的Labubu进行识别统计不同款型的出镜频率和场景分布。这个思路具体来说就是在小红书上批量采集带Labubu的图片用目标检测模型比如YOLOv8训练一个Labubu款型识别器把图片分成不同系列和款型再和文本数据关联。我之前试过用YOLOv8训练一个简单的Labubu检测器数据量不用太大标注几百张图片就能达到可用的效果。这不是一个简单的小任务标注工作量不小需要筛选数据、画框、训练、调参但如果你正好在研究潮玩IP的传播这个方向拿到数据的颗粒度会细腻很多。不过要提醒一点图片识别和文本分析要用同样的关键词体系去约束数据来源否则你训练出来的模型识别到的可能是别的长相接近的玩偶。另外标注数据时一定要把不同款型区分开比如普通款和限定款在图像特征上如果不仔细标注模型很容易混淆。我在项目里已经预留了这个拓展方向的数据接口processed/下的数据表里有一条image_flag字段如果你后续要做图片分析直接在这个基础上扩展就行。说回Labubu本身。这个项目做下来我最大的感慨是一个IP能火不是某个单点做对了而是一整套传播机制在同时起作用。数据分析能做的是把这套机制拆开让你看到每个环节的数据证据。做完这个项目之后我再看朋友圈里的Labubu晒图已经不会只感叹“好火”了而是会想这张图背后又踩中了哪个圈层、哪类情绪、哪个传播节点。这就是数据思维带给一个人的变化。本文还有配套的精品资源点击获取 
长河君 · 2026/8/31 15:22:08 · 阅读 1.2k 多平台数据采集与舆情分析实战：以Labubu潮玩IP为例
简介本资源是一份面向数据科学初学者与潮玩行业研究者的实战型舆情分析项目包聚焦Labubu这一现象级潮玩IP的走红动因解决‘如何从多源社交平台数据中量化受众画像与情感倾向’的核心问题。压缩包共16个文件388.54MB涵盖3个平台爬虫脚本py、3类原始评论数据csv、1个Jupyter分析笔记本ipynb、7个文本配置与中间结果文件txt/json/bin完整覆盖数据采集、清洗、情感词频统计含Very Positive/Very Negative专项统计、停用词管理及模型微调含PyTorch模型bin与config.json全流程。已有246人学习下载读者可直接复现跨平台舆情对比分析、掌握潮玩类UGC文本处理范式并获得可迁移的多源数据融合分析框架与实操脚本。 最近朋友圈和小红书刷到Labubu的频率已经高到让我这个做数据的人也坐不住了。作为一个常年和爬虫、舆情分析打交道的博主我第一反应不是“这玩意儿怎么这么火”而是“它到底有多火谁在讨论它讨论的内容到底是什么”。与其凭感觉猜不如直接拉数据说话。所以我搞了一个多平台数据采集加受众舆情分析的小项目把小红书、微博、抖音、得物这些平台跟Labubu相关的内容都抓了一遍做了清洗、情感分析、主题聚类和受众画像最后整理成了一套可以直接复用的数据集和源码这篇文章就把整个思路、操作细节和踩过的坑完整拆给你。不管你是做潮玩行业的运营、研究IP传播的营销人还是想拿真实数据练手的数据分析爱好者这套“从数据采集到舆情洞察”的流程都能直接套用。它不是那种教科书式的demo而是我实际操作下来、反复调过的方案。我会把平台怎么选、关键词怎么定、数据怎么清洗、情感分析怎么调优、受众画像怎么推断以及那些文档里不会写的问题都讲清楚。1. 先问对问题Labubu的火到底该怎么用数据证明1.1 从“感觉火了”到“量化火”很多人在聊Labubu时只能给出“身边好多人买”“朋友圈天天看到”这种主观感受。但做数据分析的人不能这么交差你需要把“火”拆成可量化的维度。我的思路是把“火”分成四个层次认知度、讨论度、情绪倾向和消费转化。认知度对应的是内容量级讨论度对应的是互动量情绪倾向对应的是好评差评的比例和情感强度消费转化则看二手价格和电商评论的活跃度。这四个维度不是拍脑袋定的。认知度解决“多少人知道”讨论度解决“多少人愿意参与”情绪倾向解决“大家的态度是正还是负”消费转化解决“热度有没有变成真金白银”。这套框架不只能用在Labubu上任何IP、明星、新品上市你都可以用同样的维度去拆解这就是数据思维的通用性。我选择的数据平台也跟这四个维度一一对应。小红书代表种草与审美表达微博代表事件传播与破圈节奏抖音代表泛娱乐流量扩散得物和闲鱼代表交易与溢价信号电商平台代表真实购买后的反馈。每个平台提供的信号不同只看单一平台很容易得出片面的结论多平台交叉验证才不会翻车。1.2 多平台数据源选型的底层逻辑有人可能会问直接看微信指数或者百度指数不就行了吗确实可以但那些指数只给了趋势曲线没有文本内容你没法知道大家到底在讨论什么、情绪是正面的还是负面的。而“为什么火”这个问题的答案恰恰藏在具体的文本里是觉得设计好看是跟风晒图是想炒高价还是纯粹觉得表情包好用所以我选平台的标准有三个内容文本可得性、用户画像差异性、互动数据完整性。小红书的笔记文本和评论非常完整适合做深度内容分析微博的转发链能看清传播路径适合找破圈节点抖音的评论虽然短但量大适合看泛人群的情绪反应得物和闲鱼的标题与价格数据能还原二级市场的溢价逻辑。技术实现上不同类型平台的数据采集方式也不同。小红书和微博这类有网页版和移动端的可以用爬虫采集公开页面数据得物和闲鱼有开放的商品搜索接口可以调用电商平台的评价数据则通过公开的评论接口获取。这里要强调一点所有采集都严格限定在公开可见的数据范围之内遵守平台服务条款和robots协议控制采集频率不碰用户隐私和未公开数据。这套原则是所有数据项目的第一条红线。2. 数据采集搭建一套可复用的多平台数据管道2.1 关键词体系设计别只抓“Labubu”采集的第一步不是写爬虫而是设计关键词体系。很多人一上来只搜“Labubu”结果数据量少得可怜还漏掉了大量隐性讨论。实际上用户在真实场景里很少只打这一个词尤其是潮玩圈黑话太多了。我最终确定的关键词分成了三类覆盖了80%以上的相关内容核心词Labubu、LABUBU、拉布布音译变体、labubu大小写变体。关联词泡泡玛特、盲盒、端盒、隐藏款、大娃、小野同系列IP、Tycoco同系列角色。场景词痛包、挂件、桌面搭子、手办、周边、改娃、捏捏、去迪士尼、排队、补盒。为什么要做三层关键词因为只抓核心词会丢失大量和Labubu强关联的内容而只抓场景词又会混入其他IP的噪声。比如搜“盲盒”会把整个潮玩品类都带进来搜“痛包”会混入手帐圈和偶像周边的内容。正确的做法是用核心词做精确匹配用关联词和场景词做扩展匹配然后在清洗阶段通过同时出现策略比如必须有“Labubu”或“拉布布”出现在文本中来过滤无关数据。我建议你在做类似项目时先花半小时人工浏览一下目标平台的话题页把用户在真实语境里的说法记下来再扩充进关键词表。这个步骤看起来费时间实际能帮你少采一到两轮重复数据性价比极高。2.2 爬虫与API的合规实现公开数据的正确拿法确定关键词之后就可以写采集程序了。我在项目里主要用Python的requests库配合Scrapy框架搭了一套分布式的采集管道数据源分为两类一类走公开API比如微博的关键词搜索接口和得物的搜索接口另一类走页面解析比如小红书的关键词笔记页和抖音的评论弹层。这里要特别说明合规性问题。很多新手一上来就研究各种逆向和加密参数其实没必要也容易踩红线。我踩过的坑是一开始图省事用了某个第三方封装库结果对方经常把字段映射改掉反而浪费了大量时间。正确做法是直接请求对方公开的接口地址带上正常的User-Agent和基础请求头按正常用户节奏限速采集单账号并发控制在1到2个请求每秒。如果遇到需要登录才能看的内容就跳过——公开数据量已经足够支撑分析不需要碰任何非公开数据。采集程序的核心逻辑可以抽象成这样一个模板跑通了之后换平台只需要改解析函数import time import requests from urllib.parse import quote def fetch_keyword_pages(platform, keyword, max_pages50): 按关键词采集平台公开搜索页数据 platform: 平台名称 keyword: 关键词 max_pages: 最大页数 results [] for page in range(1, max_pages 1): # 构造公开搜索接口这里以通用结构为例 url fhttps://api.example.com/search?keyword{quote(keyword)}page{page} resp requests.get(url, headers{User-Agent: Mozilla/5.0}, timeout10) if resp.status_code ! 200: # 遇到非200状态码说明触发了限流退避等待 time.sleep(60) continue data resp.json() items data.get(items, []) if not items: break for item in items: item[platform] platform item[keyword] keyword results.append(item) time.sleep(1.5) # 限速模拟人工浏览节奏 return results这套代码的核心不是解析逻辑而是限速和失败重试机制。我见过太多人跑大数据量时直接被封IP最后全盘报废。宁可多花一倍时间也不要一次性把速度拉满。采集过程我在服务器上跑了大概三天最终拿到的小红书笔记约4.2万条、评论约28万条微博博文约6.8万条抖音视频标题加高赞评论约12万条得物和闲鱼商品信息约1.5万条。这个量级对于舆情分析来说是足够的再多边际效益也不高。2.3 数据清洗与去重多平台数据的脏比你想的还脏采集完成后数据清洗是决定分析质量最关键的一步。多平台数据的脏主要体现在几个方面同一篇内容被多个关键词重复抓取、营销号批量发布的内容污染样本、短文本无意义评论过多以及平台间账号搬运导致的内容重复。我的清洗流程分四步走。第一步是去重用内容内容的MD5值做粗去重再用标题和正文的SimHash做细去重把搬运内容合并成一条并保留最早发布时间的记录。第二步是过滤噪声删除纯标点、纯表情、纯转发无评论的内容以及明显的广告文本比如包含“加V”“代购”“私信”等高频营销词。第三步是字段规整把不同平台的发布时间统一成时间戳格式把互动数字段点赞、评论、转发清洗成整型把表情符号转成文本标记方便后续做情感分析。第四步是平台标识与样本平衡。多平台数据天然存在量级差异比如小红书的数据可能比得物多出十倍直接合并跑统计模型会被大样本平台主导。所以我给每一条记录打上platform字段在后续的对比分析中始终按平台维度分组不盲目混合计算全局指标。清洗这事听着不性感但实际上我整个项目中大概有40%的时间都花在处理脏数据上。数据质量直接决定了分析结论的可靠程度这一点怎么强调都不为过。你要是图省事跳过清洗后面做的情感分析和主题聚类都会得出误导性的结论。3. 舆情分析核心情感、主题与时间趋势3.1 情感分析怎么落地方案通用工具在潮玩领域会失灵清洗完数据后第一个核心分析任务是情感分析。很多人会觉得这有什么难的直接调一个现成的Python情感分析库不就行了但你真去跑一遍会发现通用情感模型在潮玩领域表现得非常离谱。比如“这脸好丑但我好爱”这句话通用模型大概率判成负面但潮玩用户说这话的时候是带着喜爱的“丑萌”恰恰是Labubu的核心魅力。再比如“绝绝子”“无语子”“狠狠爱了”“谁懂啊”这些梗系表达通用模型基本判不准。所以我在项目里用了一个“通用模型领域修正”的两阶段方案。第一阶段用SnowNLP的预训练模型给每条文本打一个基础情感分范围在0到1之间第二阶段做规则修正我构建了一个潮玩领域的自定义词典包含正向词可爱、上头、真香、绝绝子、治愈、入坑和负向词炒价、恶心、退了、翻车、失望再结合程度副词特别、太、真的、有点做加权调整。这种修正方案比纯用深度学习模型要稳定得多因为潮玩领域的语料积累还不够很多人也没有精力去微调一个BERT模型。但如果你有标注数据也可以考虑用一个小规模的文本分类模型比如用transformers库微调一个中文BERT效果会更好。代码上我实现了一个最简单的情感倾向判断函数def sentiment_pipeline(text): # Phase 1: 通用预训练模型打分 from snownlp import SnowNLP base_score SnowNLP(text).sentiments # 0~1 # Phase 2: 领域词典修正 pos_words [可爱, 上头, 真香, 绝绝子, 治愈, 入坑] neg_words [炒价, 恶心, 退了, 翻车, 失望, 智商税] pos_hit sum(1 for w in pos_words if w in text) neg_hit sum(1 for w in neg_words if w in text) # 综合得分基础分 领域词加权 final_score base_score * 0.7 min((pos_hit * 0.15) - (neg_hit * 0.15), 0.5) final_score max(0.0, min(1.0, final_score)) if final_score 0.6: return positive elif final_score 0.4: return negative else: return neutral跑完全量数据后我发现一个有意思的现象Labubu相关讨论中正面情感占比大约在61%负面约9%中性约30%。负面比例不算低但负面内容主要集中在对炒价行为和黄牛的抱怨上而不是对产品本身的否定。这说明大家的不满指向的是价格生态而不是IP本身这种“骂市场但不骂IP”的情绪结构恰恰是IP热度能持续的原因之一。3.2 主题建模从讨论里看出“火的来源”情感只能告诉我们“态度好不好”主题模型才能告诉我们“大家都在聊什么”。我用LDALatent Dirichlet Allocation对清洗后的文本做了主题聚类这个话题模型能把一堆文本自动归成几个主题组每个组由一组高频词表征。不用LDA的话你也可以用jieba分词加高频词统计但主题之间的占比关系很难结构化呈现所以我还是推荐LDA。调整LDA的主题数量是需要反复试的。我试了从4到12个主题最终确定7个主题时困惑度最低且业务可解释性最强。这7个主题可以归纳为主题编号主题关键词节选业务解释样本占比T1端盒、隐藏款、抽中、手感、补盒盲盒购买与抽盒攻略18%T2好可爱、上头、表情包、桌面颜值与情绪价值表达22%T3痛包、挂件、钥匙扣、改造周边搭配与二次创作15%T4出、收、换、价格、包邮二手交易与流通12%T5迪士尼、排队、限定、联动线下打卡与限定场景9%T6明星、同款、演唱会、机场明星效应与明星延伸内容8%T7泡泡玛特、股价、营销、热门商业与行业讨论6%看这个主题分布你就能理解Labubu为什么火了它的讨论并不集中在某一个点上而是同时在盲盒玩法、情绪表达、场景搭配、二手流通、线下活动、明星效应和商业话题七个方向扩散。这就是一个成熟的“社交货币型IP”的特征——它不是一个手办而是一个可以嵌入不同生活场景的符号。T2的高占比尤其值得注意也就是说有将近四分之一的人在讨论中表达的是“可爱”“上头”“表情包”等纯情绪反馈这其实是IP能获客的情感基础。3.3 时间趋势与破圈节点热度不是均匀涨的主题分布只能说明“聊什么”时间趋势才能回答“怎么火的”。我把所有数据按天聚合绘制了讨论量曲线并和关键事件做交叉比对。通常这种分析你会看到几个明显的脉冲式峰值每一个峰值背后都有一个传播动因。我整理了一下Labubu的数据能清楚看到三个大的跃升节点。第一波是产品系列走红与某个爆款系列的盲盒发售时间吻合讨论量出现第一次飙升第二波是某海外顶流艺人在公开场合多次佩戴Labubu周边出街直接引发大量粉丝跟风购买和晒图第三波是线下限定联动活动比如和大型主题乐园的联名区域开放带动了大量线下打卡内容产出。在数据上这三波分别对应了微博讨论量的突然抬升、抖音和快手等短视频平台内容的批量出现以及小红书打卡笔记的集中发布。这个“明星引爆线下承接内容平台扩散”的路径是很多潮流IP破圈的通用套路。如果你做的项目不是Labubu而是别的IP也可以用同样的方法去还原它的走红路径。这里我补充一个实操经验分析时间趋势时一定要把平台分开看。微博的讨论波峰来得最早通常是事件驱动小红书的波峰比微博晚三天到一周属于“事件后种草”抖音的波峰则和线下打卡以及话题挑战强相关。如果混在一起看总量曲线这些时间差会被抹平分析不出传播路径。4. 受众画像到底是谁在为Labubu花钱4.1 人群画像的分层性别、年龄、城市文本数据没有用户后台信息这决定了受众画像不能直接拿到精确的人口统计学数据。但我们可以通过文本特征和平台特性来推算。我的方法是对评论用户的昵称、头像、文本表达习惯以及互动行为做间接推断。先说性别。从文本特征来看小红书上与Labubu相关的讨论中女性用户的占比明显偏高。我不是直接看用户性别标签而是通过昵称中的女性化表达习惯、内容中常出现的“姐妹”“集美”等称呼、以及“痛包”“穿搭”“可爱”等话题标签来综合判断。综合三个平台的估算Labubu的讨论者中女性大约占七成左右这个比例和盲盒品类的整体受众结构是吻合的。再说年龄。从内容表达方式来看Labubu的核心讨论人群集中在18到30岁这个区间。判断依据包括“学生党”“上班族”等身份词、“期末周”“通勤”等场景词以及表情包和网络梗的使用密度。当然这个年龄段跨度并不小内部还可以细分。学生群体更多讨论“生活费”“攒钱抽盒”职场群体更多讨论“解压”“桌面搭子”这两种诉求对应的是完全不同的消费心理。城市分布方面由于我采集的数据里存在明显的本地生活场景词比如具体商圈名、线下活动地点我可以判断一线和新一线城市的密度最高。这符合潮玩品类的消费特点线下渠道铺得越密的城市讨论和购买热度自然越高。4.2 兴趣圈层的交叉分析Labubu不只是潮玩圈的事做受众分析时最忌把用户想象成一个同质群体。我用LDA主题结果和用户发帖内容做了用户级主题偏好关联把Labubu的关注者分成了几类交叉圈层。第一类是传统潮玩圈这些人原来是玩Molly、Dimoo的现在转向Labubu讨论内容围绕端盒、隐藏款和手感对IP的忠诚度高。第二类是娱乐追星圈这些人是因为喜欢的艺人同款才入坑的他们的讨论中经常提到明星名字和“同款”字样购买行为更倾向于跟风爆款款型。第三类是手帐和痛包圈她们本身有装饰、改造、搭配的创作习惯Labubu的挂件形态正好契合了这个需求。第四类是普通大众圈这些人原本不买盲盒但因为Labubu的表情包形象和社交平台的传播开始关注讨论偏向“好可爱”“想要”等浅层表达。这几个圈层的人数和商业价值是很不一样的。大众圈的量最大但购买转化率可能最低潮玩圈的绝对量不大但复购和收藏属性最强追星圈的购买决策来得又快又急但热度容易被明星动态左右痛包圈的创作属性强能把IP带进更广阔的日常场景里。理解这四类人群才算真正理解了Labubu的受众结构。4.3 消费力与二手溢价的信号分析受众画像的最后一块拼图是消费力信号这里我用的是价格数据。我采集了得物和闲鱼上Labubu相关商品的挂牌价并与官方发售价做了对比。数据直观地显示Labubu的二手市场存在明显的分层普通款溢价通常在0.8到1.5倍之间热门款在2到4倍之间个别隐藏款和限定款可以到5倍以上。这里需要注意一个操作细节闲鱼和得物的挂牌价不等于成交价很多卖家挂高价不一定能卖出去。所以要分析真实的溢价水平最好能采集到“想要”人数、浏览量和卖家信用等信号用这些指标来对挂牌价做加权修正。我在项目里给每条商品数据除了价格之外还带上了浏览量和想要数这两个字段这样就能区分“有价无市”和“真实流通”的款型。二手溢价和传播热度不是简单线性关系。我一个很有意思的发现是溢价最集中的并不是讨论量大、曝光高的主流款而是一些讨论度中等但颜值评价极高的特定款型。这说明真正驱动二手市场溢价的是收藏圈内部的审美共识而不是大众传播的热度。这个洞察单纯看小红书数据是得不到的必须把内容数据和交易数据放在一起才能看清。5. 数据可视化与结论输出让数据自己说话5.1 从数据到图表一套直接能用的可视化方案分析做完之后可视化是把结果落地成可读报告的关键一步。我在项目里用了两个主力工具一个是pyecharts适合做中文场景下的交互式图表另一个是matplotlib和seaborn适合做静态出版级图。如果你不想折腾前端可以只用pyecharts生成HTML浏览器里直接打开就能交互发布博客或者做汇报都够用。我做可视化的核心原则是“一图一结论”。情感分析是环形图和堆叠柱状图主题模型是词云和气泡图时间趋势是折线图加事件标注受众画像是雷达图。不要把太多信息堆在一张图里图表的价值是让结论更清晰不是炫技。from pyecharts.charts import Line, Bar from pyecharts import options as opts def plot_trend_by_platform(df, platform): 绘制单平台的讨论量时间趋势 subset df[df[platform] platform] daily subset.groupby(date).size().reset_index(namecount) line ( Line() .add_xaxis(daily[date].astype(str).tolist()) .add_yaxis(讨论量, daily[count].tolist(), is_smoothTrue) .set_global_opts( title_optsopts.TitleOpts(titlef{platform} Labubu讨论量趋势), tooltip_optsopts.TooltipOpts(triggeraxis), datazoom_opts[opts.DataZoomOpts()], ) ) return line # 调用示例 # line plot_trend_by_platform(df, xiaohongshu) # line.render(trend_xiaohongshu.html)如果你希望出一张静态汇总图我建议做一张四象限散点图横轴是各平台的讨论量纵轴是正面情感占比点大小代表平均互动量。这样一张图就能看出每个平台在Labubu传播中的角色差异。5.2 数据分析结论Labubu热度背后的数据证据从数据来看Labubu的火不是营销口号而是一套有数据支撑的系统性现象。四个维度的证据如下认知度上各平台相关内容量级已经达到头部IP水平讨论度上互动率远远高于普通潮玩盘点类内容情绪倾向上正面情感六成以上且负面集中于价格生态消费转化上多个渠道出现明显溢价和供不应求的现象。这些数据串起来回答了“为什么火”这个问题Labubu的设计形象天然适合做表情传播盲盒模式自带开箱的惊喜机制和成瘾性明星事件起到了破圈放大作用周边产品的可改造性延伸了使用场景再加渠道端的限量策略维持了稀缺性。这五个因素缺一不可。你单拿出任何一个都不足以支撑一个IP的热度但组合起来就形成了滚雪球效应。从情绪倾向上看正面讨论占比高的背后原因是“悦己消费”和“社交货币”两种心理叠加。很多人买Labubu不是为了收藏价值而是为了取悦自己或者融入社交圈层。不管是桌面上的摆件还是包上的挂件它在日常生活中持续提醒持有者“我有这个东西”这种持续的自我满足感是传统大娃玩具不具备的。6. 数据集与源码的完整说明6.1 数据集的文件目录与结构这个项目的所有产物我都做了归档整理数据集和源码的目录设计遵循“一张表一个主题”的原则方便按需取用。整个包的结构如下labubu_analysis/ ├── data/ │ ├── raw/ │ │ ├── xiaohongshu_notes.csv │ │ ├── xiaohongshu_comments.csv │ │ ├── weibo_posts.csv │ │ ├── douyin_videos_comments.csv │ │ └── second_market_prices.csv │ ├── cleaned/ │ │ ├── content_clean.csv │ │ └── price_clean.csv │ └── processed/ │ ├── sentiment_result.csv │ ├── topic_result.csv │ └── audience_features.csv ├── code/ │ ├── 01_crawler/ │ │ ├── base_crawler.py │ │ ├── xiaohongshu_crawler.py │ │ ├── weibo_crawler.py │ │ ├── douyin_crawler.py │ │ └── second_market_crawler.py │ ├── 02_clean/ │ │ └── data_cleaner.py │ ├── 03_analysis/ │ │ ├── sentiment_analysis.py │ │ ├── topic_model.py │ │ └── audience_profile.py │ └── 04_visualization/ │ └── charts.py └── README.md每个CSV文件的字段说明都写在README里。比如小红书笔记那一份有笔记ID、标题、正文、点赞数、收藏数、评论数、发布时间、话题标签等字段评论表有评论ID、笔记ID、用户名、评论文本、点赞数、发布时间等。二手市场价格表包含了商品标题、平台、挂牌价、浏览量、想要数、卖家信用等级等字段这是我分析溢价的核心依据。数据集的清洗版本已经处理掉了明显的重复和噪声数据所有时间字段统一成了ISO格式适用人群可以直接跑分析代码不用再面对一堆脏数据。如果你只想复现结论直接用cleaned和processed里的文件就够了。6.2 源码模块设计说明与复现步骤源码按数据流水线分成四个模块采集、清洗、分析、可视化模块之间通过标准CSV文件衔接不搞复杂的数据库依赖。这样设计的目的是让每个环节都可以独立运行和单独调试排查问题的时候不用从入口到出口全部跑一遍。复现这个项目的步骤很清楚。第一步先确认Python环境是3.9以上版本安装依赖包# 建议用虚拟环境 python -m venv venv source venv/bin/activate # Windows下是 venv\Scripts\activate pip install pandas numpy jieba snownlp scikit-learn pyecharts requests scrapy第二步如果你想直接复现分析结果先不用跑采集模块直接读取data/cleaned/或data/processed/下的文件运行03_analysis里的脚本就能得到情感分析结果、主题聚类和受众画像。第三步如果你想从零开始采集新数据那就先配置好01_crawler每个平台脚本里的关键词和时间范围参数按顺序执行采集脚本然后跑清洗脚本生成新的cleaned数据最后再进入分析环节。这里我要给一个实用建议第一步先不要碰采集先把分析代码跑通。因为分析代码的输出结果可视化做得比较直观你能尽早确认数据字段是否对齐、结论是否稳定。等分析流程稳了再回头补采集能从源头上避开“拿着不好使的数据硬分析”的尴尬。我一开始就是反着来的结果采集脚本跑了三天分析时才发现字段映射错了又返工重新清洗浪费了不少时间。6.3 复现时最容易踩的三个坑第一个坑是中文编码问题。CSV文件默认用UTF-8编码但Windows下的Excel打开有时候会乱码。我最后的解决方案是在写入CSV时指定encodingutf-8-sig而不是utf-8这样Excel也能正常打开。如果你读取时发现乱码先检查读取代码里的encoding参数八成是这里的问题。第二个坑是时间字段的类型混乱。不同平台返回的时间格式五花八门有微信时间戳形式的有2024-01-01 12:30:00格式的还有“3小时前”这种相对时间。清洗时我写了统一的解析函数先把所有格式转成datetime对象再统一输出成ISO字符串。相对时间还要结合采集时间来计算这一步容易漏。第三个坑是评论数据的缺失值处理。很多采集到的评论对象没有点赞数或者没有用户名称这很正常不要随便把整行删掉。我在清洗时是按字段单独处理的缺失的点赞数标记为0缺失的用户名标记为unknown缺失的评论文本直接删除因为没有任何文本内容的评论对情感分析毫无意义。这样既保留了数据量又不至于让缺失值污染分析结果。7. 延伸从Labubu看潮玩IP的数据分析通用方法论7.1 一套可以迁移到其他IP的分析框架做完了Labubu这个项目我最大的感受是这套方法不是为Labubu定制的而是可以迁移到任何IP分析上的一套通用框架。你只需要换掉关键词表、调整领域情感词典、重新跑一遍数据管道就能得到另一个IP的受众画像和舆情报告。我目前验证过可迁移的场景至少包括这些新发布盲盒系列的初期舆情监测、不同IP之间的受众重合度分析、二手市场价格与新品发布之间的联动研究、线下活动对线上讨论量的拉动效果评估。这套框架的底层逻辑是“公开数据交叉验证多维度建模”这个逻辑在任何行业都成立只不过在潮玩领域特别合适因为这个品类的线上讨论和线下交易都高度活跃数据密度足够支撑分析。7.2 图片数据与YOLO的拓展玩法文本数据之外还有一个值得尝试的方向是图片数据。Labubu的火爆明显带火了线下打卡和晒图行为这些图片数据是文本舆情分析覆盖不到的。如果你想把分析做得更深一层可以考虑用目标检测模型对用户晒图里的Labubu进行识别统计不同款型的出镜频率和场景分布。这个思路具体来说就是在小红书上批量采集带Labubu的图片用目标检测模型比如YOLOv8训练一个Labubu款型识别器把图片分成不同系列和款型再和文本数据关联。我之前试过用YOLOv8训练一个简单的Labubu检测器数据量不用太大标注几百张图片就能达到可用的效果。这不是一个简单的小任务标注工作量不小需要筛选数据、画框、训练、调参但如果你正好在研究潮玩IP的传播这个方向拿到数据的颗粒度会细腻很多。不过要提醒一点图片识别和文本分析要用同样的关键词体系去约束数据来源否则你训练出来的模型识别到的可能是别的长相接近的玩偶。另外标注数据时一定要把不同款型区分开比如普通款和限定款在图像特征上如果不仔细标注模型很容易混淆。我在项目里已经预留了这个拓展方向的数据接口processed/下的数据表里有一条image_flag字段如果你后续要做图片分析直接在这个基础上扩展就行。说回Labubu本身。这个项目做下来我最大的感慨是一个IP能火不是某个单点做对了而是一整套传播机制在同时起作用。数据分析能做的是把这套机制拆开让你看到每个环节的数据证据。做完这个项目之后我再看朋友圈里的Labubu晒图已经不会只感叹“好火”了而是会想这张图背后又踩中了哪个圈层、哪类情绪、哪个传播节点。这就是数据思维带给一个人的变化。本文还有配套的精品资源点击获取