简介面向需要开展社交媒体舆情分析、市场调研与情感计算研究的数据分析师、Python开发人员及高校学生这套方案演示了如何基于百度云API与Python完成微博评论情感偏向分析。压缩包共15个文件核心包括3个Python脚本、1个CSV微博评论数据、2个Excel表格另有多个XML项目配置等辅助文件整体约421KB目录清晰便于直接导入IDE运行和二次开发已有203人学习下载。脚本功能划分明确apiGetSheet.py调用百度API将评论文本转换为情感得分sheetGetValue.py对原始得分进行标准化最终判定评论的积极或消极倾向CSV文件提供可参考的微博评论样本Excel表格可用于整理与展示结果。通过该资源读者可掌握从数据准备、情感计算到结果解读的完整流程并能迁移到品牌舆情监测、公共事件舆论研判等场景。1. 微博评论情感偏向分析用百度云API给海量评论做情绪体检凌晨两点运营同学还在逐条翻产品微博下的评论准备手工标注情感偏向。几百条评论里有人夸新功能顺手有人骂改版后找不到入口还有人只发一句「哈哈哈哈」——人工标情绪的活儿不仅熬人尺度还前后打架。这个基于Python的微博评论情感偏向分析项目就是来解决这个问题的把微博评论数据抓下来清洗掉URL、昵称这些干扰项再调用百度云NLP情感分析API给每条评论打上正向、负向、中性标签最后按账号和时间聚合输出一份能指导运营决策的情感偏向报表。它适合两类人一是刚接触NLP但不想从零训模型的开发者想快速把情感计算落地到真实业务二是攒了大量用户反馈、想用程序替代人工读评的运营同学。整个项目是能跑通的完整闭环不是单函数调用的demo你可以直接改参数套到自己关注的账号上。2. 技术选型与架构拆解百度云API为什么是最省事的方案2.1 技术栈全景与选型理由先说结论这个项目不是从零训练情感模型而是站在百度云API肩膀上做应用层。自己训练一套中文情感分类模型听起来很有技术含量真正开工就会撞上三座大山先要几万条标注好的中文短文本再要一台带GPU的机器最后还要在BERT、RoBERTa这些预训练模型里选型调参。光是准备干净标注数据那一步就能拖掉两周。对「我就想知道用户对这次改版是夸还是骂」这种诉求属于杀鸡用牛刀。所以这里的技术选型以API为中心。核心栈是Python 3.8搭配requests调用百度云API、selenium驱动浏览器抓评论区、pandas做清洗聚合导出。各模块分工如下模块选型承担职责采集selenium Chrome处理评论区动态加载模拟滚动触发懒加载清洗re pandas去除URL、昵称、超话标签过滤碎文本分析百度云NLP情感倾向分析接口对每条评论输出负向/中性/正向判定与置信度聚合pandas csv按情感分桶统计输出占比报告有人会问SnowNLP不是开箱即用吗SnowNLP跑中文短文本确实方便但它的词典偏向电商评论微博这种网络语言密集的场景准确率会明显往下掉开源预训练模型效果好部署成本又上来了。百度云API的定位是「不完美但稳定」常规评论准确率足够支撑运营决策免费额度对个人项目也够用。这套架构的取舍核心就一句话把精力花在采集和清洗上情感计算交给专业API黑匣子就黑匣子能出结果就行。2.2 整体架构与评论数据流转路径整个项目分成四层数据流是单向的管道结构采集层 → 清洗层 → 分析层 → 聚合层。采集层用selenium打开目标微博页等评论区渲染完成后滚动触发懒加载把评论原始文本和发布账号抓进列表清洗层用正则剥掉URL、昵称、超话标签、中括号表情去掉重复和过短的碎片分析层逐条调用百度云情感接口拿回sentiment整数标签和两类概率聚合层用pandas做分桶统计输出占比和明细两份CSV。weibo_sentiment/ ├── crawler.py # 评论采集基于selenium cookie登录态 ├── cleaner.py # 文本清洗正则去噪 去重 ├── sentiment.py # 百度云API封装token换取 情感计算 ├── aggregate.py # pandas聚合统计输出CSV ├── config.py # 微博链接、API Key、滚动次数等配置 └── main.py # 编排流程采集→清洗→分析→聚合我一般会把main.py写成只有四行调用方便命令行传参。这种分层的习惯来自之前一个爬虫项目最开始所有逻辑堆在一个文件里改一个正则就要全局翻找拆成模块后每个文件职责单一调试时直接单测某一层就好。如果你的评论来源不限于微博后面把crawler.py替换成别的平台采集器其余三层完全不用动。2.3 百度云API接入要点鉴权、限额与返回格式百度云NLP的鉴权走OAuth 2.0的client_credentials模式。先去控制台创建应用拿到API Key和Secret Key再用这两个key换access_token后续每次请求都带上。token有效期通常是30天代码里要做缓存不能每次启动都重新换。换token的请求长这样curl -i -X POST https://aip.baidubce.com/oauth/2.0/token?grant_typeclient_credentialsclient_id你的APIKeyclient_secret你的SecretKey返回的JSON里有两个关键字段access_token和expires_inexpires_in单位是秒。情感计算接口是POST /rpc/2.0/nlp/v1/sentiment_classify请求体是{text: 今天这改版太顺手了}。返回的items[0]带四个关键字段sentiment0负向、1中性、2正向、confidence置信度、positive_prob、negative_prob。注意接口对单条文本长度有限制超长要截断或分段这是高频报错点。批量调用前一定要先看配额。不同注册渠道的额度不一样控制台里能查到当前QPS和免费次数常见错误码先记下错误码含义处理方式282004QPS超限降低并发调用间隔加sleep282005文本长度超限截断到接口支持长度或分段调用216015token失效重新换取token并刷新缓存17日配额耗尽换账号或等次日额度恢复网上教程给的sleep值只能参考跑之前先用小样本实测一下自己的真实上限心里才有底。接口的返回结构建议用一条评论先试通打印出来看一眼再写批量逻辑省得后面定位问题浪费时间。3. 核心模块实现评论采集、文本清洗与情感计算的完整链路3.1 评论采集如何稳定拿到微博评论数据微博评论区是动态加载的直接requests拿到的HTML里没有评论内容必须靠浏览器渲染。常见做法是selenium驱动Chrome打开目标微博链接等首屏评论渲染出来然后反复滚动触发懒加载最后把评论区节点文本摘出来。滚动速度要控制否则等不到新评论加载就抓下一轮会漏数据或者大量重复。# crawler.py 评论采集核心 import time from selenium import webdriver from selenium.webdriver.common.by import By def fetch_comments(url, max_scroll5, wait_sec2): browser webdriver.Chrome() browser.get(url) time.sleep(3) # 等首屏评论渲染 comments, last_count [], 0 for _ in range(max_scroll): browser.execute_script(window.scrollTo(0, document.body.scrollHeight)) time.sleep(wait_sec) items browser.find_elements(By.CSS_SELECTOR, div[class*comment]) texts [el.text.strip() for el in items] texts [t for t in texts if t and t not in comments] comments.extend(texts) if len(comments) last_count: # 数量没变说明到底了 break last_count len(comments) browser.quit() return comments这段代码有两个关键参数。max_scroll是最大滚动轮数兜底防止评论区过长导致死循环wait_sec是每轮滚动的等待时间默认2秒网络慢或评论区图片多的时候调到3秒。CSS选择器div[class*comment]是通用写法不同版本的微博页面结构不一样实际调试时要用浏览器开发者工具确认评论节点的真实class名这个选择器是最容易翻车的地方。另外不登录也能抓但很容易触发风控。我一般会先手动登录一次用browser.get_cookies()把cookie存成json文件selenium启动后先访问一次微博主页种下cookie再跳转目标页。这样一套下来评论区基本能稳定展开。3.2 文本清洗与去重微博评论原文噪声很重有「回复昵称:」的前缀有超话标签#xxx#有一堆URL和「[哈哈]」这类表情符号这些如果不清理会直接影响情感判断。比如「回复小明:你懂个屁」保留前缀会让整句话的语义权重偏掉而「这波操作666 https://t.cn/xxx」里的URL更是让接口难以判断。清洗代码用正则逐项剥# cleaner.py 文本清洗 import re def clean_comment(raw): if not raw or not isinstance(raw, str): return None text raw.replace(回复, ) # 去掉回复前缀 text re.sub(rhttps?://\S, , text) # 去URL text re.sub(r[\u4e00-\u9fa5\w], , text) # 去昵称 text re.sub(r#.*?#, , text) # 去超话标签 text re.sub(r\[[^\]]{1,8}\], , text) # 去[哈哈]这类表情 text text.replace(\n, ).strip() if len(text) 2: return None return text每条正则都有讲究。https?://\S能吞掉带参数的短链昵称的正则用了中文加\w的字符集兼容中文和字母数字昵称#.*?#是非贪婪匹配避免把两个标签中间的话也吃掉[哈哈]这类表情用[[^]]{1,8}]匹配一到八个字符的中括号太长就不是表情了不用删。清洗后用set去重再把长度小于2的碎片丢掉。有一点要注意re.sub只处理字符串遇到极少数非法代理对字符会抛错所以clean函数开头要判断类型调用时也可以包一层try-except。另外「哈哈哈哈」这种纯语气词清洗后长度够但语义为空百度接口还能判成正向这不算bug某些运营场景反而需要这种「无意义好评」独立统计。3.3 情感计算封装与结果聚合情感计算模块是整个项目的核心也是复用价值最高的部分。token换取和情感判定封装成两个函数token做了本地缓存避免重复换取# sentiment.py 百度云API封装 import os, json, time import requests TOKEN_URL https://aip.baidubce.com/oauth/2.0/token API_URL https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify def get_access_token(api_key, secret_key, cache_filetoken.json): if os.path.exists(cache_file): with open(cache_file, encodingutf-8) as f: data json.load(f) if data.get(expires_at, 0) time.time(): return data[access_token] resp requests.post(TOKEN_URL, params{ grant_type: client_credentials, client_id: api_key, client_secret: secret_key, }).json() token { access_token: resp[access_token], expires_at: time.time() resp[expires_in] - 600, } with open(cache_file, w, encodingutf-8) as f: json.dump(token, f) return token[access_token]缓存有效期减了600秒是为了避免token在批量跑到一半时刚好过期。百度返回的expires_in单位是秒默认一个月左右减十分钟是安全缓冲因为一次批量任务可能挂很久。def sentiment_score(text, token): payload {text: text} headers {Content-Type: application/json} url f{API_URL}?access_token{token} res requests.post(url, jsonpayload, headersheaders).json() if items not in res: raise RuntimeError(fAPI错误: {res.get(error_code)} {res.get(error_msg)}) item res[items][0] return { sentiment: item[sentiment], # 0负向 1中性 2正向 confidence: item[confidence], # 置信度0~1 positive_prob: item[positive_prob], # 正向概率 negative_prob: item[negative_prob], # 负向概率 }sentiment_score返回dict而不是裸数字这样聚合层能同时拿到置信度和概率。如果响应里没有items说明调用失败一定要把error_code和error_msg抛出来而不是静默吞掉。批量调用时每条之间加time.sleep(1)把QPS压到1以下基本能绕开免费额度的限制def batch_analyze(texts, token, delay1): result [] for t in texts: try: score sentiment_score(t, token) score[text] t result.append(score) except RuntimeError as e: print(f跳过 {t[:20]}... 原因: {e}) time.sleep(delay) # 限速避免打满QPS return result聚合部分用pandas几行搞定# aggregate.py 情感分桶统计 import pandas as pd def aggregate(records, output_csvresult.csv): df pd.DataFrame(records) df[label] df[sentiment].map({0: 负向, 1: 中性, 2: 正向}) stats df.groupby(label).size().reset_index(namecount) stats[占比%] (stats[count] / len(df) * 100).round(1) df.to_csv(output_csv, indexFalse, encodingutf-8-sig) return statsgroupby(label)是按情感标签分桶取size得到条数再除以总数算占比。写CSV时特意用utf-8-sig编码这样Excel直接打开不会乱码这是Windows环境下的老问题。置信度低于0.5的记录建议另存一个复核清单这些是API自己也拿不准的留给人来判断更稳妥。4. 跑通实战从环境配置到产出第一份情感报告4.1 环境准备与依赖安装项目对Python版本要求不高3.8以上就够。依赖只有三个核心包一条命令装完pip install requests pandas selenium装完先验证selenium能正常拉起浏览器再做别的。这里最常见的翻车是Chrome和chromedriver版本不匹配——主版本号不一致的话selenium一定报SessionNotCreatedException。用一条命令自检python -c from selenium import webdriver; webdriver.Chrome(); print(ok)能打印ok就说明环境没问题。如果报错去chromedriver官网下和本机Chrome主版本号一致的驱动放到PATH里或项目bin目录。实在不想折腾驱动版本可以把selenium换成playwrightplaywright会自动匹配浏览器版本省掉这一步。4.2 百度智能云控制台配置与token获取情感分析能力在百度智能云里叫「情感倾向分析」属于自然语言处理NLP产品线。开通步骤是登录百度智能云控制台找到自然语言处理服务开通情感倾向分析创建应用在应用详情里拿到API Key和Secret Key把这俩key填进config.py# config.py 全局配置 WEIBO_URL https://weibo.com/某账号某条微博 # 替换成目标微博链接 API_KEY 你的APIKey SECRET_KEY 你的SecretKey MAX_SCROLL 5 # 评论区滚动轮数 OUTPUT_CSV result.csv拿到key之后别急着跑全流程先单独验证token能不能换到手。百度云接口的错误信息很直白最常见的是214001鉴权参数错误基本就是API Key或Secret Key复制多了空格或换了行。确认token能拿到再往下走。4.3 运行主流程与结果解读一键跑的入口是main.py它按顺序调用四个模块python main.py正常跑完终端会打印一份分桶统计 情感偏向统计 负向 63条 31.5% 中性 41条 20.5% 正向 96条 48.0% 总计 200条解读时要先看占比再看置信度。48%正向看起来不错但如果这96条里有相当一部分confidence低于0.5说明API对这批评论的判定不太有把握需要人工复核清单兜底。另一个技巧是看负面评论里出现的高频词负向样本单独导出来用jieba做一次词频就能看出来是「卡顿」「贵」「难用」还是「广告」这个信息比占比数字更能指导决策。跑完的明细CSV里每条评论都带sentiment、confidence和概率方便你按任意字段二次切片。5. 避坑与排查微博反爬、API限额、文本编码的五个真实问题这五个问题都是复现时容易撞上的每个按现象、原因、解决三个维度记下来排查时直接对号入座。5.1 批量跑到一半报错282004程序直接中断现象循环调用情感接口跑到第30条左右开始抛RuntimeError错误码282004。原因百度云免费额度QPS很低循环里requests.post没有做任何限速瞬间把配额打满。控制台的默认值和网上教程不一致不同注册渠道配额也不同。解决每次调用之间加time.sleep(1)把请求频率压到1QPS以内如果错误码仍然出现做指数退避——第一次重试等2秒第二次4秒最多重试三次。这里有个玄学点有些账号sleep(0.5)就够有些必须1秒以上跑之前先用20条样本实测自己的真实上限别照抄别人的参数。5.2 selenium打开微博评论区抓回来是空的现象浏览器能打开微博页面但find_elements拿到的评论列表为空或者只有首屏几条。原因没有登录态或登录态已失效微博对未登录访客的评论区做了降级限制另一种是chromedriver启动特征被识别触发了反爬拦截。解决手动打开Chrome登录微博一次用selenium的get_cookies把cookie存成json文件后续每次启动先访问一次微博主页种下cookie再跳转目标页cookies browser.get_cookies() with open(weibo_cookies.json, w, encodingutf-8) as f: json.dump(cookies, f)同时给ChromeOptions加上disable-blink-featuresAutomationControlled参数降低被识别概率。如果还是被拦就把采集频率降下来抓完一轮歇几分钟再抓下一轮。5.3 写CSV时抛UnicodeEncodeErrorExcel打开还是乱码现象结果文件写一半崩掉报错指向某条评论里一个特殊符号换编码写进去后Excel打开又显示乱码。原因微博文本里有emoji和生僻字Windows下pandas默认编码是gbk写这些字符直接抛异常Excel用默认ANSI编码读UTF-8文件也会乱。解决写入CSV时显式指定encodingutf-8-sig带BOM的utf-8是Excel能正确识别的格式清洗阶段对非法代理对字符做过滤用errorsignore兜底。这是Windows跑数据项目的老问题Linux环境反而很少遇到跨环境跑的人容易忽略。5.4 access_token过期批量任务跑到一半全废现象前一天生成的token第二天继续批量跑跑到一半报216015 token失效已分析的几百条结果全部作废。原因access_token有效期30天但token是缓存在本地的如果缓存文件被清理或者脚本跑一整天就可能在一个超长批量任务中途过期。还有一种情况是多个脚本共用同一个缓存文件先后写入把token覆盖了。解决token落盘缓存并把expires_in转成绝对过期时间存进去每次启动先判断是否在十分钟内过期快过期就自动重新换取批量任务拆成小批次跑每批几百条跑完存一份中间结果即使某批挂了也能从断点续跑。判断逻辑在sentiment.py的get_access_token里已有改配置时注意别把缓存文件路径换走就行。5.5 滚动太快评论区大量重复评论现象抓下来500条用set去重后只剩260条重复率接近一半。原因滚动速度比懒加载快页面还没加载出新评论脚本就执行了下一轮滚动同一批评论被反复抓到。解决每轮滚动后对比评论总数和上一轮相同就breakcrawler.py里已经有这个判断另外在清洗层做一次内容hash去重用文本本身的hash作为主键从源头杜绝重复入库。这样即使采集层重复清洗层也能兜住。6. 二次开发路线从情感偏向报表升级成舆情预警和可视化看板项目跑通后最值得做的三个改造方向是时间序列、预警、可视化改造成本都不高。采集层多存一个发布时间字段聚合时按天分桶正向和负向占比就能画成走势线一眼看出某次运营活动上线后口碑是涨是跌。预警功能更简单聚合结果出来后加一个if判断负向占比连续两天超过40%就调企业微信机器人接口发一条告警二十行代码的事。展示层把CSV换成本地HTMLpandas的to_html先顶着用数据量大了再迁移到数据库。任何改动跑完都要做一轮人工抽检随机抽100条评论手动标正负和API结果比对一致率。实践里最常见的两类翻车一类是网络梗「YYDS」「绝绝子」被判成中性另一类是反讽句「太棒了我再也不会买第二次」被判成正向。这两类属于模型能力边界靠调参解决不了常规做法是维护一个自定义修正词典把高频误判短语映射到正确情感再不行就把这类评论单独捞出来人工处理。从那以后我每次跑这种带第三方API的项目都会先写一个10条样本的冒烟脚本确认token能换、清洗不崩、API返回结构符合预期再放开批量跑。这十分钟的检查帮我避掉过无数个半夜挂机的翻车现场。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/15 13:53:10 · 阅读 1.2k 微博评论情感分析实战：Python+百度云API实现评论情绪体检
简介面向需要开展社交媒体舆情分析、市场调研与情感计算研究的数据分析师、Python开发人员及高校学生这套方案演示了如何基于百度云API与Python完成微博评论情感偏向分析。压缩包共15个文件核心包括3个Python脚本、1个CSV微博评论数据、2个Excel表格另有多个XML项目配置等辅助文件整体约421KB目录清晰便于直接导入IDE运行和二次开发已有203人学习下载。脚本功能划分明确apiGetSheet.py调用百度API将评论文本转换为情感得分sheetGetValue.py对原始得分进行标准化最终判定评论的积极或消极倾向CSV文件提供可参考的微博评论样本Excel表格可用于整理与展示结果。通过该资源读者可掌握从数据准备、情感计算到结果解读的完整流程并能迁移到品牌舆情监测、公共事件舆论研判等场景。1. 微博评论情感偏向分析用百度云API给海量评论做情绪体检凌晨两点运营同学还在逐条翻产品微博下的评论准备手工标注情感偏向。几百条评论里有人夸新功能顺手有人骂改版后找不到入口还有人只发一句「哈哈哈哈」——人工标情绪的活儿不仅熬人尺度还前后打架。这个基于Python的微博评论情感偏向分析项目就是来解决这个问题的把微博评论数据抓下来清洗掉URL、昵称这些干扰项再调用百度云NLP情感分析API给每条评论打上正向、负向、中性标签最后按账号和时间聚合输出一份能指导运营决策的情感偏向报表。它适合两类人一是刚接触NLP但不想从零训模型的开发者想快速把情感计算落地到真实业务二是攒了大量用户反馈、想用程序替代人工读评的运营同学。整个项目是能跑通的完整闭环不是单函数调用的demo你可以直接改参数套到自己关注的账号上。2. 技术选型与架构拆解百度云API为什么是最省事的方案2.1 技术栈全景与选型理由先说结论这个项目不是从零训练情感模型而是站在百度云API肩膀上做应用层。自己训练一套中文情感分类模型听起来很有技术含量真正开工就会撞上三座大山先要几万条标注好的中文短文本再要一台带GPU的机器最后还要在BERT、RoBERTa这些预训练模型里选型调参。光是准备干净标注数据那一步就能拖掉两周。对「我就想知道用户对这次改版是夸还是骂」这种诉求属于杀鸡用牛刀。所以这里的技术选型以API为中心。核心栈是Python 3.8搭配requests调用百度云API、selenium驱动浏览器抓评论区、pandas做清洗聚合导出。各模块分工如下模块选型承担职责采集selenium Chrome处理评论区动态加载模拟滚动触发懒加载清洗re pandas去除URL、昵称、超话标签过滤碎文本分析百度云NLP情感倾向分析接口对每条评论输出负向/中性/正向判定与置信度聚合pandas csv按情感分桶统计输出占比报告有人会问SnowNLP不是开箱即用吗SnowNLP跑中文短文本确实方便但它的词典偏向电商评论微博这种网络语言密集的场景准确率会明显往下掉开源预训练模型效果好部署成本又上来了。百度云API的定位是「不完美但稳定」常规评论准确率足够支撑运营决策免费额度对个人项目也够用。这套架构的取舍核心就一句话把精力花在采集和清洗上情感计算交给专业API黑匣子就黑匣子能出结果就行。2.2 整体架构与评论数据流转路径整个项目分成四层数据流是单向的管道结构采集层 → 清洗层 → 分析层 → 聚合层。采集层用selenium打开目标微博页等评论区渲染完成后滚动触发懒加载把评论原始文本和发布账号抓进列表清洗层用正则剥掉URL、昵称、超话标签、中括号表情去掉重复和过短的碎片分析层逐条调用百度云情感接口拿回sentiment整数标签和两类概率聚合层用pandas做分桶统计输出占比和明细两份CSV。weibo_sentiment/ ├── crawler.py # 评论采集基于selenium cookie登录态 ├── cleaner.py # 文本清洗正则去噪 去重 ├── sentiment.py # 百度云API封装token换取 情感计算 ├── aggregate.py # pandas聚合统计输出CSV ├── config.py # 微博链接、API Key、滚动次数等配置 └── main.py # 编排流程采集→清洗→分析→聚合我一般会把main.py写成只有四行调用方便命令行传参。这种分层的习惯来自之前一个爬虫项目最开始所有逻辑堆在一个文件里改一个正则就要全局翻找拆成模块后每个文件职责单一调试时直接单测某一层就好。如果你的评论来源不限于微博后面把crawler.py替换成别的平台采集器其余三层完全不用动。2.3 百度云API接入要点鉴权、限额与返回格式百度云NLP的鉴权走OAuth 2.0的client_credentials模式。先去控制台创建应用拿到API Key和Secret Key再用这两个key换access_token后续每次请求都带上。token有效期通常是30天代码里要做缓存不能每次启动都重新换。换token的请求长这样curl -i -X POST https://aip.baidubce.com/oauth/2.0/token?grant_typeclient_credentialsclient_id你的APIKeyclient_secret你的SecretKey返回的JSON里有两个关键字段access_token和expires_inexpires_in单位是秒。情感计算接口是POST /rpc/2.0/nlp/v1/sentiment_classify请求体是{text: 今天这改版太顺手了}。返回的items[0]带四个关键字段sentiment0负向、1中性、2正向、confidence置信度、positive_prob、negative_prob。注意接口对单条文本长度有限制超长要截断或分段这是高频报错点。批量调用前一定要先看配额。不同注册渠道的额度不一样控制台里能查到当前QPS和免费次数常见错误码先记下错误码含义处理方式282004QPS超限降低并发调用间隔加sleep282005文本长度超限截断到接口支持长度或分段调用216015token失效重新换取token并刷新缓存17日配额耗尽换账号或等次日额度恢复网上教程给的sleep值只能参考跑之前先用小样本实测一下自己的真实上限心里才有底。接口的返回结构建议用一条评论先试通打印出来看一眼再写批量逻辑省得后面定位问题浪费时间。3. 核心模块实现评论采集、文本清洗与情感计算的完整链路3.1 评论采集如何稳定拿到微博评论数据微博评论区是动态加载的直接requests拿到的HTML里没有评论内容必须靠浏览器渲染。常见做法是selenium驱动Chrome打开目标微博链接等首屏评论渲染出来然后反复滚动触发懒加载最后把评论区节点文本摘出来。滚动速度要控制否则等不到新评论加载就抓下一轮会漏数据或者大量重复。# crawler.py 评论采集核心 import time from selenium import webdriver from selenium.webdriver.common.by import By def fetch_comments(url, max_scroll5, wait_sec2): browser webdriver.Chrome() browser.get(url) time.sleep(3) # 等首屏评论渲染 comments, last_count [], 0 for _ in range(max_scroll): browser.execute_script(window.scrollTo(0, document.body.scrollHeight)) time.sleep(wait_sec) items browser.find_elements(By.CSS_SELECTOR, div[class*comment]) texts [el.text.strip() for el in items] texts [t for t in texts if t and t not in comments] comments.extend(texts) if len(comments) last_count: # 数量没变说明到底了 break last_count len(comments) browser.quit() return comments这段代码有两个关键参数。max_scroll是最大滚动轮数兜底防止评论区过长导致死循环wait_sec是每轮滚动的等待时间默认2秒网络慢或评论区图片多的时候调到3秒。CSS选择器div[class*comment]是通用写法不同版本的微博页面结构不一样实际调试时要用浏览器开发者工具确认评论节点的真实class名这个选择器是最容易翻车的地方。另外不登录也能抓但很容易触发风控。我一般会先手动登录一次用browser.get_cookies()把cookie存成json文件selenium启动后先访问一次微博主页种下cookie再跳转目标页。这样一套下来评论区基本能稳定展开。3.2 文本清洗与去重微博评论原文噪声很重有「回复昵称:」的前缀有超话标签#xxx#有一堆URL和「[哈哈]」这类表情符号这些如果不清理会直接影响情感判断。比如「回复小明:你懂个屁」保留前缀会让整句话的语义权重偏掉而「这波操作666 https://t.cn/xxx」里的URL更是让接口难以判断。清洗代码用正则逐项剥# cleaner.py 文本清洗 import re def clean_comment(raw): if not raw or not isinstance(raw, str): return None text raw.replace(回复, ) # 去掉回复前缀 text re.sub(rhttps?://\S, , text) # 去URL text re.sub(r[\u4e00-\u9fa5\w], , text) # 去昵称 text re.sub(r#.*?#, , text) # 去超话标签 text re.sub(r\[[^\]]{1,8}\], , text) # 去[哈哈]这类表情 text text.replace(\n, ).strip() if len(text) 2: return None return text每条正则都有讲究。https?://\S能吞掉带参数的短链昵称的正则用了中文加\w的字符集兼容中文和字母数字昵称#.*?#是非贪婪匹配避免把两个标签中间的话也吃掉[哈哈]这类表情用[[^]]{1,8}]匹配一到八个字符的中括号太长就不是表情了不用删。清洗后用set去重再把长度小于2的碎片丢掉。有一点要注意re.sub只处理字符串遇到极少数非法代理对字符会抛错所以clean函数开头要判断类型调用时也可以包一层try-except。另外「哈哈哈哈」这种纯语气词清洗后长度够但语义为空百度接口还能判成正向这不算bug某些运营场景反而需要这种「无意义好评」独立统计。3.3 情感计算封装与结果聚合情感计算模块是整个项目的核心也是复用价值最高的部分。token换取和情感判定封装成两个函数token做了本地缓存避免重复换取# sentiment.py 百度云API封装 import os, json, time import requests TOKEN_URL https://aip.baidubce.com/oauth/2.0/token API_URL https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify def get_access_token(api_key, secret_key, cache_filetoken.json): if os.path.exists(cache_file): with open(cache_file, encodingutf-8) as f: data json.load(f) if data.get(expires_at, 0) time.time(): return data[access_token] resp requests.post(TOKEN_URL, params{ grant_type: client_credentials, client_id: api_key, client_secret: secret_key, }).json() token { access_token: resp[access_token], expires_at: time.time() resp[expires_in] - 600, } with open(cache_file, w, encodingutf-8) as f: json.dump(token, f) return token[access_token]缓存有效期减了600秒是为了避免token在批量跑到一半时刚好过期。百度返回的expires_in单位是秒默认一个月左右减十分钟是安全缓冲因为一次批量任务可能挂很久。def sentiment_score(text, token): payload {text: text} headers {Content-Type: application/json} url f{API_URL}?access_token{token} res requests.post(url, jsonpayload, headersheaders).json() if items not in res: raise RuntimeError(fAPI错误: {res.get(error_code)} {res.get(error_msg)}) item res[items][0] return { sentiment: item[sentiment], # 0负向 1中性 2正向 confidence: item[confidence], # 置信度0~1 positive_prob: item[positive_prob], # 正向概率 negative_prob: item[negative_prob], # 负向概率 }sentiment_score返回dict而不是裸数字这样聚合层能同时拿到置信度和概率。如果响应里没有items说明调用失败一定要把error_code和error_msg抛出来而不是静默吞掉。批量调用时每条之间加time.sleep(1)把QPS压到1以下基本能绕开免费额度的限制def batch_analyze(texts, token, delay1): result [] for t in texts: try: score sentiment_score(t, token) score[text] t result.append(score) except RuntimeError as e: print(f跳过 {t[:20]}... 原因: {e}) time.sleep(delay) # 限速避免打满QPS return result聚合部分用pandas几行搞定# aggregate.py 情感分桶统计 import pandas as pd def aggregate(records, output_csvresult.csv): df pd.DataFrame(records) df[label] df[sentiment].map({0: 负向, 1: 中性, 2: 正向}) stats df.groupby(label).size().reset_index(namecount) stats[占比%] (stats[count] / len(df) * 100).round(1) df.to_csv(output_csv, indexFalse, encodingutf-8-sig) return statsgroupby(label)是按情感标签分桶取size得到条数再除以总数算占比。写CSV时特意用utf-8-sig编码这样Excel直接打开不会乱码这是Windows环境下的老问题。置信度低于0.5的记录建议另存一个复核清单这些是API自己也拿不准的留给人来判断更稳妥。4. 跑通实战从环境配置到产出第一份情感报告4.1 环境准备与依赖安装项目对Python版本要求不高3.8以上就够。依赖只有三个核心包一条命令装完pip install requests pandas selenium装完先验证selenium能正常拉起浏览器再做别的。这里最常见的翻车是Chrome和chromedriver版本不匹配——主版本号不一致的话selenium一定报SessionNotCreatedException。用一条命令自检python -c from selenium import webdriver; webdriver.Chrome(); print(ok)能打印ok就说明环境没问题。如果报错去chromedriver官网下和本机Chrome主版本号一致的驱动放到PATH里或项目bin目录。实在不想折腾驱动版本可以把selenium换成playwrightplaywright会自动匹配浏览器版本省掉这一步。4.2 百度智能云控制台配置与token获取情感分析能力在百度智能云里叫「情感倾向分析」属于自然语言处理NLP产品线。开通步骤是登录百度智能云控制台找到自然语言处理服务开通情感倾向分析创建应用在应用详情里拿到API Key和Secret Key把这俩key填进config.py# config.py 全局配置 WEIBO_URL https://weibo.com/某账号某条微博 # 替换成目标微博链接 API_KEY 你的APIKey SECRET_KEY 你的SecretKey MAX_SCROLL 5 # 评论区滚动轮数 OUTPUT_CSV result.csv拿到key之后别急着跑全流程先单独验证token能不能换到手。百度云接口的错误信息很直白最常见的是214001鉴权参数错误基本就是API Key或Secret Key复制多了空格或换了行。确认token能拿到再往下走。4.3 运行主流程与结果解读一键跑的入口是main.py它按顺序调用四个模块python main.py正常跑完终端会打印一份分桶统计 情感偏向统计 负向 63条 31.5% 中性 41条 20.5% 正向 96条 48.0% 总计 200条解读时要先看占比再看置信度。48%正向看起来不错但如果这96条里有相当一部分confidence低于0.5说明API对这批评论的判定不太有把握需要人工复核清单兜底。另一个技巧是看负面评论里出现的高频词负向样本单独导出来用jieba做一次词频就能看出来是「卡顿」「贵」「难用」还是「广告」这个信息比占比数字更能指导决策。跑完的明细CSV里每条评论都带sentiment、confidence和概率方便你按任意字段二次切片。5. 避坑与排查微博反爬、API限额、文本编码的五个真实问题这五个问题都是复现时容易撞上的每个按现象、原因、解决三个维度记下来排查时直接对号入座。5.1 批量跑到一半报错282004程序直接中断现象循环调用情感接口跑到第30条左右开始抛RuntimeError错误码282004。原因百度云免费额度QPS很低循环里requests.post没有做任何限速瞬间把配额打满。控制台的默认值和网上教程不一致不同注册渠道配额也不同。解决每次调用之间加time.sleep(1)把请求频率压到1QPS以内如果错误码仍然出现做指数退避——第一次重试等2秒第二次4秒最多重试三次。这里有个玄学点有些账号sleep(0.5)就够有些必须1秒以上跑之前先用20条样本实测自己的真实上限别照抄别人的参数。5.2 selenium打开微博评论区抓回来是空的现象浏览器能打开微博页面但find_elements拿到的评论列表为空或者只有首屏几条。原因没有登录态或登录态已失效微博对未登录访客的评论区做了降级限制另一种是chromedriver启动特征被识别触发了反爬拦截。解决手动打开Chrome登录微博一次用selenium的get_cookies把cookie存成json文件后续每次启动先访问一次微博主页种下cookie再跳转目标页cookies browser.get_cookies() with open(weibo_cookies.json, w, encodingutf-8) as f: json.dump(cookies, f)同时给ChromeOptions加上disable-blink-featuresAutomationControlled参数降低被识别概率。如果还是被拦就把采集频率降下来抓完一轮歇几分钟再抓下一轮。5.3 写CSV时抛UnicodeEncodeErrorExcel打开还是乱码现象结果文件写一半崩掉报错指向某条评论里一个特殊符号换编码写进去后Excel打开又显示乱码。原因微博文本里有emoji和生僻字Windows下pandas默认编码是gbk写这些字符直接抛异常Excel用默认ANSI编码读UTF-8文件也会乱。解决写入CSV时显式指定encodingutf-8-sig带BOM的utf-8是Excel能正确识别的格式清洗阶段对非法代理对字符做过滤用errorsignore兜底。这是Windows跑数据项目的老问题Linux环境反而很少遇到跨环境跑的人容易忽略。5.4 access_token过期批量任务跑到一半全废现象前一天生成的token第二天继续批量跑跑到一半报216015 token失效已分析的几百条结果全部作废。原因access_token有效期30天但token是缓存在本地的如果缓存文件被清理或者脚本跑一整天就可能在一个超长批量任务中途过期。还有一种情况是多个脚本共用同一个缓存文件先后写入把token覆盖了。解决token落盘缓存并把expires_in转成绝对过期时间存进去每次启动先判断是否在十分钟内过期快过期就自动重新换取批量任务拆成小批次跑每批几百条跑完存一份中间结果即使某批挂了也能从断点续跑。判断逻辑在sentiment.py的get_access_token里已有改配置时注意别把缓存文件路径换走就行。5.5 滚动太快评论区大量重复评论现象抓下来500条用set去重后只剩260条重复率接近一半。原因滚动速度比懒加载快页面还没加载出新评论脚本就执行了下一轮滚动同一批评论被反复抓到。解决每轮滚动后对比评论总数和上一轮相同就breakcrawler.py里已经有这个判断另外在清洗层做一次内容hash去重用文本本身的hash作为主键从源头杜绝重复入库。这样即使采集层重复清洗层也能兜住。6. 二次开发路线从情感偏向报表升级成舆情预警和可视化看板项目跑通后最值得做的三个改造方向是时间序列、预警、可视化改造成本都不高。采集层多存一个发布时间字段聚合时按天分桶正向和负向占比就能画成走势线一眼看出某次运营活动上线后口碑是涨是跌。预警功能更简单聚合结果出来后加一个if判断负向占比连续两天超过40%就调企业微信机器人接口发一条告警二十行代码的事。展示层把CSV换成本地HTMLpandas的to_html先顶着用数据量大了再迁移到数据库。任何改动跑完都要做一轮人工抽检随机抽100条评论手动标正负和API结果比对一致率。实践里最常见的两类翻车一类是网络梗「YYDS」「绝绝子」被判成中性另一类是反讽句「太棒了我再也不会买第二次」被判成正向。这两类属于模型能力边界靠调参解决不了常规做法是维护一个自定义修正词典把高频误判短语映射到正确情感再不行就把这类评论单独捞出来人工处理。从那以后我每次跑这种带第三方API的项目都会先写一个10条样本的冒烟脚本确认token能换、清洗不崩、API返回结构符合预期再放开批量跑。这十分钟的检查帮我避掉过无数个半夜挂机的翻车现场。希望帮到你。本文还有配套的精品资源点击获取