简介面向电商运营与自然语言处理新手的情感分析实战源码包通过Python实现评论情感倾向判别讲解从文本清洗、中文分词、停用词过滤到词频统计、特征提取、分类模型训练与评估的完整流程。压缩包共22个文件内含1个主程序、1个csv评论数据文件以及20个txt说明文档整体大小18.34MB其中txt文档分步讲解模块用途与运行方法便于按章节研读。源码具体演示了基于情感词汇表的得分计算、TF-IDF与词袋模型特征构造并应用朴素贝叶斯、支持向量机等分类器完成训练同时配有交叉验证、F1分数、混淆矩阵和学习曲线等评估可视化可支撑小型电商评论分析项目快速搭建。已有85人学习适合希望结合代码系统掌握自然语言处理与情感分析实践要点的初学者。1. 电商产品评论数据情感分析源码包拿到手先弄清楚这四件事做电商运营或数据分析的朋友最烦的活之一就是翻评论几百上千条评价要一条条判断是夸还是骂运气好碰上大促期间的几万条那只能熬夜硬扛。这时候手头如果有一个“电商产品评论数据情感分析Python源码.rar”大多数人的第一反应是解压、找入口脚本、直接跑起来看着窗口刷出几行数字就以为完事了。我的经验恰恰相反让这个包跑通只需要几分钟真正决定它能不能落地的是数据清洗和标签怎么对齐。这类源码做的事很聚焦读取评论文本输出每条的正向、负向或中性标签再汇总出好评率、差评高频词给选品、客服质检和运营复盘做参考。它适合刚入门Python的学习者当真实中文NLP练手项目也适合没有算法团队的电商业务方做批量初筛。拿到包之后别急着训练模型先把四件事弄清楚任务边界是什么、输入输出长什么样、默认走词典法还是机器学习、最后拿什么指标验证。搞明白这四点后面才不会翻车。2. 跑通最小示例从解压到出第一批情感标签的完整命令2.1 环境准备先确认Python版本和依赖库老规矩先把运行环境准备好。这类源码一般面向Python 3.8到3.10开发如果你机器上还没有解释器先照着一份python安装教程把环境装好建议不要追最新的大版本第三方库的兼容性有时候会拖后腿。装完在命令行里验证一下python --version pip --version然后创建虚拟环境并安装依赖。虚拟环境是血泪经验换来的习惯能避免不同项目的库互相打架# 创建并激活虚拟环境 python -m venv venv # Windows 下激活 venv\Scripts\activate # macOS / Linux 下激活 source venv/bin/activate # 安装核心依赖 pip install pandas numpy jieba scikit-learn matplotlib依赖下载慢的话可以在pip后面加国内镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas numpy jieba scikit-learn matplotlib。这几个库的分工很明确pandas负责读CSV和表格操作numpy做数组计算jieba做中文分词scikit-learn提供向量化、分类器和评估指标matplotlib负责最后出图。版本方面pandas用2.x、scikit-learn用1.3以上、jieba用0.42.x这几个组合比较稳不会出现接口对不上的情况。2.2 数据格式解压后先看评论长什么样环境装好后解压那个rar包先别急着运行进目录看一眼数据文件。一个典型的电商评论情感分析源码包目录结构大概长这样文件/目录作用data/reviews.csv原始评论数据至少要有评论文本和评分两列stopwords.txt停用词表每行一个词preprocess.py数据清洗与分词脚本train.py训练与评估脚本predict.py对新评论打标签的脚本main.py一键串联整个流程的入口不同作者写的包结构会有差异但角色基本是这几个。最重要的是reviews.csv它通常包含下面这些字段字段名示例说明content物流很快包装很结实评论文本模型的主要输入rating5星级评分可作为弱标签label1可选的人工标注有就用没有就用评分生成如果你的数据是从后台导出的列名不叫content或rating也没关系后面在预处理脚本里做一次列名映射就行。关键是先看一眼原始数据长什么样再动手改代码。2.3 一键跑通从预处理到预测的完整命令数据确认无误后按顺序跑下面几条命令。常见做法是三个脚本分步执行也有的包直接在main.py里一次性完成效果一样# 第一步清洗数据并生成标签 python preprocess.py # 第二步训练模型并输出评估指标 python train.py # 第三步对新评论进行预测 python predict.py data/new_reviews.csv # 查看预测结果 head -20 output/result.csvpreprocess.py负责读原始CSV、去重、清洗文本、分词并把结果存成中间文件train.py读取中间文件做特征提取和模型训练输出准确率、F1这些指标predict.py加载训练好的模型对新评论打标签结果写到output目录。第一次跑通后打开result.csv看看里面应该有一列是预测的标签1代表正向、-1代表负向、0代表中性具体映射要看源码里的定义。注意第一次运行前先确认代码里的文件路径和你解压后的目录结构一致。最常见的报错就是找不到data/reviews.csv不是代码坏了是路径没对上。2.4 没有人工标注时用评分生成弱标签电商评论数据最大的问题是几乎没有人工标注全靠评分兜底。常见做法是用星级映射标签4星和5星算正向1星和2星算负向3星算中性。新建一个make_label.py代码如下# data/make_label.py import pandas as pd df pd.read_csv(data/reviews.csv, encodingutf-8) def rating_to_label(r: int) - int: if r 4: return 1 # 正向 if r 2: return -1 # 负向 return 0 # 中性 df[label] df[rating].apply(rating_to_label) df.to_csv(data/reviews_labeled.csv, indexFalse, encodingutf-8) print(df[label].value_counts())这个映射逻辑的假设是“评分和情感倾向大致一致”所以叫弱标签。它的问题在于有人给1星但内容夸物流也有人给5星只写“好评”两个字评分和文本并不总是对齐。因此弱标签只能用来训练第一版基线模型后面必须抽样人工校正。先用这种规则跑通全流程得到第一批情感标签再逐步优化是这类项目最稳妥的启动方式。3. 源码里的预处理和特征工程jieba分词、去停用词与TF-IDF的默认参数3.1 清洗与分词先让评论变成词序列评论数据从电商后台导出后除了正常文本还有HTML标签、URL、多余空格、表情符号这些噪音。如果不清理分词和向量化都会被干扰。下面这段是预处理脚本里最常见的核心片段# preprocess.py 核心片段 import re import pandas as pd import jieba def clean_text(text: str) - str: text str(text) # 去掉 HTML 标签评论里偶尔会出现 br 或 p text re.sub(r[^], , text) # 去掉 URL text re.sub(rhttps?://\S, , text) # 把多个空白符合并成一个 text re.sub(r\s, , text).strip() return text def segment(text: str, stopwords: set) - list: # 精确模式分词适合短文本分类 words jieba.lcut(text) # 过滤停用词、单字词、纯数字 words [w for w in words if w not in stopwords and len(w.strip()) 1 and not w.isdigit()] return words if __name__ __main__: stopwords set(open(stopwords.txt, encodingutf-8).read().splitlines()) df pd.read_csv(data/reviews_labeled.csv, encodingutf-8) df[clean] df[content].apply(clean_text) df[words] df[clean].apply(lambda x: segment(x, stopwords)) df.to_pickle(data/df_clean.pkl)这段代码里clean_text负责去掉标签和URLsegment负责用jieba把句子切成词。注意segment里的过滤条件len(w.strip()) 1会过滤掉所有单字词。这在大部分情况下能减少噪音但“好”“坏”“差”这类单字情感词也会被误杀后面避坑章会专门讲怎么处理。分词结果用to_pickle存成DataFrame这样后面训练时不用重新跑一遍清洗能省不少时间。3.2 TF-IDF特征决定分类上限的参数设置分词之后模型不能直接吃中文词要把词转成数值向量。最简单的词袋模型只统计词频但“的”“了”“好评”这种频繁出现的词权重过高真正区分情感的是“不值”“太慢”“惊艳”。TF-IDF就是来解决这个问题的它给高频常见词降权给在少数评论里出现、区分度强的词加权。下面是一组在电商评论上表现稳定的参数# features.py from sklearn.feature_extraction.text import TfidfVectorizer df pd.read_pickle(data/df_clean.pkl) corpus df[words].apply(lambda x: .join(x)) vectorizer TfidfVectorizer( max_features5000, # 限制特征数防止维度爆炸 ngram_range(1, 2), # 保留相邻两词组合能抓住“不值”“太慢” min_df2, # 至少在 2 条评论中出现去掉只出现一次的噪声 sublinear_tfTrue # 用 1log(tf) 平滑词频降低高频词影响 ) X vectorizer.fit_transform(corpus) y df[label].values print(特征矩阵形状:, X.shape)四个参数各有讲究。max_features5000是内存和效果的折中评论数据量在几万条时5000个特征足够覆盖绝大多数有效信息再大训练时间和内存都会明显上升。ngram_range(1,2)保留“不值”“太慢”这样的双词组合中文里很多情感表达靠的是词组而不是单字这个参数一定要开。min_df2过滤掉只在一条评论里出现的词那些往往是专有名词或错别字对分类是噪声。sublinear_tfTrue对词频做对数平滑避免“好评”出现100次就把“惊艳”出现2次给淹没。理解了这套文本特征再去看多模态情感分析就清晰了——它本质是在文本向量之外再融合图像里的表情、语音里的语气等多路特征文本侧的处理逻辑和这里是一样的。先把单模态的特征工程做扎实是后面做融合的前提。3.3 情感词典基线不训练也能给评论打分有些源码包默认带情感词典比如BosonNLP词典或自己整理的正面负面词表走的是词典打分路线。它的优点是不需要标注数据适合冷启动。核心逻辑是统计评论里正面词和负面词的数量再用否定词和程度副词做加权# lexicon_score.py import pandas as pd pos_words set(open(dict/pos_words.txt, encodingutf-8).read().splitlines()) neg_words set(open(dict/neg_words.txt, encodingutf-8).read().splitlines()) # 程度副词和否定词前面的系数表示强度 adv_words {很: 1.5, 太: 1.8, 非常: 1.6, 有点: 0.7, 不: -1.0} def lexicon_score(words: list) - float: score 0.0 for i, w in enumerate(words): base 0.0 if w in pos_words: base 1.0 elif w in neg_words: base -1.0 if base 0: continue # 看前一个词是不是程度副词或否定词 if i 0: adv adv_words.get(words[i - 1], 1.0) base * adv score base return score df pd.read_pickle(data/df_clean.pkl) df[lexicon_score] df[words].apply(lexicon_score) # 阈值按业务场景定通常 0.2 和 -0.2 是三个类别的分界 df[lex_label] df[lexicon_score].apply(lambda x: 1 if x 0.2 else (-1 if x -0.2 else 0)) print(df[[content, lexicon_score, lex_label]].head(10))这段代码的核心是遍历分词结果命中正负词就累加分数同时检查前一个词是不是“很”“太”“不”这类修饰词对原始分数做缩放。比如“质量不好”里“好”前面有个“不”系数是-1.0整体得分就变成负向。阈值的设定有点像玄学0.2和-0.2是经验值需要根据自己的数据集调整。词典法的准确率一般落在60%到80%比瞎猜强但覆盖不了“物流慢但客服态度好”这种复杂句。它的价值在于当基线不需要标注数据跑完就能出一版结果也可以把这个得分作为额外特征喂给后面的机器学习模型。4. 从词频到分类器训练一个能用的情感模型并看懂评估指标4.1 模型怎么选数据量决定技术路线词典法在复杂句式上很容易触到天花板这时候就该切换到机器学习分类器。选哪个模型主要看标注数据量。下表是常见的选择逻辑数据量推荐模型原因小于5000条朴素贝叶斯 / 逻辑回归训练快可解释性强小数据不容易过拟合5000到5万条逻辑回归 / LightGBM特征离散且稀疏线性模型效果稳定内存可控大于5万条且算力够FastText / BERT能建模上下文但训练和推理成本高绝大多数电商评论源码包给的是逻辑回归原因是它训练快、参数少、对TF-IDF这种稀疏特征表现出奇地好。BERT这类深度模型在几万条评论上不一定能拉开明显差距却需要GPU和更长的调参时间。对于第一版方案逻辑回归是性价比最高的选择等业务量上去、标注数据充足了再考虑升级也不迟。4.2 训练与评估一套能直接改参数跑的代码下面这段代码是训练流程的骨架直接复制改成自己的文件路径就能跑# train.py import pandas as pd from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, confusion_matrix df pd.read_pickle(data/df_clean.pkl) corpus df[words].apply(lambda x: .join(x)) vectorizer TfidfVectorizer(max_features5000, ngram_range(1, 2), min_df2, sublinear_tfTrue) X vectorizer.fit_transform(corpus) y df[label].values X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) model LogisticRegression(max_iter1000, class_weightbalanced) model.fit(X_train, y_train) y_pred model.predict(X_test) print(classification_report(y_test, y_pred, target_names[负向, 中性, 正向])) print(confusion_matrix(y_test, y_pred))两个参数需要特别说明。train_test_split里的stratifyy表示按类别比例分层划分避免随机切分后测试集恰好全是好评导致指标虚高。class_weightbalanced让模型根据类别数量自动调权重差评样本少但权重高模型不会为了整体准确率而无视差评。max_iter1000是把逻辑回归的最大迭代次数从默认的100调大否则数据特征多时经常报“不收敛”的警告模型参数还没学好就被强制停止了。4.3 先看差评召回率再看准确率训练完会输出一份classification_report很多人只盯着准确率看。举一个真实常见的输出类别precisionrecallf1-score负向0.820.710.76中性0.650.520.58正向0.910.950.93accuracy0.88整体准确率0.88看起来不错但中性类的F1只有0.58说明中性评论基本分不准。更关键的是负向的召回率0.71意味着29%的差评被漏掉了。对电商场景来说漏掉一条差评比错杀一条好评严重得多差评漏报会让问题商品继续挂在首页卖。所以看指标的顺序应该是先看负向的recall再看整体准确率最后看混淆矩阵。如果混淆矩阵里大量真实负向被预测成正向说明模型被好评占比带偏了需要回到类别不平衡的处理上去。4.4 类别不平衡让模型别再无视差评电商评论天然不平衡好评可能占90%差评只有5%。如果直接训练模型把所有评论都预测成好评准确率就有90%这就是个废物模型。第4.2节代码里的class_weightbalanced是第一个手段效果不够时再对少数类做过采样# 过采样让差评样本数量和好评一致 from sklearn.utils import resample df_major df[df[label] 1] df_minor_neg df[df[label] -1] df_minor_neu df[df[label] 0] df_neg_upsampled resample( df_minor_neg, replaceTrue, n_sampleslen(df_major), random_state42 ) df_neu_upsampled resample( df_minor_neu, replaceTrue, n_sampleslen(df_major), random_state42 ) df_balanced pd.concat([df_major, df_neg_upsampled, df_neu_upsampled]) print(df_balanced[label].value_counts())过采样的原理是对差评样本做有放回抽样复制到和好评一样多。它的缺点是会让模型对重复样本过拟合所以random_state固定住保证每次结果可复现。另一个方案是下采样随机丢弃一些好评样本但会损失大量数据。常见的做法是先用class_weightbalanced指标还不够好再考虑过采样。无论哪种方案评估一定要在原始分布的数据上进行在重采样后的测试集上测出来的数字没有参考价值。5. 避坑中文评论情感分析最常见的五个坑与排查方法5.1 编码乱码CSV读进来全是乱码现象用pandas的read_csv读评论文件中文全变成乱码或者直接抛UnicodeDecodeError。原因电商后台导出的CSV经常是GBK编码特别是用Excel另存过的文件而代码默认用UTF-8读取。解决读取时显式指定编码并加错误忽略兜底import pandas as pd df pd.read_csv(data/reviews.csv, encodinggbk, errorsignore)如果读出来还是乱码用文本编辑器打开CSV另存为UTF-8编码再试。另外导出CSV时如果列名是“评价内容”“评分”这样的中文记得在预处理脚本里做列名映射把“评价内容”改成content否则后面所有代码拿到KeyError。5.2 停用词表删掉“不”差评变成好评现象模型把“质量不好”判成正向准确率莫名其妙上不去。原因停用词表里把“不”当成了无意义词直接过滤。分词后“不”被删掉剩下的“好”让模型误判成好评。解决检查stopwords.txt里有没有否定词和程度副词。停用词表只应该删“的、了、啊、呢”这类虚词必须保留“不、没、太、很、非常”这类带情感倾向的修饰词。修改后重新跑一遍预处理验证一下“质量不好”的分词结果还包含“不”。5.3 单字情感词被误杀“好”“坏”消失不见现象评论“好用”分词后只剩“用”情感特征完全丢失。原因预处理代码里用len(w.strip()) 1过滤单字词把“好”“坏”“差”这些单字情感词一并删掉了。解决加载情感词典只过滤不在情感词典里的单字词。改动很小# 先加载情感词典 pos_words set(open(dict/pos_words.txt, encodingutf-8).read().splitlines()) neg_words set(open(dict/neg_words.txt, encodingutf-8).read().splitlines()) emotion_words pos_words | neg_words # 过滤条件改成单字词只有在情感词典里才保留 words [w for w in words if w not in stopwords and not w.isdigit() and (len(w.strip()) 1 or w in emotion_words)]5.4 类别不平衡准确率95%但差评全漏现象训练完准确率很高上线一看差评召回率只有30%全靠漏报换来的漂亮数字。原因好评占95%模型全部预测成好评就有95%准确率但它一条差评都认不出来。解决不要用准确率当主要指标。打印classification_report重点关注负向的recall和f1-score。同时用第4.4节的方法处理不平衡class_weightbalanced先上一遍不够再过采样。5.5 评分和文本矛盾1星评论内容是夸商品现象评论“东西很不错就是物流太慢等了一周才到”评分是1星模型按评分映射成负向但文本本身对商品是正向评价。原因一条评论里包含对商品、物流、客服多个对象的评价整体评分可能被物流拉低文本却夸商品。解决先分句再做情感判断或者把统计维度拆开按“商品质量”“物流服务”“客服态度”分别聚合情感。更实际的做法是接受这个噪声把弱标签只当训练基线最终以人工抽检结果为准。这类矛盾在电商评论里占比不低不用追求完美但要意识到准确率上不去的原因可能不在模型而在标签本身。6. 不满足于源码自带效果迁移到自己的商品数据并做可视化验证6.1 换成自己的数据三个步骤把源码包用到自己的数据上不需要改模型结构核心是三步先把数据导出成content和rating两列跑一遍预处理脚本接着用第2.4节的评分映射生成弱标签最后跑训练脚本看指标。有一个细节值得做从清洗后的文本里随机抽50条打印出来肉眼看一遍是不是人话。分词错不乱、标签基本合理再往下走。6.2 用词云验证差评问题一眼可见模型指标是统计视角业务方更想看差评到底在骂什么。词云是最直观的验证工具from wordcloud import WordCloud import matplotlib.pyplot as plt # 取出所有负向评论拼成一个大字符串 neg_text .join(df[df[label] -1][clean].tolist()) # 注意 font_path 要指向系统里存在的中文字体 wc WordCloud( font_pathmsyh.ttc, # Windows 用微软雅黑Linux 改 NotoSansCJK width800, height400, background_colorwhite ).generate(neg_text) plt.figure(figsize(10, 5)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.show()如果生成的中文词云全是方块就是font_path没指对字体文件Windows下用C:/Windows/Fonts/msyh.ttcLinux下找NotoSansCJK。词云里出现的词基本就是差评的核心原因比如“质量”“客服”“物流”“退货”。如果词云里出现一堆和业务无关的词说明预处理没洗干净回去补停用词表。6.3 人工抽检一百条样本换来的放心我早先做评论分析时第一版模型准确率很高上线一看差评基本漏光因为根本没看召回率。后来养成的习惯是每次训练完从预测结果里随机抽100条逐条对比模型判断和肉眼判断算一个人工一致率。重点看不一致的样本是不是否定句、反问句、嵌套句这类句子往往是模型的上限瓶颈。这个习惯帮我避免了很多次翻车也让业务方更愿意相信我给的结论。词云看宏观趋势人工抽检兜微观质量两件事做完这套源码才算真正落到你自己的数据上。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/12 20:33:15 · 阅读 1.2k 电商评论情感分析源码实战：从数据清洗到模型评估全流程
简介面向电商运营与自然语言处理新手的情感分析实战源码包通过Python实现评论情感倾向判别讲解从文本清洗、中文分词、停用词过滤到词频统计、特征提取、分类模型训练与评估的完整流程。压缩包共22个文件内含1个主程序、1个csv评论数据文件以及20个txt说明文档整体大小18.34MB其中txt文档分步讲解模块用途与运行方法便于按章节研读。源码具体演示了基于情感词汇表的得分计算、TF-IDF与词袋模型特征构造并应用朴素贝叶斯、支持向量机等分类器完成训练同时配有交叉验证、F1分数、混淆矩阵和学习曲线等评估可视化可支撑小型电商评论分析项目快速搭建。已有85人学习适合希望结合代码系统掌握自然语言处理与情感分析实践要点的初学者。1. 电商产品评论数据情感分析源码包拿到手先弄清楚这四件事做电商运营或数据分析的朋友最烦的活之一就是翻评论几百上千条评价要一条条判断是夸还是骂运气好碰上大促期间的几万条那只能熬夜硬扛。这时候手头如果有一个“电商产品评论数据情感分析Python源码.rar”大多数人的第一反应是解压、找入口脚本、直接跑起来看着窗口刷出几行数字就以为完事了。我的经验恰恰相反让这个包跑通只需要几分钟真正决定它能不能落地的是数据清洗和标签怎么对齐。这类源码做的事很聚焦读取评论文本输出每条的正向、负向或中性标签再汇总出好评率、差评高频词给选品、客服质检和运营复盘做参考。它适合刚入门Python的学习者当真实中文NLP练手项目也适合没有算法团队的电商业务方做批量初筛。拿到包之后别急着训练模型先把四件事弄清楚任务边界是什么、输入输出长什么样、默认走词典法还是机器学习、最后拿什么指标验证。搞明白这四点后面才不会翻车。2. 跑通最小示例从解压到出第一批情感标签的完整命令2.1 环境准备先确认Python版本和依赖库老规矩先把运行环境准备好。这类源码一般面向Python 3.8到3.10开发如果你机器上还没有解释器先照着一份python安装教程把环境装好建议不要追最新的大版本第三方库的兼容性有时候会拖后腿。装完在命令行里验证一下python --version pip --version然后创建虚拟环境并安装依赖。虚拟环境是血泪经验换来的习惯能避免不同项目的库互相打架# 创建并激活虚拟环境 python -m venv venv # Windows 下激活 venv\Scripts\activate # macOS / Linux 下激活 source venv/bin/activate # 安装核心依赖 pip install pandas numpy jieba scikit-learn matplotlib依赖下载慢的话可以在pip后面加国内镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas numpy jieba scikit-learn matplotlib。这几个库的分工很明确pandas负责读CSV和表格操作numpy做数组计算jieba做中文分词scikit-learn提供向量化、分类器和评估指标matplotlib负责最后出图。版本方面pandas用2.x、scikit-learn用1.3以上、jieba用0.42.x这几个组合比较稳不会出现接口对不上的情况。2.2 数据格式解压后先看评论长什么样环境装好后解压那个rar包先别急着运行进目录看一眼数据文件。一个典型的电商评论情感分析源码包目录结构大概长这样文件/目录作用data/reviews.csv原始评论数据至少要有评论文本和评分两列stopwords.txt停用词表每行一个词preprocess.py数据清洗与分词脚本train.py训练与评估脚本predict.py对新评论打标签的脚本main.py一键串联整个流程的入口不同作者写的包结构会有差异但角色基本是这几个。最重要的是reviews.csv它通常包含下面这些字段字段名示例说明content物流很快包装很结实评论文本模型的主要输入rating5星级评分可作为弱标签label1可选的人工标注有就用没有就用评分生成如果你的数据是从后台导出的列名不叫content或rating也没关系后面在预处理脚本里做一次列名映射就行。关键是先看一眼原始数据长什么样再动手改代码。2.3 一键跑通从预处理到预测的完整命令数据确认无误后按顺序跑下面几条命令。常见做法是三个脚本分步执行也有的包直接在main.py里一次性完成效果一样# 第一步清洗数据并生成标签 python preprocess.py # 第二步训练模型并输出评估指标 python train.py # 第三步对新评论进行预测 python predict.py data/new_reviews.csv # 查看预测结果 head -20 output/result.csvpreprocess.py负责读原始CSV、去重、清洗文本、分词并把结果存成中间文件train.py读取中间文件做特征提取和模型训练输出准确率、F1这些指标predict.py加载训练好的模型对新评论打标签结果写到output目录。第一次跑通后打开result.csv看看里面应该有一列是预测的标签1代表正向、-1代表负向、0代表中性具体映射要看源码里的定义。注意第一次运行前先确认代码里的文件路径和你解压后的目录结构一致。最常见的报错就是找不到data/reviews.csv不是代码坏了是路径没对上。2.4 没有人工标注时用评分生成弱标签电商评论数据最大的问题是几乎没有人工标注全靠评分兜底。常见做法是用星级映射标签4星和5星算正向1星和2星算负向3星算中性。新建一个make_label.py代码如下# data/make_label.py import pandas as pd df pd.read_csv(data/reviews.csv, encodingutf-8) def rating_to_label(r: int) - int: if r 4: return 1 # 正向 if r 2: return -1 # 负向 return 0 # 中性 df[label] df[rating].apply(rating_to_label) df.to_csv(data/reviews_labeled.csv, indexFalse, encodingutf-8) print(df[label].value_counts())这个映射逻辑的假设是“评分和情感倾向大致一致”所以叫弱标签。它的问题在于有人给1星但内容夸物流也有人给5星只写“好评”两个字评分和文本并不总是对齐。因此弱标签只能用来训练第一版基线模型后面必须抽样人工校正。先用这种规则跑通全流程得到第一批情感标签再逐步优化是这类项目最稳妥的启动方式。3. 源码里的预处理和特征工程jieba分词、去停用词与TF-IDF的默认参数3.1 清洗与分词先让评论变成词序列评论数据从电商后台导出后除了正常文本还有HTML标签、URL、多余空格、表情符号这些噪音。如果不清理分词和向量化都会被干扰。下面这段是预处理脚本里最常见的核心片段# preprocess.py 核心片段 import re import pandas as pd import jieba def clean_text(text: str) - str: text str(text) # 去掉 HTML 标签评论里偶尔会出现 br 或 p text re.sub(r[^], , text) # 去掉 URL text re.sub(rhttps?://\S, , text) # 把多个空白符合并成一个 text re.sub(r\s, , text).strip() return text def segment(text: str, stopwords: set) - list: # 精确模式分词适合短文本分类 words jieba.lcut(text) # 过滤停用词、单字词、纯数字 words [w for w in words if w not in stopwords and len(w.strip()) 1 and not w.isdigit()] return words if __name__ __main__: stopwords set(open(stopwords.txt, encodingutf-8).read().splitlines()) df pd.read_csv(data/reviews_labeled.csv, encodingutf-8) df[clean] df[content].apply(clean_text) df[words] df[clean].apply(lambda x: segment(x, stopwords)) df.to_pickle(data/df_clean.pkl)这段代码里clean_text负责去掉标签和URLsegment负责用jieba把句子切成词。注意segment里的过滤条件len(w.strip()) 1会过滤掉所有单字词。这在大部分情况下能减少噪音但“好”“坏”“差”这类单字情感词也会被误杀后面避坑章会专门讲怎么处理。分词结果用to_pickle存成DataFrame这样后面训练时不用重新跑一遍清洗能省不少时间。3.2 TF-IDF特征决定分类上限的参数设置分词之后模型不能直接吃中文词要把词转成数值向量。最简单的词袋模型只统计词频但“的”“了”“好评”这种频繁出现的词权重过高真正区分情感的是“不值”“太慢”“惊艳”。TF-IDF就是来解决这个问题的它给高频常见词降权给在少数评论里出现、区分度强的词加权。下面是一组在电商评论上表现稳定的参数# features.py from sklearn.feature_extraction.text import TfidfVectorizer df pd.read_pickle(data/df_clean.pkl) corpus df[words].apply(lambda x: .join(x)) vectorizer TfidfVectorizer( max_features5000, # 限制特征数防止维度爆炸 ngram_range(1, 2), # 保留相邻两词组合能抓住“不值”“太慢” min_df2, # 至少在 2 条评论中出现去掉只出现一次的噪声 sublinear_tfTrue # 用 1log(tf) 平滑词频降低高频词影响 ) X vectorizer.fit_transform(corpus) y df[label].values print(特征矩阵形状:, X.shape)四个参数各有讲究。max_features5000是内存和效果的折中评论数据量在几万条时5000个特征足够覆盖绝大多数有效信息再大训练时间和内存都会明显上升。ngram_range(1,2)保留“不值”“太慢”这样的双词组合中文里很多情感表达靠的是词组而不是单字这个参数一定要开。min_df2过滤掉只在一条评论里出现的词那些往往是专有名词或错别字对分类是噪声。sublinear_tfTrue对词频做对数平滑避免“好评”出现100次就把“惊艳”出现2次给淹没。理解了这套文本特征再去看多模态情感分析就清晰了——它本质是在文本向量之外再融合图像里的表情、语音里的语气等多路特征文本侧的处理逻辑和这里是一样的。先把单模态的特征工程做扎实是后面做融合的前提。3.3 情感词典基线不训练也能给评论打分有些源码包默认带情感词典比如BosonNLP词典或自己整理的正面负面词表走的是词典打分路线。它的优点是不需要标注数据适合冷启动。核心逻辑是统计评论里正面词和负面词的数量再用否定词和程度副词做加权# lexicon_score.py import pandas as pd pos_words set(open(dict/pos_words.txt, encodingutf-8).read().splitlines()) neg_words set(open(dict/neg_words.txt, encodingutf-8).read().splitlines()) # 程度副词和否定词前面的系数表示强度 adv_words {很: 1.5, 太: 1.8, 非常: 1.6, 有点: 0.7, 不: -1.0} def lexicon_score(words: list) - float: score 0.0 for i, w in enumerate(words): base 0.0 if w in pos_words: base 1.0 elif w in neg_words: base -1.0 if base 0: continue # 看前一个词是不是程度副词或否定词 if i 0: adv adv_words.get(words[i - 1], 1.0) base * adv score base return score df pd.read_pickle(data/df_clean.pkl) df[lexicon_score] df[words].apply(lexicon_score) # 阈值按业务场景定通常 0.2 和 -0.2 是三个类别的分界 df[lex_label] df[lexicon_score].apply(lambda x: 1 if x 0.2 else (-1 if x -0.2 else 0)) print(df[[content, lexicon_score, lex_label]].head(10))这段代码的核心是遍历分词结果命中正负词就累加分数同时检查前一个词是不是“很”“太”“不”这类修饰词对原始分数做缩放。比如“质量不好”里“好”前面有个“不”系数是-1.0整体得分就变成负向。阈值的设定有点像玄学0.2和-0.2是经验值需要根据自己的数据集调整。词典法的准确率一般落在60%到80%比瞎猜强但覆盖不了“物流慢但客服态度好”这种复杂句。它的价值在于当基线不需要标注数据跑完就能出一版结果也可以把这个得分作为额外特征喂给后面的机器学习模型。4. 从词频到分类器训练一个能用的情感模型并看懂评估指标4.1 模型怎么选数据量决定技术路线词典法在复杂句式上很容易触到天花板这时候就该切换到机器学习分类器。选哪个模型主要看标注数据量。下表是常见的选择逻辑数据量推荐模型原因小于5000条朴素贝叶斯 / 逻辑回归训练快可解释性强小数据不容易过拟合5000到5万条逻辑回归 / LightGBM特征离散且稀疏线性模型效果稳定内存可控大于5万条且算力够FastText / BERT能建模上下文但训练和推理成本高绝大多数电商评论源码包给的是逻辑回归原因是它训练快、参数少、对TF-IDF这种稀疏特征表现出奇地好。BERT这类深度模型在几万条评论上不一定能拉开明显差距却需要GPU和更长的调参时间。对于第一版方案逻辑回归是性价比最高的选择等业务量上去、标注数据充足了再考虑升级也不迟。4.2 训练与评估一套能直接改参数跑的代码下面这段代码是训练流程的骨架直接复制改成自己的文件路径就能跑# train.py import pandas as pd from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, confusion_matrix df pd.read_pickle(data/df_clean.pkl) corpus df[words].apply(lambda x: .join(x)) vectorizer TfidfVectorizer(max_features5000, ngram_range(1, 2), min_df2, sublinear_tfTrue) X vectorizer.fit_transform(corpus) y df[label].values X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) model LogisticRegression(max_iter1000, class_weightbalanced) model.fit(X_train, y_train) y_pred model.predict(X_test) print(classification_report(y_test, y_pred, target_names[负向, 中性, 正向])) print(confusion_matrix(y_test, y_pred))两个参数需要特别说明。train_test_split里的stratifyy表示按类别比例分层划分避免随机切分后测试集恰好全是好评导致指标虚高。class_weightbalanced让模型根据类别数量自动调权重差评样本少但权重高模型不会为了整体准确率而无视差评。max_iter1000是把逻辑回归的最大迭代次数从默认的100调大否则数据特征多时经常报“不收敛”的警告模型参数还没学好就被强制停止了。4.3 先看差评召回率再看准确率训练完会输出一份classification_report很多人只盯着准确率看。举一个真实常见的输出类别precisionrecallf1-score负向0.820.710.76中性0.650.520.58正向0.910.950.93accuracy0.88整体准确率0.88看起来不错但中性类的F1只有0.58说明中性评论基本分不准。更关键的是负向的召回率0.71意味着29%的差评被漏掉了。对电商场景来说漏掉一条差评比错杀一条好评严重得多差评漏报会让问题商品继续挂在首页卖。所以看指标的顺序应该是先看负向的recall再看整体准确率最后看混淆矩阵。如果混淆矩阵里大量真实负向被预测成正向说明模型被好评占比带偏了需要回到类别不平衡的处理上去。4.4 类别不平衡让模型别再无视差评电商评论天然不平衡好评可能占90%差评只有5%。如果直接训练模型把所有评论都预测成好评准确率就有90%这就是个废物模型。第4.2节代码里的class_weightbalanced是第一个手段效果不够时再对少数类做过采样# 过采样让差评样本数量和好评一致 from sklearn.utils import resample df_major df[df[label] 1] df_minor_neg df[df[label] -1] df_minor_neu df[df[label] 0] df_neg_upsampled resample( df_minor_neg, replaceTrue, n_sampleslen(df_major), random_state42 ) df_neu_upsampled resample( df_minor_neu, replaceTrue, n_sampleslen(df_major), random_state42 ) df_balanced pd.concat([df_major, df_neg_upsampled, df_neu_upsampled]) print(df_balanced[label].value_counts())过采样的原理是对差评样本做有放回抽样复制到和好评一样多。它的缺点是会让模型对重复样本过拟合所以random_state固定住保证每次结果可复现。另一个方案是下采样随机丢弃一些好评样本但会损失大量数据。常见的做法是先用class_weightbalanced指标还不够好再考虑过采样。无论哪种方案评估一定要在原始分布的数据上进行在重采样后的测试集上测出来的数字没有参考价值。5. 避坑中文评论情感分析最常见的五个坑与排查方法5.1 编码乱码CSV读进来全是乱码现象用pandas的read_csv读评论文件中文全变成乱码或者直接抛UnicodeDecodeError。原因电商后台导出的CSV经常是GBK编码特别是用Excel另存过的文件而代码默认用UTF-8读取。解决读取时显式指定编码并加错误忽略兜底import pandas as pd df pd.read_csv(data/reviews.csv, encodinggbk, errorsignore)如果读出来还是乱码用文本编辑器打开CSV另存为UTF-8编码再试。另外导出CSV时如果列名是“评价内容”“评分”这样的中文记得在预处理脚本里做列名映射把“评价内容”改成content否则后面所有代码拿到KeyError。5.2 停用词表删掉“不”差评变成好评现象模型把“质量不好”判成正向准确率莫名其妙上不去。原因停用词表里把“不”当成了无意义词直接过滤。分词后“不”被删掉剩下的“好”让模型误判成好评。解决检查stopwords.txt里有没有否定词和程度副词。停用词表只应该删“的、了、啊、呢”这类虚词必须保留“不、没、太、很、非常”这类带情感倾向的修饰词。修改后重新跑一遍预处理验证一下“质量不好”的分词结果还包含“不”。5.3 单字情感词被误杀“好”“坏”消失不见现象评论“好用”分词后只剩“用”情感特征完全丢失。原因预处理代码里用len(w.strip()) 1过滤单字词把“好”“坏”“差”这些单字情感词一并删掉了。解决加载情感词典只过滤不在情感词典里的单字词。改动很小# 先加载情感词典 pos_words set(open(dict/pos_words.txt, encodingutf-8).read().splitlines()) neg_words set(open(dict/neg_words.txt, encodingutf-8).read().splitlines()) emotion_words pos_words | neg_words # 过滤条件改成单字词只有在情感词典里才保留 words [w for w in words if w not in stopwords and not w.isdigit() and (len(w.strip()) 1 or w in emotion_words)]5.4 类别不平衡准确率95%但差评全漏现象训练完准确率很高上线一看差评召回率只有30%全靠漏报换来的漂亮数字。原因好评占95%模型全部预测成好评就有95%准确率但它一条差评都认不出来。解决不要用准确率当主要指标。打印classification_report重点关注负向的recall和f1-score。同时用第4.4节的方法处理不平衡class_weightbalanced先上一遍不够再过采样。5.5 评分和文本矛盾1星评论内容是夸商品现象评论“东西很不错就是物流太慢等了一周才到”评分是1星模型按评分映射成负向但文本本身对商品是正向评价。原因一条评论里包含对商品、物流、客服多个对象的评价整体评分可能被物流拉低文本却夸商品。解决先分句再做情感判断或者把统计维度拆开按“商品质量”“物流服务”“客服态度”分别聚合情感。更实际的做法是接受这个噪声把弱标签只当训练基线最终以人工抽检结果为准。这类矛盾在电商评论里占比不低不用追求完美但要意识到准确率上不去的原因可能不在模型而在标签本身。6. 不满足于源码自带效果迁移到自己的商品数据并做可视化验证6.1 换成自己的数据三个步骤把源码包用到自己的数据上不需要改模型结构核心是三步先把数据导出成content和rating两列跑一遍预处理脚本接着用第2.4节的评分映射生成弱标签最后跑训练脚本看指标。有一个细节值得做从清洗后的文本里随机抽50条打印出来肉眼看一遍是不是人话。分词错不乱、标签基本合理再往下走。6.2 用词云验证差评问题一眼可见模型指标是统计视角业务方更想看差评到底在骂什么。词云是最直观的验证工具from wordcloud import WordCloud import matplotlib.pyplot as plt # 取出所有负向评论拼成一个大字符串 neg_text .join(df[df[label] -1][clean].tolist()) # 注意 font_path 要指向系统里存在的中文字体 wc WordCloud( font_pathmsyh.ttc, # Windows 用微软雅黑Linux 改 NotoSansCJK width800, height400, background_colorwhite ).generate(neg_text) plt.figure(figsize(10, 5)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.show()如果生成的中文词云全是方块就是font_path没指对字体文件Windows下用C:/Windows/Fonts/msyh.ttcLinux下找NotoSansCJK。词云里出现的词基本就是差评的核心原因比如“质量”“客服”“物流”“退货”。如果词云里出现一堆和业务无关的词说明预处理没洗干净回去补停用词表。6.3 人工抽检一百条样本换来的放心我早先做评论分析时第一版模型准确率很高上线一看差评基本漏光因为根本没看召回率。后来养成的习惯是每次训练完从预测结果里随机抽100条逐条对比模型判断和肉眼判断算一个人工一致率。重点看不一致的样本是不是否定句、反问句、嵌套句这类句子往往是模型的上限瓶颈。这个习惯帮我避免了很多次翻车也让业务方更愿意相信我给的结论。词云看宏观趋势人工抽检兜微观质量两件事做完这套源码才算真正落到你自己的数据上。希望帮到你。本文还有配套的精品资源点击获取