简介面向自然语言处理课程设计及期末大作业基于潜在狄利克雷分配主题模型LDA对豆瓣电影长评论进行分词与主题挖掘帮助分析评论热点与观众关注焦点适合具备基础Python语法、希望快速完成高分项目的本科生使用。项目已获导师指导并以97分通过压缩包内共有39个文件包含7个源码文件、8个文本数据、4个表格数据、1个字体文件及16个可视化图表等整体大小12.51MB结构清晰下载后可直接运行。目前已有208人学习下载。资源完整覆盖数据清洗、停用词过滤、主题建模、困惑度计算、主题词语分布、词云图与主题热力图等流程并内置模型训练、困惑度评估、词云绘制等脚本模块附带停用词表、中文字体和预处理后的豆瓣评论数据便于直接复现实验结果理解不同主题在评论中的分布与演化。既适合作为课程设计主体代码也能为期末报告或答辩演示提供完整支撑节省从零搭建的时间。1. 为什么用LDA而不是简单词频统计拿到豆瓣长评论做主题分析最先想到的往往是直接数词频、画个词云。词频能告诉你这部片子被提到最多的词是哪些但回答不了「评论者在讨论哪几个话题」以及「每个话题下有哪些特征词」。比如《庆余年》的评论里「范闲」「演技」可能同时出现在多个话题中依靠高频词会把「剧情讨论」「演员评价」「原著改编」混成一团。LDALatent Dirichlet Allocation是一种生成式概率主题模型它认为每篇评论是若干主题的混合每个主题是词语上的概率分布。训练完成后你能得到每条评论的主题分布矩阵也能看到每个主题最可能的词表。这个项目正是基于gensim实现的LDA完整流程包含从清洗、分词、构建词典到困惑度、主题一致性评估和可视化的全套代码配套豆瓣长评论数据适合做课程设计或期末大作业的完整复现。这个项目的价值不在于代码量而在于它把「文本预处理→建模→评估→可视化」这条主线完整走通。你会看到stopwords.txt如何影响最终结果perplexity.py和coherence.py分别衡量什么以及为什么单纯追求低困惑度会把模型带偏。下面按照一个可复现的顺序展开每部分都配有可以直接跑的脚本和参数说明帮你省掉从头调试的半天时间。2. 数据准备与中文分词先让语料能进模型2.1 从CSV到干净的分词列表项目中的原始数据是data/庆余年.csv每条记录对应一条豆瓣长评论。LDA的输入是「文档集合」每篇文档在送入gensim之前必须先变成「空格分隔的词序列」。这里最容易踩的坑是直接读CSV后评论里的换行、HTML实体、表情符号、英文标点都会混进分词结果。我一般会先做一层规则清洗import pandas as pd import re df pd.read_csv(data/庆余年.csv, encodingutf-8) raw df[comment].dropna().astype(str).tolist() def clean_text(text): text re.sub(r[^], , text) # 去HTML标签 text re.sub(rhttps?://\S|www\.\S, , text) # 去URL text re.sub(r[A-Za-z0-9], , text) # 去英文和数字 text re.sub(r\s, , text) # 合并空白 return text.strip() texts [clean_text(t) for t in raw] print(f清洗前样本: {len(raw)} 条清洗后有效: {len([t for t in texts if t])} 条)清洗逻辑说明re.sub按正则替换目标字符[^]匹配HTML标签https?://\S匹配URL[A-Za-z0-9]删除英文与数字。注意不要一次性把所有数字删掉有些剧评里第二季这样的词可能与剧情相关但LDA对数字的区分度很差通常还是去掉更稳。清洗之后是分词。项目里没有直接调jieba.analyse的TextRank而是用了基础jieba.lcut配合自定义词典。之所以不用默认分词直接跑是因为「庆余年」「范闲」「五竹」这类专有名词会被切成单字或错误组合导致主题结果碎片化。项目中提供了person.txt里面是自定义的人名和剧名建议在读入后主动加载import jieba jieba.load_userdict(data/person.txt) def tokenize(text): words jieba.lcut(text) return [w.strip() for w in words if w.strip()]load_userdict接受一个文本文件路径每行一个词也可以加上词频和词性。加载后jieba.lcut在切分「庆余年」「范闲」这些词时不会再拆开。如果换成其他剧的数据这里就要替换成对应的角色名和作品名。2.2 停用词表的作用与选择stopwords.txt是分词后过滤的第二步。没有停用词表时「我们」「一个」「真的」「感觉」「知道」这类高频无义词汇会占据主题词表的前几位让困惑度和一致性指标看起来不错但主题毫无区分度。项目中给的停用词表是通用中文停用词加豆瓣评论高频无义词我建议你在跑之前先看一遍wc -l data/stopwords.txt head -50 data/stopwords.txtwc -l统计行数head -50预览前50行。你会发现里面除了「的」「了」「是」还有「觉得」「这种」「因为」。如果你处理的是其他题材的评论比如科幻片还需要补充「设定」「世界观」这类词否则它们会反复出现在多个主题里。停用词过滤的代码在lda_topic.py中通常写成stopwords set() with open(data/stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def filter_stopwords(words): return [w for w in words if w not in stopwords and len(w) 1]参数说明过滤时同时要求len(w) 1把单字词除了像「人」「家」这类实义单字直接丢弃。单字停留词在LDA里往往是干扰项因为它们在很多上下文中都出现会增加主题之间的重叠度。这个过滤函数返回的是新的词列表原列表不会被修改方便后续对比。2.3 分词结果的验证看你不该看的东西分词和停用词做完后必须直接打印一部分中间结果确认而不是闷头建模。这一步很多人跳过最后主题词全是「这个」「一个」才回头找原因。常见的验证方式是取前200条评论把分词后的列表前20个词打出来from collections import Counter all_words [w for tokens in tokenized_docs for w in tokens] top_words Counter(all_words).most_common(30) for word, count in top_words: print(f{word}\t{count})如果这个列表里出现了明显的剧名主语如「庆余年」「范闲」说明分词词典生效如果全是「真的」「就是」这类词说明停用词表还需要扩充。这一步花的5分钟能省下后面调LDA参数的半天时间。另外还要留意词频曲线是否平滑如果前几个词频率异常高通常是清洗时没有把重复标点产生的空串处理好。3. 基于gensim的LDA建模从词典到主题-词分布3.1 构建词典与语料库表示gensim要求先把分词后的文档列表变成「词袋」形式。词典的作用是为每个词分配一个整数ID并过滤掉极端词。项目中的basic.py和lda_model_gensim.py分工明确前者负责数据读取和预处理后者负责建模。核心代码是from gensim.corpora.dictionary import Dictionary from gensim.models import LdaModel from gensim.models.coherencemodel import CoherenceModel dictionary Dictionary(tokenized_docs) # 过滤出现在少于5篇文档中的词以及出现在超过60%文档中的词 dictionary.filter_extremes(no_below5, no_above0.6) corpus [dictionary.doc2bow(doc) for doc in tokenized_docs] print(词典规模:, len(dictionary)) print(语料库文档数:, len(corpus))no_below5表示至少在5篇评论里出现过的词才保留no_above0.6表示在超过60%评论里都出现的词会被删除。这两个参数对结果影响很大。对于豆瓣长评论这种文本长度参差不齐的语料no_below我一般设310no_above设0.50.7。如果评论数量少no_below设太低会让词典膨胀到几万个词建模速度骤降设太高又会丢掉专有名词。doc2bow返回的是(词ID, 词频)元组列表gensim的LDA只认这种格式。3.2 主题数量的选择困惑度与一致性LDA最核心的超参数是主题数num_topics项目里用两个脚本评估不同主题数的效果。perplexity.py计算困惑度coherence.py计算主题一致性。困惑度的计算方式import numpy as np from gensim.models import LdaModel def compute_perplexities(corpus, dictionary, range_topics): results [] for num_topics in range_topics: model LdaModel(corpuscorpus, id2worddictionary, num_topicsnum_topics, random_state42, passes20, alphaauto, etaauto) perplexity model.log_perplexity(corpus) results.append((num_topics, np.exp2(-perplexity))) return resultslog_perplexity返回的是以2为底的对数困惑度越小代表模型对语料的拟合度越高。passes20表示整个语料库被迭代训练20轮轮数太少模型不收敛太多则过拟合。alphaauto和etaauto是让模型自动学习文档-主题分布和主题-词分布的稀疏参数对于评论这种长短不一、主题分散的文本自动估计比手动固定值更稳。只看困惑度有个陷阱主题数越多困惑度几乎必然越低但这不代表主题更可解释。因此项目里同时用了CoherenceModel计算主题一致性通常用c_v指标from gensim.models.coherencemodel import CoherenceModel coherence_model CoherenceModel(modelmodel, textstokenized_docs, dictionarydictionary, coherencec_v) score coherence_model.get_coherence() print(f主题数 {num_topics}: 一致性 {score:.4f})c_v一致性衡量的是每个主题下高概率词之间的语义相似度。它不依赖外部语料而是基于词共现统计。经验上c_v分数的范围大致在0.30.7之间低于0.3的主题基本不可读高于0.5的主题已经比较清晰。项目里output/topic_perplexity.png和lda_topic_coherence.png就是这两个指标的折线图横轴是主题数纵轴分别是对数困惑度和一致性分数。你不需要同时取两个指标的最优交叉点常见的做法是优先选一致性曲线开始平稳下降或出现峰值的位置再回看主题词表人工确认。3.3 训练参数与随机种子最终模型训练建议把random_state固定否则每次运行得到的主题词表顺序和分布都不同。这样写final_model LdaModel( corpuscorpus, id2worddictionary, num_topics8, random_state2024, chunksize2000, passes20, alphaasymmetric, etaNone, iterations400, per_word_topicsTrue )参数说明参数值作用chunksize2000每次处理的文档数影响内存与收敛速度passes20全语料迭代轮数iterations400每篇文档的采样迭代次数alphaasymmetric非对称狄利克雷先验更适合主题大小不均匀的评论语料per_word_topicsTrue输出每个词的主题分布供可视化使用chunksize配合passes决定训练耗时评论数在几千条时chunksize2000和passes20大约能在2分钟内跑完。如果换成alphaauto前几轮训练会自动估算alpha值但如果语料太短估计值可能不稳定所以正式训练时推荐用asymmetric。etaNone表示使用默认的对称先验即所有主题在词分布上无偏好如果需要强制某些主题更集中于特定词可以传一个向量。3.4 保存与加载模型建模完成后需要把词典和模型持久化否则每次运行都要重新分词。项目中的lda_model_gensim.py会生成lda.model和lda.model.id2word等文件。加载方式如下from gensim.models import LdaModel from gensim.corpora.dictionary import Dictionary loaded_model LdaModel.load(lda.model) dictionary Dictionary.load(lda.id2word).load是gensim自带的反序列化方法。注意模型文件里包含字典的ID映射但停用词过滤和分词结果不会保存因此加载模型后如果要对新评论做预测仍需要走一遍相同的clean_text→jieba.lcut→ 过滤 →doc2bow流程。我一般会把预处理函数单独放到basic.py里用if __name__ __main__控制执行方便其他脚本复用。4. 主题可视化与结果解读从概率分布到词云热力图4.1 每个主题下的高频词与主题命名训练得到模型后第一件事是打印每个主题的Top词人工给主题命名。这是LDA项目里最体现经验的一步。lda_topic.py里常见的做法是for idx, topic in final_model.print_topics(num_words10): print(f主题 {idx}: {topic})输出是一组词1*权重 词2*权重形式的字符串。权重越大表示该词与这个主题的关联越强。比如某个主题可能是0.032*剧情 0.021*节奏 0.015*编剧你可以把它命名为「剧情节奏」另一个主题里出现0.041*张若昀 0.033*演技 0.028*诠释可以命名为「演员表演」。命名时要看前20个词不要只看前5个因为前10个词通常有较好的区分度1020个词会带来干扰。如果某个主题前20个词里依然找不到一个统一的概念这个主题应该被舍弃或者合并到邻近主题。4.2 用pyLDAvis做交互式主题探索gensim自带一个导出pyLDAvis数据的接口项目代码里通常会在lda_topic.py后半段调用。生成交互式HTML的完整代码import pyLDAvis.gensim_models as gensimvis import pyLDAvis vis_data gensimvis.prepare(final_model, corpus, dictionary) pyLDAvis.save_html(vis_data, output/lda_visualization.html)说明gensimvis是pyLDAvis针对新版gensim的适配模块。prepare需要三个参数训练好的模型、词袋语料、词典。保存的HTML文件包含左侧主题气泡图和右侧词条条形图。左侧气泡面积代表主题在语料中的占比气泡重叠程度反映主题间相似度。这个文件可以直接用浏览器打开适合放进答辩PPT里展示比静态PNG更有说服力。如果你在Jupyter Notebook里跑可以直接用pyLDAvis.display(vis_data)内嵌显示不需要存文件。4.3 词云word_cloud.py的作用词云在项目里不是核心分析但作为大作业的展示加分项很合适。word_cloud.py会读取某个主题的高频词生成词云图/目录下的图片。关键点在于中文字体Windows下默认字体不包含汉字画词云会变成黑色方块。项目里带了kaiti.TTF使用时要指定字体路径from wordcloud import WordCloud wc WordCloud( font_pathdata/kaiti.TTF, width1200, height800, background_colorwhite, max_words200 ) wc.generate_from_frequencies(word_freq_dict) wc.to_file(输出路径/词云图.png)max_words200控制词语数量generate_from_frequencies接受一个字典键是词值是频率。这里要注意word_cloud.py里的word_freq_dict通常来自某个主题的概率分布而不是全语料词频。如果把全语料词频直接画词云等于回到第1章说的问题分不清主题。所以正确流程是先从LDA模型里取出某个主题的词-概率列表再送进WordCloud。取主题词的代码是topic_word_dist final_model.get_topic_terms(topic_id, topn50) word_freq_dict {dictionary[wid]: float(prob) for wid, prob in topic_word_dist}get_topic_terms返回(词ID, 概率)列表topn50取前50个词。用概率而非词频做词云能体现主题对词的偏好而不是语料里的全局频率。4.4 文档-主题分布与热力图doc_top_topic和topic_heatmap_comm15.png展示的是每条评论更偏向哪个主题。项目里的perplexity.py或basic.py中有一块代码会计算所有文档的主题分布矩阵import numpy as np doc_topic_matrix [] for bow in corpus: topic_dist final_model.get_document_topics(bow, minimum_probability0.05) dist_vec np.zeros(final_model.num_topics) for topic_id, prob in topic_dist: dist_vec[topic_id] prob doc_topic_matrix.append(dist_vec) doc_topic_matrix np.array(doc_topic_matrix) print(doc_topic_matrix.shape) # (评论数, 主题数)get_document_topics返回该文档在每个主题上的概率minimum_probability0.05表示低于0.05的概率直接视为0减少矩阵稀疏度。得到的矩阵每一行和为1如果不设置截断否则可能不等于1。画热力图时横轴是主题ID纵轴是评论ID颜色越深表示该评论在这个主题上的概率越高。通过热力图能直观看到哪些评论是「纯剧情讨论」哪些是「演员和剧情混合讨论」。热力图的绘制建议用seaborn的clustermap它会对行列做聚类让相似主题和相似评论靠在一起模式更清晰import seaborn as sns sns.clustermap(doc_topic_matrix, cmapviridis, figsize(12, 10))clustermap默认使用层次聚类cmap控制颜色映射figsize控制图片大小。如果评论数超过1000条建议先按最大主题概率分组每组抽几条画图否则纵轴标签会重叠成一团黑色。5. 源码文件结构与复跑指南避开三个常见坑5.1 压缩包里的文件职责划分解压后你会看到这些文件它们的分工如下表文件/目录作用basic.py数据读取、清洗、分词、停用词过滤输出中间结果lda_model_gensim.py基于gensim训练LDA、保存模型perplexity.py计算不同主题数下的困惑度并绘图coherence.py计算不同主题数下的一致性与perplexity互为补充lda_topic.py整合建模、主题词打印、pyLDAvis导出word_cloud.py生成词云图需指定字体路径data/庆余年.csv、person.txt、stopwords.txt、kaiti.TTFoutput/已有运行结果图片可作为输出参照复跑顺序不一定是文件名顺序。正确的执行顺序应该是先跑basic.py生成分词中间结果再跑perplexity.py和coherence.py确定主题数接着跑lda_model_gensim.py训练最终模型最后用lda_topic.py出可视化。如果只做定性分析可以跳过perplexity.py但一致性评估不建议跳过。我个人的习惯是直接在命令行分步执行python basic.py python perplexity.py --min_topics 3 --max_topics 15 python coherence.py --min_topics 3 --max_topics 15 python lda_model_gensim.py --num_topics 8 python lda_topic.py python word_cloud.py--min_topics和--max_topics是脚本里定义的argparse参数用来控制搜索范围。如果你的脚本没有这些参数直接改range(3, 16)也可以。5.2 复跑必知的环境版本requirements.txt项目里未必有但根据代码涉及到的库推荐以下版本组合gensim4.3.2、jieba0.42.1、pandas2.0.3、matplotlib3.7.2、pyLDAvis3.4.1、wordcloud1.9.3。注意gensim从4.0开始移除了gensim.models.ldamodel里的旧接口如果你的环境装了3.8.xpyLDAvis.gensim_models会导入失败需要改成pyLDAvis.gensim。反过来新版gensim 4.x配合旧版pyLDAvis也会报TypeError: unsupported operand type(s)。所以在lda_topic.py里看到import pyLDAvis.gensim_models时请先确认自己的gensim版本python -c import gensim; print(gensim.__version__)如果版本低于4.0gensim_models不存在应改为import pyLDAvis.gensim。这是整个项目里最常见的环境报错比模型本身的问题出现频率高得多。另外wordcloud库在Python 3.12以上版本需要编译如果安装失败建议降到Python 3.10或使用conda install -c conda-forge wordcloud。5.3 中文字体与绘图的坑kaiti.TTF在data/目录下但matplotlib绘图不会自动读取这个文件。如果你运行perplexity.py或coherence.py后发现图里的中文全部变成方块需要在绘图脚本开头加上import matplotlib.pyplot as plt from matplotlib import font_manager font_path data/kaiti.TTF font_prop font_manager.FontProperties(fnamefont_path) plt.rcParams[font.family] font_prop.get_name()FontProperties(fname...)从绝对路径加载字体plt.rcParams[font.family]直接把该字体设为全局默认。注意不要只设font.family而忘了axes.unicode_minusFalse否则坐标轴上的负号会显示成方块plt.rcParams[axes.unicode_minus] False这个配置要放在所有其他import matplotlib语句之后、绘图函数之前。如果你是在Jupyter里跑还需要%matplotlib inline才能显示图。5.4 换数据集时的三个必改参数如果你不想用庆余年想把自己的CSV评论跑一遍只需要动三个地方。第一是basic.py里的CSV列名默认读取comment列如果你的列叫content需要改df[content]。第二是person.txt换成新数据的人名和专有名词否则分词效果会变差。第三是no_below和no_above两个过滤阈值评论总条数少于500时把no_below降到3条数超过5000时可以把no_above降到0.5防止「好看的」「剧情」这类通用词霸占所有主题。还有一个容易忽略的点basic.py里的encoding参数。如果CSV文件是GBK编码encodingutf-8会直接报UnicodeDecodeError改成encodinggbk或使用encodinggb18030更稳妥。判断编码最简单的方式是用chardet库检测或者直接用file data/庆余年.csv命令看输出信息。5.5 验证你的模型输出是否合理跑完整个流程后用下面这个脚本快速核验主题质量而不只是看复杂的可视化topics final_model.print_topics(num_topicsfinal_model.num_topics, num_words8) for topic_id, topic_str in topics: words [item.split(*)[1].strip() for item in topic_str.split()] print(f主题 {topic_id}: {、.join(words)})观察每个主题里是否有至少4个词能够共同构成一个可命名的概念。比如「演技、表现、角色、塑造」可以命名「演员表演」「节奏、剧情、剧本、剪辑」可以命名「制作质量」。如果某个主题的前8个词里混入了「一个、没有、就是」这类词说明停用词表覆盖不够需要回到2.2节补充。如果两个主题的前8个词高度重叠说明num_topics设定偏大回到3.2节减小主题数重新训练。这一步是LDA项目里最常被忽略的「人工验收环节」交作业前务必做一次。本文还有配套的精品资源点击获取 
长河君 · 2026/9/13 4:29:57 · 阅读 1.2k 基于gensim的LDA主题建模实战：从中文文本预处理到主题可视化
简介面向自然语言处理课程设计及期末大作业基于潜在狄利克雷分配主题模型LDA对豆瓣电影长评论进行分词与主题挖掘帮助分析评论热点与观众关注焦点适合具备基础Python语法、希望快速完成高分项目的本科生使用。项目已获导师指导并以97分通过压缩包内共有39个文件包含7个源码文件、8个文本数据、4个表格数据、1个字体文件及16个可视化图表等整体大小12.51MB结构清晰下载后可直接运行。目前已有208人学习下载。资源完整覆盖数据清洗、停用词过滤、主题建模、困惑度计算、主题词语分布、词云图与主题热力图等流程并内置模型训练、困惑度评估、词云绘制等脚本模块附带停用词表、中文字体和预处理后的豆瓣评论数据便于直接复现实验结果理解不同主题在评论中的分布与演化。既适合作为课程设计主体代码也能为期末报告或答辩演示提供完整支撑节省从零搭建的时间。1. 为什么用LDA而不是简单词频统计拿到豆瓣长评论做主题分析最先想到的往往是直接数词频、画个词云。词频能告诉你这部片子被提到最多的词是哪些但回答不了「评论者在讨论哪几个话题」以及「每个话题下有哪些特征词」。比如《庆余年》的评论里「范闲」「演技」可能同时出现在多个话题中依靠高频词会把「剧情讨论」「演员评价」「原著改编」混成一团。LDALatent Dirichlet Allocation是一种生成式概率主题模型它认为每篇评论是若干主题的混合每个主题是词语上的概率分布。训练完成后你能得到每条评论的主题分布矩阵也能看到每个主题最可能的词表。这个项目正是基于gensim实现的LDA完整流程包含从清洗、分词、构建词典到困惑度、主题一致性评估和可视化的全套代码配套豆瓣长评论数据适合做课程设计或期末大作业的完整复现。这个项目的价值不在于代码量而在于它把「文本预处理→建模→评估→可视化」这条主线完整走通。你会看到stopwords.txt如何影响最终结果perplexity.py和coherence.py分别衡量什么以及为什么单纯追求低困惑度会把模型带偏。下面按照一个可复现的顺序展开每部分都配有可以直接跑的脚本和参数说明帮你省掉从头调试的半天时间。2. 数据准备与中文分词先让语料能进模型2.1 从CSV到干净的分词列表项目中的原始数据是data/庆余年.csv每条记录对应一条豆瓣长评论。LDA的输入是「文档集合」每篇文档在送入gensim之前必须先变成「空格分隔的词序列」。这里最容易踩的坑是直接读CSV后评论里的换行、HTML实体、表情符号、英文标点都会混进分词结果。我一般会先做一层规则清洗import pandas as pd import re df pd.read_csv(data/庆余年.csv, encodingutf-8) raw df[comment].dropna().astype(str).tolist() def clean_text(text): text re.sub(r[^], , text) # 去HTML标签 text re.sub(rhttps?://\S|www\.\S, , text) # 去URL text re.sub(r[A-Za-z0-9], , text) # 去英文和数字 text re.sub(r\s, , text) # 合并空白 return text.strip() texts [clean_text(t) for t in raw] print(f清洗前样本: {len(raw)} 条清洗后有效: {len([t for t in texts if t])} 条)清洗逻辑说明re.sub按正则替换目标字符[^]匹配HTML标签https?://\S匹配URL[A-Za-z0-9]删除英文与数字。注意不要一次性把所有数字删掉有些剧评里第二季这样的词可能与剧情相关但LDA对数字的区分度很差通常还是去掉更稳。清洗之后是分词。项目里没有直接调jieba.analyse的TextRank而是用了基础jieba.lcut配合自定义词典。之所以不用默认分词直接跑是因为「庆余年」「范闲」「五竹」这类专有名词会被切成单字或错误组合导致主题结果碎片化。项目中提供了person.txt里面是自定义的人名和剧名建议在读入后主动加载import jieba jieba.load_userdict(data/person.txt) def tokenize(text): words jieba.lcut(text) return [w.strip() for w in words if w.strip()]load_userdict接受一个文本文件路径每行一个词也可以加上词频和词性。加载后jieba.lcut在切分「庆余年」「范闲」这些词时不会再拆开。如果换成其他剧的数据这里就要替换成对应的角色名和作品名。2.2 停用词表的作用与选择stopwords.txt是分词后过滤的第二步。没有停用词表时「我们」「一个」「真的」「感觉」「知道」这类高频无义词汇会占据主题词表的前几位让困惑度和一致性指标看起来不错但主题毫无区分度。项目中给的停用词表是通用中文停用词加豆瓣评论高频无义词我建议你在跑之前先看一遍wc -l data/stopwords.txt head -50 data/stopwords.txtwc -l统计行数head -50预览前50行。你会发现里面除了「的」「了」「是」还有「觉得」「这种」「因为」。如果你处理的是其他题材的评论比如科幻片还需要补充「设定」「世界观」这类词否则它们会反复出现在多个主题里。停用词过滤的代码在lda_topic.py中通常写成stopwords set() with open(data/stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def filter_stopwords(words): return [w for w in words if w not in stopwords and len(w) 1]参数说明过滤时同时要求len(w) 1把单字词除了像「人」「家」这类实义单字直接丢弃。单字停留词在LDA里往往是干扰项因为它们在很多上下文中都出现会增加主题之间的重叠度。这个过滤函数返回的是新的词列表原列表不会被修改方便后续对比。2.3 分词结果的验证看你不该看的东西分词和停用词做完后必须直接打印一部分中间结果确认而不是闷头建模。这一步很多人跳过最后主题词全是「这个」「一个」才回头找原因。常见的验证方式是取前200条评论把分词后的列表前20个词打出来from collections import Counter all_words [w for tokens in tokenized_docs for w in tokens] top_words Counter(all_words).most_common(30) for word, count in top_words: print(f{word}\t{count})如果这个列表里出现了明显的剧名主语如「庆余年」「范闲」说明分词词典生效如果全是「真的」「就是」这类词说明停用词表还需要扩充。这一步花的5分钟能省下后面调LDA参数的半天时间。另外还要留意词频曲线是否平滑如果前几个词频率异常高通常是清洗时没有把重复标点产生的空串处理好。3. 基于gensim的LDA建模从词典到主题-词分布3.1 构建词典与语料库表示gensim要求先把分词后的文档列表变成「词袋」形式。词典的作用是为每个词分配一个整数ID并过滤掉极端词。项目中的basic.py和lda_model_gensim.py分工明确前者负责数据读取和预处理后者负责建模。核心代码是from gensim.corpora.dictionary import Dictionary from gensim.models import LdaModel from gensim.models.coherencemodel import CoherenceModel dictionary Dictionary(tokenized_docs) # 过滤出现在少于5篇文档中的词以及出现在超过60%文档中的词 dictionary.filter_extremes(no_below5, no_above0.6) corpus [dictionary.doc2bow(doc) for doc in tokenized_docs] print(词典规模:, len(dictionary)) print(语料库文档数:, len(corpus))no_below5表示至少在5篇评论里出现过的词才保留no_above0.6表示在超过60%评论里都出现的词会被删除。这两个参数对结果影响很大。对于豆瓣长评论这种文本长度参差不齐的语料no_below我一般设310no_above设0.50.7。如果评论数量少no_below设太低会让词典膨胀到几万个词建模速度骤降设太高又会丢掉专有名词。doc2bow返回的是(词ID, 词频)元组列表gensim的LDA只认这种格式。3.2 主题数量的选择困惑度与一致性LDA最核心的超参数是主题数num_topics项目里用两个脚本评估不同主题数的效果。perplexity.py计算困惑度coherence.py计算主题一致性。困惑度的计算方式import numpy as np from gensim.models import LdaModel def compute_perplexities(corpus, dictionary, range_topics): results [] for num_topics in range_topics: model LdaModel(corpuscorpus, id2worddictionary, num_topicsnum_topics, random_state42, passes20, alphaauto, etaauto) perplexity model.log_perplexity(corpus) results.append((num_topics, np.exp2(-perplexity))) return resultslog_perplexity返回的是以2为底的对数困惑度越小代表模型对语料的拟合度越高。passes20表示整个语料库被迭代训练20轮轮数太少模型不收敛太多则过拟合。alphaauto和etaauto是让模型自动学习文档-主题分布和主题-词分布的稀疏参数对于评论这种长短不一、主题分散的文本自动估计比手动固定值更稳。只看困惑度有个陷阱主题数越多困惑度几乎必然越低但这不代表主题更可解释。因此项目里同时用了CoherenceModel计算主题一致性通常用c_v指标from gensim.models.coherencemodel import CoherenceModel coherence_model CoherenceModel(modelmodel, textstokenized_docs, dictionarydictionary, coherencec_v) score coherence_model.get_coherence() print(f主题数 {num_topics}: 一致性 {score:.4f})c_v一致性衡量的是每个主题下高概率词之间的语义相似度。它不依赖外部语料而是基于词共现统计。经验上c_v分数的范围大致在0.30.7之间低于0.3的主题基本不可读高于0.5的主题已经比较清晰。项目里output/topic_perplexity.png和lda_topic_coherence.png就是这两个指标的折线图横轴是主题数纵轴分别是对数困惑度和一致性分数。你不需要同时取两个指标的最优交叉点常见的做法是优先选一致性曲线开始平稳下降或出现峰值的位置再回看主题词表人工确认。3.3 训练参数与随机种子最终模型训练建议把random_state固定否则每次运行得到的主题词表顺序和分布都不同。这样写final_model LdaModel( corpuscorpus, id2worddictionary, num_topics8, random_state2024, chunksize2000, passes20, alphaasymmetric, etaNone, iterations400, per_word_topicsTrue )参数说明参数值作用chunksize2000每次处理的文档数影响内存与收敛速度passes20全语料迭代轮数iterations400每篇文档的采样迭代次数alphaasymmetric非对称狄利克雷先验更适合主题大小不均匀的评论语料per_word_topicsTrue输出每个词的主题分布供可视化使用chunksize配合passes决定训练耗时评论数在几千条时chunksize2000和passes20大约能在2分钟内跑完。如果换成alphaauto前几轮训练会自动估算alpha值但如果语料太短估计值可能不稳定所以正式训练时推荐用asymmetric。etaNone表示使用默认的对称先验即所有主题在词分布上无偏好如果需要强制某些主题更集中于特定词可以传一个向量。3.4 保存与加载模型建模完成后需要把词典和模型持久化否则每次运行都要重新分词。项目中的lda_model_gensim.py会生成lda.model和lda.model.id2word等文件。加载方式如下from gensim.models import LdaModel from gensim.corpora.dictionary import Dictionary loaded_model LdaModel.load(lda.model) dictionary Dictionary.load(lda.id2word).load是gensim自带的反序列化方法。注意模型文件里包含字典的ID映射但停用词过滤和分词结果不会保存因此加载模型后如果要对新评论做预测仍需要走一遍相同的clean_text→jieba.lcut→ 过滤 →doc2bow流程。我一般会把预处理函数单独放到basic.py里用if __name__ __main__控制执行方便其他脚本复用。4. 主题可视化与结果解读从概率分布到词云热力图4.1 每个主题下的高频词与主题命名训练得到模型后第一件事是打印每个主题的Top词人工给主题命名。这是LDA项目里最体现经验的一步。lda_topic.py里常见的做法是for idx, topic in final_model.print_topics(num_words10): print(f主题 {idx}: {topic})输出是一组词1*权重 词2*权重形式的字符串。权重越大表示该词与这个主题的关联越强。比如某个主题可能是0.032*剧情 0.021*节奏 0.015*编剧你可以把它命名为「剧情节奏」另一个主题里出现0.041*张若昀 0.033*演技 0.028*诠释可以命名为「演员表演」。命名时要看前20个词不要只看前5个因为前10个词通常有较好的区分度1020个词会带来干扰。如果某个主题前20个词里依然找不到一个统一的概念这个主题应该被舍弃或者合并到邻近主题。4.2 用pyLDAvis做交互式主题探索gensim自带一个导出pyLDAvis数据的接口项目代码里通常会在lda_topic.py后半段调用。生成交互式HTML的完整代码import pyLDAvis.gensim_models as gensimvis import pyLDAvis vis_data gensimvis.prepare(final_model, corpus, dictionary) pyLDAvis.save_html(vis_data, output/lda_visualization.html)说明gensimvis是pyLDAvis针对新版gensim的适配模块。prepare需要三个参数训练好的模型、词袋语料、词典。保存的HTML文件包含左侧主题气泡图和右侧词条条形图。左侧气泡面积代表主题在语料中的占比气泡重叠程度反映主题间相似度。这个文件可以直接用浏览器打开适合放进答辩PPT里展示比静态PNG更有说服力。如果你在Jupyter Notebook里跑可以直接用pyLDAvis.display(vis_data)内嵌显示不需要存文件。4.3 词云word_cloud.py的作用词云在项目里不是核心分析但作为大作业的展示加分项很合适。word_cloud.py会读取某个主题的高频词生成词云图/目录下的图片。关键点在于中文字体Windows下默认字体不包含汉字画词云会变成黑色方块。项目里带了kaiti.TTF使用时要指定字体路径from wordcloud import WordCloud wc WordCloud( font_pathdata/kaiti.TTF, width1200, height800, background_colorwhite, max_words200 ) wc.generate_from_frequencies(word_freq_dict) wc.to_file(输出路径/词云图.png)max_words200控制词语数量generate_from_frequencies接受一个字典键是词值是频率。这里要注意word_cloud.py里的word_freq_dict通常来自某个主题的概率分布而不是全语料词频。如果把全语料词频直接画词云等于回到第1章说的问题分不清主题。所以正确流程是先从LDA模型里取出某个主题的词-概率列表再送进WordCloud。取主题词的代码是topic_word_dist final_model.get_topic_terms(topic_id, topn50) word_freq_dict {dictionary[wid]: float(prob) for wid, prob in topic_word_dist}get_topic_terms返回(词ID, 概率)列表topn50取前50个词。用概率而非词频做词云能体现主题对词的偏好而不是语料里的全局频率。4.4 文档-主题分布与热力图doc_top_topic和topic_heatmap_comm15.png展示的是每条评论更偏向哪个主题。项目里的perplexity.py或basic.py中有一块代码会计算所有文档的主题分布矩阵import numpy as np doc_topic_matrix [] for bow in corpus: topic_dist final_model.get_document_topics(bow, minimum_probability0.05) dist_vec np.zeros(final_model.num_topics) for topic_id, prob in topic_dist: dist_vec[topic_id] prob doc_topic_matrix.append(dist_vec) doc_topic_matrix np.array(doc_topic_matrix) print(doc_topic_matrix.shape) # (评论数, 主题数)get_document_topics返回该文档在每个主题上的概率minimum_probability0.05表示低于0.05的概率直接视为0减少矩阵稀疏度。得到的矩阵每一行和为1如果不设置截断否则可能不等于1。画热力图时横轴是主题ID纵轴是评论ID颜色越深表示该评论在这个主题上的概率越高。通过热力图能直观看到哪些评论是「纯剧情讨论」哪些是「演员和剧情混合讨论」。热力图的绘制建议用seaborn的clustermap它会对行列做聚类让相似主题和相似评论靠在一起模式更清晰import seaborn as sns sns.clustermap(doc_topic_matrix, cmapviridis, figsize(12, 10))clustermap默认使用层次聚类cmap控制颜色映射figsize控制图片大小。如果评论数超过1000条建议先按最大主题概率分组每组抽几条画图否则纵轴标签会重叠成一团黑色。5. 源码文件结构与复跑指南避开三个常见坑5.1 压缩包里的文件职责划分解压后你会看到这些文件它们的分工如下表文件/目录作用basic.py数据读取、清洗、分词、停用词过滤输出中间结果lda_model_gensim.py基于gensim训练LDA、保存模型perplexity.py计算不同主题数下的困惑度并绘图coherence.py计算不同主题数下的一致性与perplexity互为补充lda_topic.py整合建模、主题词打印、pyLDAvis导出word_cloud.py生成词云图需指定字体路径data/庆余年.csv、person.txt、stopwords.txt、kaiti.TTFoutput/已有运行结果图片可作为输出参照复跑顺序不一定是文件名顺序。正确的执行顺序应该是先跑basic.py生成分词中间结果再跑perplexity.py和coherence.py确定主题数接着跑lda_model_gensim.py训练最终模型最后用lda_topic.py出可视化。如果只做定性分析可以跳过perplexity.py但一致性评估不建议跳过。我个人的习惯是直接在命令行分步执行python basic.py python perplexity.py --min_topics 3 --max_topics 15 python coherence.py --min_topics 3 --max_topics 15 python lda_model_gensim.py --num_topics 8 python lda_topic.py python word_cloud.py--min_topics和--max_topics是脚本里定义的argparse参数用来控制搜索范围。如果你的脚本没有这些参数直接改range(3, 16)也可以。5.2 复跑必知的环境版本requirements.txt项目里未必有但根据代码涉及到的库推荐以下版本组合gensim4.3.2、jieba0.42.1、pandas2.0.3、matplotlib3.7.2、pyLDAvis3.4.1、wordcloud1.9.3。注意gensim从4.0开始移除了gensim.models.ldamodel里的旧接口如果你的环境装了3.8.xpyLDAvis.gensim_models会导入失败需要改成pyLDAvis.gensim。反过来新版gensim 4.x配合旧版pyLDAvis也会报TypeError: unsupported operand type(s)。所以在lda_topic.py里看到import pyLDAvis.gensim_models时请先确认自己的gensim版本python -c import gensim; print(gensim.__version__)如果版本低于4.0gensim_models不存在应改为import pyLDAvis.gensim。这是整个项目里最常见的环境报错比模型本身的问题出现频率高得多。另外wordcloud库在Python 3.12以上版本需要编译如果安装失败建议降到Python 3.10或使用conda install -c conda-forge wordcloud。5.3 中文字体与绘图的坑kaiti.TTF在data/目录下但matplotlib绘图不会自动读取这个文件。如果你运行perplexity.py或coherence.py后发现图里的中文全部变成方块需要在绘图脚本开头加上import matplotlib.pyplot as plt from matplotlib import font_manager font_path data/kaiti.TTF font_prop font_manager.FontProperties(fnamefont_path) plt.rcParams[font.family] font_prop.get_name()FontProperties(fname...)从绝对路径加载字体plt.rcParams[font.family]直接把该字体设为全局默认。注意不要只设font.family而忘了axes.unicode_minusFalse否则坐标轴上的负号会显示成方块plt.rcParams[axes.unicode_minus] False这个配置要放在所有其他import matplotlib语句之后、绘图函数之前。如果你是在Jupyter里跑还需要%matplotlib inline才能显示图。5.4 换数据集时的三个必改参数如果你不想用庆余年想把自己的CSV评论跑一遍只需要动三个地方。第一是basic.py里的CSV列名默认读取comment列如果你的列叫content需要改df[content]。第二是person.txt换成新数据的人名和专有名词否则分词效果会变差。第三是no_below和no_above两个过滤阈值评论总条数少于500时把no_below降到3条数超过5000时可以把no_above降到0.5防止「好看的」「剧情」这类通用词霸占所有主题。还有一个容易忽略的点basic.py里的encoding参数。如果CSV文件是GBK编码encodingutf-8会直接报UnicodeDecodeError改成encodinggbk或使用encodinggb18030更稳妥。判断编码最简单的方式是用chardet库检测或者直接用file data/庆余年.csv命令看输出信息。5.5 验证你的模型输出是否合理跑完整个流程后用下面这个脚本快速核验主题质量而不只是看复杂的可视化topics final_model.print_topics(num_topicsfinal_model.num_topics, num_words8) for topic_id, topic_str in topics: words [item.split(*)[1].strip() for item in topic_str.split()] print(f主题 {topic_id}: {、.join(words)})观察每个主题里是否有至少4个词能够共同构成一个可命名的概念。比如「演技、表现、角色、塑造」可以命名「演员表演」「节奏、剧情、剧本、剪辑」可以命名「制作质量」。如果某个主题的前8个词里混入了「一个、没有、就是」这类词说明停用词表覆盖不够需要回到2.2节补充。如果两个主题的前8个词高度重叠说明num_topics设定偏大回到3.2节减小主题数重新训练。这一步是LDA项目里最常被忽略的「人工验收环节」交作业前务必做一次。本文还有配套的精品资源点击获取