每年到了毕业设计季我总能在后台收到大量类似的私信“想做一个招聘平台数据分析的系统用什么技术栈最稳”“Django 能不能直接调用 Matplotlib 出图”“题目里写着大数据和深度学习听起来很唬人到底怎么落地”这个选题我太熟悉了。招聘平台数据的分析与可视化表面上是“爬数据 画图 套个 Web 壳子”但实际上它是一个非常典型的“数据闭环”项目从数据采集、清洗、存储到分析建模、可视化呈现最后通过 Django 做成一个可交互的网页系统。如果你再把深度学习算法加进去比如薪资预测、岗位分类整个项目的完整度和答辩说服力会立刻提升一个档次。我最初接手类似项目的时候也以为难点在算法后来才发现真正的耗时间的地方全在数据预处理和图表集成这些细节上。这篇文章就按照我实际做过的项目路径把整个系统的设计思路、核心代码、踩坑记录一次性说清楚。无论你是完全零基础还是已经有 Django 基础但不知道怎么接 Matplotlib这篇都能给你一套可以直接照做的方案。1. 项目到底做了什么需求拆解与整体思路1.1 从题目里读出真实需求先把这个题目拆开看“招聘平台数据的分析与可视化”是业务目标“大数据深度学习算法”是加分标签“Django Matplotlib”是交付技术栈。组合在一起它真正想让你证明的能力是你能从招聘数据里发现规律并且把规律用图表和网页清晰表达出来。很多同学看到“大数据”就发怵觉得自己得搭建 Hadoop 集群、处理几个 T 的数据。实际上本科毕设层面的“大数据”最核心的是处理流程和思维方式而不是数据规模。我做过一个完整版本用的也就是几千条到几万条结构化招聘数据配合 Pandas 做清洗聚合效果已经足够好。你要在论文里说清楚“为什么这个规模不需要分布式框架”这本身就是加分项。另一个容易被忽略的点是题目指定了 Django 和 Matplotlib你就不要擅自改成 Spring Boot 加 ECharts。Django 的优势在于自带 Admin 后台、ORM 数据库操作和模板引擎非常适合这类数据展示系统Matplotlib 虽然在“颜值”上不如 ECharts但它是 Python 生态里最通用的绘图库和 Pandas、NumPy 无缝衔接而且可以直接在服务器端生成图片嵌入网页对毕设来说可控性最强。1.2 技术选型为什么不选“更花哨”的方案我在实际调研的时候也纠结过可视化是不是用 PyECharts 更好看前端是不是应该拆成 Vue对于这个特定场景我的结论是不要给自己挖坑。毕设的核心是逻辑完整、能跑通、能讲清楚而不是技术栈炫技。PyECharts 的优势是交互性强、图表漂亮但它需要在前端引入 JavaScript 库Django 模板里就得额外管理静态资源而且导出图片不如 Matplotlib 方便。Matplotlib 走的是“后端渲染”路线你在 Python 里画好图保存成图片或者 Base64 编码直接塞给前端整条链路简单直接答辩的时候不容易出幺蛾子。深度学习部分也一样。岗位薪资预测可以用线性回归、随机森林岗位分类可以用朴素贝叶斯或者小型神经网络这些模型用 scikit-learn 或者 PyTorch 都能实现但最后要能落成一个可调用的接口。你不需要做大模型需要的是“数据处理 - 模型训练 - 评估指标 - 部署调用”这条完整链路。1.3 功能模块怎么划分才合理我在做功能拆解时把整个系统分成了六个模块这也是论文目录的核心骨架数据采集模块负责从招聘平台获取原始数据或者加载公开数据集数据清洗模块去重、缺失值处理、薪资字段解析、城市和学历归一化数据存储模块设计数据库表结构用 Django ORM 管理数据分析模块基于 Pandas 做统计聚合得出岗位分布、薪资水平、经验要求等规律可视化模块用 Matplotlib 生成各类统计图表Web 展示模块Django 视图读取数据库或分析结果渲染到网页模板支持筛选和查询。这个顺序本身就是一条完整的数据流水线。答辩的时候你就可以按这条线讲数据从哪来怎么变干净怎么算指标怎么画图怎么展示每一步都有产出物。逻辑链完整了评委的问题基本都在你的射程范围内。2. 数据从哪来采集方案与预处理细节2.1 数据获取的三种可行路径按优先级排序数据是项目的根基。我在做的时候对比了三条路难度和风险差别很大方案优点缺点适用场景公开数据集格式规范省时省力不用处理反爬数据时效性差字段不一定匹配需求时间紧张以分析展示为主爬虫采集数据新鲜字段可控有“真实感”需要处理反爬机制有合规风险时间充裕想做采集亮点模拟数据完全可控可以自定义分布规律“含金量”低答辩容易被质疑技术验证阶段测试流程用如果你时间不算紧张我建议采用“公开数据集 自行爬虫补充”的混合模式主体用公开数据保证质量和数量再爬一小部分实时数据做对比分析这样既有真实感又不至于被反爬折磨。爬虫这条路有一条底线只爬取公开可见的信息遵守对方网站的访问规则控制请求频率不要涉及用户隐私数据不要绕过登录验证。这是行业共识也是保护你自己的前提。我实际写爬虫时用的是 requests BeautifulSoup加上随机 User-Agent 和请求间隔字段包括职位名称、公司名称、行业、城市、工作经验要求、学历要求、薪资范围、技能标签、发布时间。如果你是做毕业论文还可以把采集代码本身写成独立章节讲述你怎么设计调度和解析逻辑。2.2 数据清洗才是真正的工作量重心很多同学以为拿到数据就能直接画图结果一开始分析就发现全是坑。招聘数据尤其脏我遇到过的情况包括薪资写成“面议”或“1.5万-2万”城市字段写成“北京-朝阳区”或者“上班地点上海”工作经验出现“经验不限”和“无需经验”并存同一个岗位名称在不同公司叫法完全不同。我做清洗时总结了一套固定流程你可以直接抄去重根据“职位名称 公司名称 发布时间”判断是否重复重复的保留最新一条薪资解析用正则提取数字把“10k-15k”拆成最低薪资和最高薪资两个字段再取中位数作为分析用数值“面议”统一置为空值城市归一化从原始地址字段里提取城市名称同时把“一线城市”“新一线”“二线”的城市分档做成一列方便后续对比经验要求归一化把“经验不限 / 无需经验”归为 0-1 年把“3-5年”归为区间字段再拆成最低经验和最高经验学历归一化统一为“大专”“本科”“硕士”“博士”“不限”五类技能标签处理把“熟悉Python”这类描述拆成标签用逗号分隔存储后面画词云和技能分布图用。每个规则我都会写一个 Pandas 函数比如薪资解析就是一个parse_salary(text)输入字符串输出最高值、最低值、中位数三个数字。这样论文里可以清楚展示清洗前后的数据对比效果非常直观。2.3 数据库表结构这样设计最省事清洗完的数据要落到数据库里。我用的 MySQL但如果你只需要测试SQLite 也能跑。Django 的 ORM 让表结构设计变成写 Python 类我用的是单表方案字段如下from django.db import models class Job(models.Model): title models.CharField(max_length200, verbose_name职位名称) company models.CharField(max_length200, verbose_name公司名称) industry models.CharField(max_length100, verbose_name所属行业) city models.CharField(max_length50, verbose_name工作城市) city_tier models.CharField(max_length20, verbose_name城市等级) salary_min models.IntegerField(nullTrue, blankTrue, verbose_name最低薪资/千元) salary_max models.IntegerField(nullTrue, blankTrue, verbose_name最高薪资/千元) salary_avg models.FloatField(nullTrue, blankTrue, verbose_name平均薪资/千元) experience_min models.IntegerField(nullTrue, blankTrue, verbose_name经验下限/年) experience_max models.IntegerField(nullTrue, blankTrue, verbose_name经验上限/年) education models.CharField(max_length20, verbose_name学历要求) skills models.TextField(blankTrue, verbose_name技能标签) publish_date models.DateField(nullTrue, blankTrue, verbose_name发布日期) class Meta: db_table job_info verbose_name 招聘信息这里有一个经验salary 字段直接用“千元”为单位存储不要存“10k-15k”这种字符串。所有分析计算都基于数值字段画图的时候再根据需要拼接显示文本。city_tier 字段是我后来加的因为做城市对比分析时需要按等级分组有这个字段可以少写很多聚合逻辑。3. 核心可视化实现Matplotlib 的正确打开方式3.1 先解决两个老生常谈的问题中文显示和图片输出Matplotlib 最容易让新手崩溃的就是中文乱码。你在本地 Windows 上写的代码拷到 Linux 服务器上图里的中文全变成方块。根本原因是 Matplotlib 默认字体不包含中文字符。我的建议是一开始就统一处理用全局配置import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, PingFang SC, Noto Sans CJK SC] plt.rcParams[axes.unicode_minus] False把几种常见中文字体都写进列表Matplotlib 会自动按顺序查找第一个可用的。axes.unicode_minus设为 False 是防止负号显示异常。这个配置要放在所有绘图代码之前最好单独写一个config.py每次绘图前先 import。另一个关键点是图片怎么输出到网页。Django 模板不能直接读取本地图片路径最常见也最稳的方式是用 Matplotlib 的 Agg 后端把图渲染到内存转成 Base64 字符串再放进 HTML 的img标签。这样不需要处理静态文件目录也不存在路径错乱的问题。import base64 from io import BytesIO import matplotlib.pyplot as plt def render_chart_to_base64(fig): buf BytesIO() fig.savefig(buf, formatpng, dpi100, bbox_inchestight) plt.close(fig) buf.seek(0) img_base64 base64.b64encode(buf.read()).decode(utf-8) return fdata:image/png;base64,{img_base64}plt.close(fig)这行非常重要。如果视图函数反复调用绘图不关闭 Figure 对象会导致内存持续增长跑几次网页刷新页面就变卡。这是实战里最常见的坑。3.2 核心图表类型与绘制思路我根据招聘数据的分析场景选了六类图表每一类对应一个分析结论柱状图各行业招聘岗位数量 Top10。一眼看出哪个行业用人需求大饼图学历要求分布。展示市场对学历的整体门槛折线图平均薪资随工作经验年限的变化。能直观看到经验溢价箱线图不同城市等级的薪资分布。看的不只是均值还有中位数和离散度条形图水平技能标签出现频次 Top15。很多公司对Python、Java、SQL的需求差异一眼可见词云职位技能词云。视觉效果好答辩 PPT 里适合做封面图。以最常用的“行业岗位数量 Top10”为例完整代码我写成这样import pandas as pd from django_pandas.io import read_frame from .models import Job def industry_chart(): qs Job.objects.all().values(industry) df read_frame(qs) top df[industry].value_counts().head(10) fig, ax plt.subplots(figsize(10, 6)) bars ax.bar(top.index, top.values, color#4C72B0) ax.set_title(招聘岗位数量 Top10 行业, fontsize16, pad20) ax.set_xlabel(行业) ax.set_ylabel(岗位数量) ax.grid(axisy, linestyle--, alpha0.5) for bar, count in zip(bars, top.values): ax.text(bar.get_x() bar.get_width()/2, bar.get_height() 0.5, str(count), hacenter, vabottom, fontsize10) return fig这里有个小技巧遍历柱子用ax.text把具体数值标注在柱子上方。有数值的图表比只有坐标轴的图表在答辩时更有说服力评委不用去猜柱子的高度对应多少。3.3 让 Matplotlib 图表摆脱“默认丑”的几个参数Matplotlib 默认风格确实不好看白底黑框颜色也很“学术”。但通过几个参数调整图表观感能提升不少。我常驻的配置是plt.style.use(seaborn-v0_8-whitegrid)这个风格会给图表加浅灰网格线背景变成白色整体干净很多。再配合统一的颜色方案比如#4C72B0蓝、#DD8452橙、#55A868绿三到四种颜色足够。bbox_inchestight也要养成习惯它会让保存的图片边缘正好贴合内容避免出现大片留白。dpi根据用途调整网页展示用 100 够用论文插图用 150 到 200太高会影响网页加载速度。我还推荐一种方式把分析结论直接写进图表标题。比如不要叫“薪资分布图”而是叫“不同经验区间平均薪资变化5年以上经验是入门岗位的2.3倍”。这样每张图都在替你说话答辩时直接照着标题讲就行。4. Django 集成从数据到网页的完整链路4.1 Django 项目结构与核心配置Django 的项目组织方式我用的是经典结构job_analysis/ ├── manage.py ├── job_analysis/ # 项目配置目录 │ ├── settings.py │ ├── urls.py │ └── wsgi.py ├── jobs/ # 业务应用 │ ├── models.py │ ├── views.py │ ├── urls.py │ ├── utils/ │ │ ├── config.py # Matplotlib 全局配置 │ │ ├── charts.py # 所有绘图函数 │ │ └── cleaner.py # 数据清洗函数 │ └── templates/ │ └── jobs/ │ ├── index.html │ ├── industry.html │ └── salary.html └── static/把绘图代码统一放在utils/charts.py里而不是写进视图函数是我踩过坑后养成的习惯。视图函数的任务是“取数据、调绘图函数、把 Base64 字符串传给模板”它不关心图怎么画。这样图表分析和 Web 展示解耦后期想加入新的图表类型只需要在 charts.py 里加函数不需要动视图层。settings.py 里要注意的配置主要是数据库连接和模板目录。如果你用 SQLite几乎不用额外配置用 MySQL 的话需要装mysqlclient驱动然后填 DATABASES 参数。还有一个地方容易被忽略ALLOWED_HOSTS本地调试时设置成[*]部署到服务器后要改成自己的域名或 IP否则访问会报 DisallowedHost。4.2 视图层如何产出图表数据视图函数是整个 Web 展示的中间层。我的做法是在视图里先聚合数据再调用绘图函数。比如“岗位分布分析页”的视图from django.shortcuts import render from django.db.models import Count from .models import Job from .utils.charts import industry_chart, city_chart, education_pie def dashboard(request): total_jobs Job.objects.count() industry_count Job.objects.values(industry).annotate(countCount(id)).order_by(-count)[:5] charts { industry: industry_chart(), city: city_chart(), education: education_pie(), } context { total_jobs: total_jobs, industry_ranking: list(industry_count), charts: charts, } return render(request, jobs/dashboard.html, context)所有的绘图函数返回的都是已经转好的 Base64 字符串。这样模板里只需要简单的img标签就能展示div classchart-container h3行业岗位分布 Top10/h3 img src{{ charts.industry }} alt行业分布图 /div这个方法的核心就是把“生成图片”和“展示图片”彻底分开。你甚至可以提前把图表生成好缓存起来访问接口时直接返回性能会好很多。4.3 模板渲染与页面布局的实用做法模板页面我不建议用复杂的 JavaScript 框架Django 模板本身的功能足够。布局上用简单的 CSS 网格或卡片式布局就能达到不错的视觉效果关键是信息层级清晰第一屏是核心 KPI 数字比如岗位总量、平均薪资、城市覆盖数第二屏是重点图表第三屏是详细数据表格。我在 detail 页面加了筛选功能用 GET 请求传参数。比如按城市筛选def job_list(request): city request.GET.get(city, ) qs Job.objects.all() if city: qs qs.filter(citycity) context { jobs: qs[:100], city: city, } return render(request, jobs/list.html, context)对应的模板里做一个下拉选择框选中后提交表单Django 刷新页面时带上参数。这种交互虽然简单但已经是“可查询、可筛选”的系统了完全满足毕设要求。4.4 大数据量下的图表展示性能优化当你数据量到了几万条需要注意一个性能陷阱不要把全量数据取出来再传给 Pandas 聚合。Django ORM 自带聚合函数应该尽量在数据库层面完成分组统计这样传输到视图层的数据量极小。比如统计各城市岗位数直接用Job.objects.values(city).annotate(countCount(id)).order_by(-count)拿到聚合结果后是几十行数据再交给 Matplotlib 画图速度飞快。如果你的数据量真的特别大还可以考虑加一层缓存用 Django 自带的 cache 框架把图表 Base64 字符串缓存一小时用户重复访问时直接从缓存读CPU 占用会明显下降。我在项目里给几个主要图表都加了缓存页面响应时间从一两秒降到了几百毫秒这个优化写在论文里也很加分。5. 深度学习的切入点怎么给毕设加分5.1 岗位薪资预测从线性回归到树模型深度学习或者机器学习模块不能只是摆设要能回答业务问题。我做的是“岗位薪资预测”给定城市、学历、经验、行业、技能标签等特征预测岗位的平均薪资。先做特征工程把分类变量做独热编码经验取最大值技能标签统计数量。然后用 scikit-learn 的train_test_split划分训练集和测试集。模型方面我对比了线性回归、决策树和随机森林最终随机森林的效果最好测试集上的 R² 能达到 0.8 左右。核心代码大概是from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.preprocessing import OneHotEncoder from sklearn.compose import ColumnTransformer # 假设 df 是处理好的特征数据 features [city, education, experience_min, skill_count, industry] target salary_avg X df[features] y df[target] preprocessor ColumnTransformer([(onehot, OneHotEncoder(handle_unknownignore), [city, education, industry])]) X_encoded preprocessor.fit_transform(X) X_train, X_test, y_train, y_test train_test_split(X_encoded, y, test_size0.2, random_state42) model RandomForestRegressor(n_estimators200, random_state42) model.fit(X_train, y_train) # 评估 r2 model.score(X_test, y_test)这里有一个答辩时很加分的点特征重要性分析。用model.feature_importances_找出哪些特征对薪资影响最大。通常结果是“经验”排第一、“城市等级”排第二你说出自己的模型结论比泛泛而谈“我用随机森林预测”有力得多。5.2 岗位文本分类把职位描述变成分类标签另一个方向是文本分类根据职位名称和职位描述判断岗位属于“技术类”“产品类”“设计类”“运营类”“市场类”中的哪一类。这个任务可以用 TF-IDF 加朴素贝叶斯实现也可以上简单的深度学习模型。如果你的题目里明确写了“深度学习算法”那就不能只用朴素贝叶斯。我用的是 TextCNN 结构用 PyTorch 实现它比 Transformer 轻量得多CPU 上也能跑训练一轮用一两千条数据十几分钟能出结果。模型结构大概是词嵌入 - 三个不同尺寸的卷积核 - 池化 - 全连接输出。集成方式训练好的模型保存为.pth文件放在项目目录下。Django 视图里加载模型写一个预测接口import torch from .models_classifier import TextCNN model TextCNN(...) model.load_state_dict(torch.load(models/textcnn.pt, map_locationcpu)) model.eval() def predict(request): title request.GET.get(title, ) label model.predict(title) return JsonResponse({job_title: title, category: label})这个接口调用语义清晰而且用的是真实的模型文件不是 mock 数据。把“训练脚本”和“Web 调用”分开代码结构会非常清晰也方便论文里写技术路线。5.3 模型如何与 Django 平滑集成集成模型时最容易踩的坑是模型加载慢和版本兼容问题。我的建议是避免每次请求都加载模型文件可以在 Django 应用启动时通过AppConfig.ready()一次性加载到内存或者做一个懒加载的单例封装。PyTorch 模型在 GPU 机器上训练、CPU 机器上部署时要记得map_locationcpu否则会报设备不匹配错误。还有一点模型评估指标一定要在页面上体现。我专门做了一个“模型评估”页面展示 R²、均方误差、分类准确率、混淆矩阵。这一页在答辩时非常关键评委一眼就能看到你的模型不是随便跑跑的有量化指标支撑。6. 毕设路上我踩过的坑问题排查与避坑指南6.1 中文乱码本地正常服务器上全是方块这种情况基本是字体缺失。Windows 自带 SimHei 和微软雅黑但 Linux 服务器上默认没有。解决方法是把字体文件放到服务器上或者直接在系统里安装sudo apt install fonts-noto-cjk装完中文字体后用fc-list :langzh确认字体可用再重启 Django 服务。如果还是不行就手动指定字体路径from matplotlib import font_manager font_manager.fontManager.addfont(/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc)这个 addfont 的方法最保险只要路径写对一定生效。6.2 Matplotlib 在 Linux 上出现no display found报错如果你直接在服务器上跑绘图代码可能会遇到这个错误因为 Matplotlib 默认使用 TkAgg 之类的 GUI 后端而服务器没有显示器。解决方案就是我在前面提到的在导入 pyplot 之前强制指定 Agg 后端import matplotlib matplotlib.use(Agg) import matplotlib.pyplot as plt最好把这个配置放在utils/config.py里确保全局生效。只要用了 Agg 后端Matplotlib 就不会尝试弹出窗口而是直接走内存渲染路线。6.3 Django Matplotlib 的线程安全问题Django 默认每个请求可能开新线程而 Matplotlib 曾经在并发绘图时存在资源竞争问题。虽然在新版本中有所改善但最稳妥的方式是每个绘图函数内部独立创建 Figure画完立即plt.close(fig)不要使用全局 Figure 对象。这也和我在 3.1 节强调的保持一致。测试方法用ab -n 100 -c 10对页面做并发压测如果日志里没有警告说明没问题。6.4 数据量大时页面加载慢除了前面说的 ORM 聚合和缓存方案还有一个容易被忽略的点不要把多张高 DPI 大图同时塞进一个页面。一个页面放三张以上 Base64 图片每个 500KB加起来就是好几 MB加载自然会慢。我优化时把所有图表统一设置dpi100并且把不重要的图放到独立子页面用导航链接跳转而不是全部堆在首页。首页只保留 2 到 3 张核心图表其他数据用表格展示页面响应速度立即改善。6.5 数据清洗时常见的“隐形坑”清洗过程中我掉过的几个坑也列出来都是很细节但很致命的问题薪资解析时有的岗位范围是“15k-20k”有的写“200/天”有的写“20-30万/年”正则必须分别处理不能一把抓城市字段里有“工作地点远程”这需要单独归类为“远程”千万不要硬塞进城市集合里学历字段有“本科及以上”“本科/硕士”归一化时要优先匹配最低学历要求日期字段格式不统一有“2024-05-01”也有“05/01/2024”Pandas 读进来后一定要用pd.to_datetime统一格式。这些细节你说出来会明显增加项目的真实感和工作量证明。很多毕设答辩被打低分不是因为功能少而是因为“看不出工作量”。清洗规则就是你工作量最好的证明。6.6 常见问题速查表问题表现常用解法中文乱码图表标题显示为方框指定中文字体检查系统字体安装情况无显示环境报错No display found设置matplotlib.use(Agg)图片无法显示页面出现裂图图标检查 Base64 字符串是否完整传入模板页面刷几次变卡内存占用持续上升每次绘图后plt.close(fig)并关闭 Figure图表模糊图片边缘有锯齿提高dpi到 150 以上注意图片体积请求报 500模型文件路径找不到确认模型文件路径用绝对路径定位服务器放行后仍访问不了DisallowedHost 报错在ALLOWED_HOSTS中配置 IP 或域名最后再分享一点个人经验翻来覆去做了几个类似项目之后我最大的感受是招聘平台数据分析与可视化这个题目真正的难点不是技术本身而是你怎么把一整套流程串起来。数据采集、清洗、建模、可视化、Web 展示每个环节单独拿出来都不算难但能从头到尾完整走通的人才是能拿高分的人。如果你现在刚拿到这个题目我建议你先不要急着写代码。花一两天时间把整个流程在纸上画一遍数据形态是什么样每步的输出是什么页面有哪些图表的分析结论是什么。设计清楚了代码只是翻译的过程。另外一个小建议项目里留一个“分析结论页”把每张图的结论用一句话放在图表下方同时附上清洗前后的数据对比表。这个页面会让你的项目看起来像一个真正的数据分析作品而不是一堆图表的堆砌。答辩时的沟通成本会低很多。 
长河君 · 2026/10/14 23:48:45 · 阅读 1.2k 招聘平台数据分析可视化系统：Django与Matplotlib完整实现
每年到了毕业设计季我总能在后台收到大量类似的私信“想做一个招聘平台数据分析的系统用什么技术栈最稳”“Django 能不能直接调用 Matplotlib 出图”“题目里写着大数据和深度学习听起来很唬人到底怎么落地”这个选题我太熟悉了。招聘平台数据的分析与可视化表面上是“爬数据 画图 套个 Web 壳子”但实际上它是一个非常典型的“数据闭环”项目从数据采集、清洗、存储到分析建模、可视化呈现最后通过 Django 做成一个可交互的网页系统。如果你再把深度学习算法加进去比如薪资预测、岗位分类整个项目的完整度和答辩说服力会立刻提升一个档次。我最初接手类似项目的时候也以为难点在算法后来才发现真正的耗时间的地方全在数据预处理和图表集成这些细节上。这篇文章就按照我实际做过的项目路径把整个系统的设计思路、核心代码、踩坑记录一次性说清楚。无论你是完全零基础还是已经有 Django 基础但不知道怎么接 Matplotlib这篇都能给你一套可以直接照做的方案。1. 项目到底做了什么需求拆解与整体思路1.1 从题目里读出真实需求先把这个题目拆开看“招聘平台数据的分析与可视化”是业务目标“大数据深度学习算法”是加分标签“Django Matplotlib”是交付技术栈。组合在一起它真正想让你证明的能力是你能从招聘数据里发现规律并且把规律用图表和网页清晰表达出来。很多同学看到“大数据”就发怵觉得自己得搭建 Hadoop 集群、处理几个 T 的数据。实际上本科毕设层面的“大数据”最核心的是处理流程和思维方式而不是数据规模。我做过一个完整版本用的也就是几千条到几万条结构化招聘数据配合 Pandas 做清洗聚合效果已经足够好。你要在论文里说清楚“为什么这个规模不需要分布式框架”这本身就是加分项。另一个容易被忽略的点是题目指定了 Django 和 Matplotlib你就不要擅自改成 Spring Boot 加 ECharts。Django 的优势在于自带 Admin 后台、ORM 数据库操作和模板引擎非常适合这类数据展示系统Matplotlib 虽然在“颜值”上不如 ECharts但它是 Python 生态里最通用的绘图库和 Pandas、NumPy 无缝衔接而且可以直接在服务器端生成图片嵌入网页对毕设来说可控性最强。1.2 技术选型为什么不选“更花哨”的方案我在实际调研的时候也纠结过可视化是不是用 PyECharts 更好看前端是不是应该拆成 Vue对于这个特定场景我的结论是不要给自己挖坑。毕设的核心是逻辑完整、能跑通、能讲清楚而不是技术栈炫技。PyECharts 的优势是交互性强、图表漂亮但它需要在前端引入 JavaScript 库Django 模板里就得额外管理静态资源而且导出图片不如 Matplotlib 方便。Matplotlib 走的是“后端渲染”路线你在 Python 里画好图保存成图片或者 Base64 编码直接塞给前端整条链路简单直接答辩的时候不容易出幺蛾子。深度学习部分也一样。岗位薪资预测可以用线性回归、随机森林岗位分类可以用朴素贝叶斯或者小型神经网络这些模型用 scikit-learn 或者 PyTorch 都能实现但最后要能落成一个可调用的接口。你不需要做大模型需要的是“数据处理 - 模型训练 - 评估指标 - 部署调用”这条完整链路。1.3 功能模块怎么划分才合理我在做功能拆解时把整个系统分成了六个模块这也是论文目录的核心骨架数据采集模块负责从招聘平台获取原始数据或者加载公开数据集数据清洗模块去重、缺失值处理、薪资字段解析、城市和学历归一化数据存储模块设计数据库表结构用 Django ORM 管理数据分析模块基于 Pandas 做统计聚合得出岗位分布、薪资水平、经验要求等规律可视化模块用 Matplotlib 生成各类统计图表Web 展示模块Django 视图读取数据库或分析结果渲染到网页模板支持筛选和查询。这个顺序本身就是一条完整的数据流水线。答辩的时候你就可以按这条线讲数据从哪来怎么变干净怎么算指标怎么画图怎么展示每一步都有产出物。逻辑链完整了评委的问题基本都在你的射程范围内。2. 数据从哪来采集方案与预处理细节2.1 数据获取的三种可行路径按优先级排序数据是项目的根基。我在做的时候对比了三条路难度和风险差别很大方案优点缺点适用场景公开数据集格式规范省时省力不用处理反爬数据时效性差字段不一定匹配需求时间紧张以分析展示为主爬虫采集数据新鲜字段可控有“真实感”需要处理反爬机制有合规风险时间充裕想做采集亮点模拟数据完全可控可以自定义分布规律“含金量”低答辩容易被质疑技术验证阶段测试流程用如果你时间不算紧张我建议采用“公开数据集 自行爬虫补充”的混合模式主体用公开数据保证质量和数量再爬一小部分实时数据做对比分析这样既有真实感又不至于被反爬折磨。爬虫这条路有一条底线只爬取公开可见的信息遵守对方网站的访问规则控制请求频率不要涉及用户隐私数据不要绕过登录验证。这是行业共识也是保护你自己的前提。我实际写爬虫时用的是 requests BeautifulSoup加上随机 User-Agent 和请求间隔字段包括职位名称、公司名称、行业、城市、工作经验要求、学历要求、薪资范围、技能标签、发布时间。如果你是做毕业论文还可以把采集代码本身写成独立章节讲述你怎么设计调度和解析逻辑。2.2 数据清洗才是真正的工作量重心很多同学以为拿到数据就能直接画图结果一开始分析就发现全是坑。招聘数据尤其脏我遇到过的情况包括薪资写成“面议”或“1.5万-2万”城市字段写成“北京-朝阳区”或者“上班地点上海”工作经验出现“经验不限”和“无需经验”并存同一个岗位名称在不同公司叫法完全不同。我做清洗时总结了一套固定流程你可以直接抄去重根据“职位名称 公司名称 发布时间”判断是否重复重复的保留最新一条薪资解析用正则提取数字把“10k-15k”拆成最低薪资和最高薪资两个字段再取中位数作为分析用数值“面议”统一置为空值城市归一化从原始地址字段里提取城市名称同时把“一线城市”“新一线”“二线”的城市分档做成一列方便后续对比经验要求归一化把“经验不限 / 无需经验”归为 0-1 年把“3-5年”归为区间字段再拆成最低经验和最高经验学历归一化统一为“大专”“本科”“硕士”“博士”“不限”五类技能标签处理把“熟悉Python”这类描述拆成标签用逗号分隔存储后面画词云和技能分布图用。每个规则我都会写一个 Pandas 函数比如薪资解析就是一个parse_salary(text)输入字符串输出最高值、最低值、中位数三个数字。这样论文里可以清楚展示清洗前后的数据对比效果非常直观。2.3 数据库表结构这样设计最省事清洗完的数据要落到数据库里。我用的 MySQL但如果你只需要测试SQLite 也能跑。Django 的 ORM 让表结构设计变成写 Python 类我用的是单表方案字段如下from django.db import models class Job(models.Model): title models.CharField(max_length200, verbose_name职位名称) company models.CharField(max_length200, verbose_name公司名称) industry models.CharField(max_length100, verbose_name所属行业) city models.CharField(max_length50, verbose_name工作城市) city_tier models.CharField(max_length20, verbose_name城市等级) salary_min models.IntegerField(nullTrue, blankTrue, verbose_name最低薪资/千元) salary_max models.IntegerField(nullTrue, blankTrue, verbose_name最高薪资/千元) salary_avg models.FloatField(nullTrue, blankTrue, verbose_name平均薪资/千元) experience_min models.IntegerField(nullTrue, blankTrue, verbose_name经验下限/年) experience_max models.IntegerField(nullTrue, blankTrue, verbose_name经验上限/年) education models.CharField(max_length20, verbose_name学历要求) skills models.TextField(blankTrue, verbose_name技能标签) publish_date models.DateField(nullTrue, blankTrue, verbose_name发布日期) class Meta: db_table job_info verbose_name 招聘信息这里有一个经验salary 字段直接用“千元”为单位存储不要存“10k-15k”这种字符串。所有分析计算都基于数值字段画图的时候再根据需要拼接显示文本。city_tier 字段是我后来加的因为做城市对比分析时需要按等级分组有这个字段可以少写很多聚合逻辑。3. 核心可视化实现Matplotlib 的正确打开方式3.1 先解决两个老生常谈的问题中文显示和图片输出Matplotlib 最容易让新手崩溃的就是中文乱码。你在本地 Windows 上写的代码拷到 Linux 服务器上图里的中文全变成方块。根本原因是 Matplotlib 默认字体不包含中文字符。我的建议是一开始就统一处理用全局配置import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, PingFang SC, Noto Sans CJK SC] plt.rcParams[axes.unicode_minus] False把几种常见中文字体都写进列表Matplotlib 会自动按顺序查找第一个可用的。axes.unicode_minus设为 False 是防止负号显示异常。这个配置要放在所有绘图代码之前最好单独写一个config.py每次绘图前先 import。另一个关键点是图片怎么输出到网页。Django 模板不能直接读取本地图片路径最常见也最稳的方式是用 Matplotlib 的 Agg 后端把图渲染到内存转成 Base64 字符串再放进 HTML 的img标签。这样不需要处理静态文件目录也不存在路径错乱的问题。import base64 from io import BytesIO import matplotlib.pyplot as plt def render_chart_to_base64(fig): buf BytesIO() fig.savefig(buf, formatpng, dpi100, bbox_inchestight) plt.close(fig) buf.seek(0) img_base64 base64.b64encode(buf.read()).decode(utf-8) return fdata:image/png;base64,{img_base64}plt.close(fig)这行非常重要。如果视图函数反复调用绘图不关闭 Figure 对象会导致内存持续增长跑几次网页刷新页面就变卡。这是实战里最常见的坑。3.2 核心图表类型与绘制思路我根据招聘数据的分析场景选了六类图表每一类对应一个分析结论柱状图各行业招聘岗位数量 Top10。一眼看出哪个行业用人需求大饼图学历要求分布。展示市场对学历的整体门槛折线图平均薪资随工作经验年限的变化。能直观看到经验溢价箱线图不同城市等级的薪资分布。看的不只是均值还有中位数和离散度条形图水平技能标签出现频次 Top15。很多公司对Python、Java、SQL的需求差异一眼可见词云职位技能词云。视觉效果好答辩 PPT 里适合做封面图。以最常用的“行业岗位数量 Top10”为例完整代码我写成这样import pandas as pd from django_pandas.io import read_frame from .models import Job def industry_chart(): qs Job.objects.all().values(industry) df read_frame(qs) top df[industry].value_counts().head(10) fig, ax plt.subplots(figsize(10, 6)) bars ax.bar(top.index, top.values, color#4C72B0) ax.set_title(招聘岗位数量 Top10 行业, fontsize16, pad20) ax.set_xlabel(行业) ax.set_ylabel(岗位数量) ax.grid(axisy, linestyle--, alpha0.5) for bar, count in zip(bars, top.values): ax.text(bar.get_x() bar.get_width()/2, bar.get_height() 0.5, str(count), hacenter, vabottom, fontsize10) return fig这里有个小技巧遍历柱子用ax.text把具体数值标注在柱子上方。有数值的图表比只有坐标轴的图表在答辩时更有说服力评委不用去猜柱子的高度对应多少。3.3 让 Matplotlib 图表摆脱“默认丑”的几个参数Matplotlib 默认风格确实不好看白底黑框颜色也很“学术”。但通过几个参数调整图表观感能提升不少。我常驻的配置是plt.style.use(seaborn-v0_8-whitegrid)这个风格会给图表加浅灰网格线背景变成白色整体干净很多。再配合统一的颜色方案比如#4C72B0蓝、#DD8452橙、#55A868绿三到四种颜色足够。bbox_inchestight也要养成习惯它会让保存的图片边缘正好贴合内容避免出现大片留白。dpi根据用途调整网页展示用 100 够用论文插图用 150 到 200太高会影响网页加载速度。我还推荐一种方式把分析结论直接写进图表标题。比如不要叫“薪资分布图”而是叫“不同经验区间平均薪资变化5年以上经验是入门岗位的2.3倍”。这样每张图都在替你说话答辩时直接照着标题讲就行。4. Django 集成从数据到网页的完整链路4.1 Django 项目结构与核心配置Django 的项目组织方式我用的是经典结构job_analysis/ ├── manage.py ├── job_analysis/ # 项目配置目录 │ ├── settings.py │ ├── urls.py │ └── wsgi.py ├── jobs/ # 业务应用 │ ├── models.py │ ├── views.py │ ├── urls.py │ ├── utils/ │ │ ├── config.py # Matplotlib 全局配置 │ │ ├── charts.py # 所有绘图函数 │ │ └── cleaner.py # 数据清洗函数 │ └── templates/ │ └── jobs/ │ ├── index.html │ ├── industry.html │ └── salary.html └── static/把绘图代码统一放在utils/charts.py里而不是写进视图函数是我踩过坑后养成的习惯。视图函数的任务是“取数据、调绘图函数、把 Base64 字符串传给模板”它不关心图怎么画。这样图表分析和 Web 展示解耦后期想加入新的图表类型只需要在 charts.py 里加函数不需要动视图层。settings.py 里要注意的配置主要是数据库连接和模板目录。如果你用 SQLite几乎不用额外配置用 MySQL 的话需要装mysqlclient驱动然后填 DATABASES 参数。还有一个地方容易被忽略ALLOWED_HOSTS本地调试时设置成[*]部署到服务器后要改成自己的域名或 IP否则访问会报 DisallowedHost。4.2 视图层如何产出图表数据视图函数是整个 Web 展示的中间层。我的做法是在视图里先聚合数据再调用绘图函数。比如“岗位分布分析页”的视图from django.shortcuts import render from django.db.models import Count from .models import Job from .utils.charts import industry_chart, city_chart, education_pie def dashboard(request): total_jobs Job.objects.count() industry_count Job.objects.values(industry).annotate(countCount(id)).order_by(-count)[:5] charts { industry: industry_chart(), city: city_chart(), education: education_pie(), } context { total_jobs: total_jobs, industry_ranking: list(industry_count), charts: charts, } return render(request, jobs/dashboard.html, context)所有的绘图函数返回的都是已经转好的 Base64 字符串。这样模板里只需要简单的img标签就能展示div classchart-container h3行业岗位分布 Top10/h3 img src{{ charts.industry }} alt行业分布图 /div这个方法的核心就是把“生成图片”和“展示图片”彻底分开。你甚至可以提前把图表生成好缓存起来访问接口时直接返回性能会好很多。4.3 模板渲染与页面布局的实用做法模板页面我不建议用复杂的 JavaScript 框架Django 模板本身的功能足够。布局上用简单的 CSS 网格或卡片式布局就能达到不错的视觉效果关键是信息层级清晰第一屏是核心 KPI 数字比如岗位总量、平均薪资、城市覆盖数第二屏是重点图表第三屏是详细数据表格。我在 detail 页面加了筛选功能用 GET 请求传参数。比如按城市筛选def job_list(request): city request.GET.get(city, ) qs Job.objects.all() if city: qs qs.filter(citycity) context { jobs: qs[:100], city: city, } return render(request, jobs/list.html, context)对应的模板里做一个下拉选择框选中后提交表单Django 刷新页面时带上参数。这种交互虽然简单但已经是“可查询、可筛选”的系统了完全满足毕设要求。4.4 大数据量下的图表展示性能优化当你数据量到了几万条需要注意一个性能陷阱不要把全量数据取出来再传给 Pandas 聚合。Django ORM 自带聚合函数应该尽量在数据库层面完成分组统计这样传输到视图层的数据量极小。比如统计各城市岗位数直接用Job.objects.values(city).annotate(countCount(id)).order_by(-count)拿到聚合结果后是几十行数据再交给 Matplotlib 画图速度飞快。如果你的数据量真的特别大还可以考虑加一层缓存用 Django 自带的 cache 框架把图表 Base64 字符串缓存一小时用户重复访问时直接从缓存读CPU 占用会明显下降。我在项目里给几个主要图表都加了缓存页面响应时间从一两秒降到了几百毫秒这个优化写在论文里也很加分。5. 深度学习的切入点怎么给毕设加分5.1 岗位薪资预测从线性回归到树模型深度学习或者机器学习模块不能只是摆设要能回答业务问题。我做的是“岗位薪资预测”给定城市、学历、经验、行业、技能标签等特征预测岗位的平均薪资。先做特征工程把分类变量做独热编码经验取最大值技能标签统计数量。然后用 scikit-learn 的train_test_split划分训练集和测试集。模型方面我对比了线性回归、决策树和随机森林最终随机森林的效果最好测试集上的 R² 能达到 0.8 左右。核心代码大概是from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.preprocessing import OneHotEncoder from sklearn.compose import ColumnTransformer # 假设 df 是处理好的特征数据 features [city, education, experience_min, skill_count, industry] target salary_avg X df[features] y df[target] preprocessor ColumnTransformer([(onehot, OneHotEncoder(handle_unknownignore), [city, education, industry])]) X_encoded preprocessor.fit_transform(X) X_train, X_test, y_train, y_test train_test_split(X_encoded, y, test_size0.2, random_state42) model RandomForestRegressor(n_estimators200, random_state42) model.fit(X_train, y_train) # 评估 r2 model.score(X_test, y_test)这里有一个答辩时很加分的点特征重要性分析。用model.feature_importances_找出哪些特征对薪资影响最大。通常结果是“经验”排第一、“城市等级”排第二你说出自己的模型结论比泛泛而谈“我用随机森林预测”有力得多。5.2 岗位文本分类把职位描述变成分类标签另一个方向是文本分类根据职位名称和职位描述判断岗位属于“技术类”“产品类”“设计类”“运营类”“市场类”中的哪一类。这个任务可以用 TF-IDF 加朴素贝叶斯实现也可以上简单的深度学习模型。如果你的题目里明确写了“深度学习算法”那就不能只用朴素贝叶斯。我用的是 TextCNN 结构用 PyTorch 实现它比 Transformer 轻量得多CPU 上也能跑训练一轮用一两千条数据十几分钟能出结果。模型结构大概是词嵌入 - 三个不同尺寸的卷积核 - 池化 - 全连接输出。集成方式训练好的模型保存为.pth文件放在项目目录下。Django 视图里加载模型写一个预测接口import torch from .models_classifier import TextCNN model TextCNN(...) model.load_state_dict(torch.load(models/textcnn.pt, map_locationcpu)) model.eval() def predict(request): title request.GET.get(title, ) label model.predict(title) return JsonResponse({job_title: title, category: label})这个接口调用语义清晰而且用的是真实的模型文件不是 mock 数据。把“训练脚本”和“Web 调用”分开代码结构会非常清晰也方便论文里写技术路线。5.3 模型如何与 Django 平滑集成集成模型时最容易踩的坑是模型加载慢和版本兼容问题。我的建议是避免每次请求都加载模型文件可以在 Django 应用启动时通过AppConfig.ready()一次性加载到内存或者做一个懒加载的单例封装。PyTorch 模型在 GPU 机器上训练、CPU 机器上部署时要记得map_locationcpu否则会报设备不匹配错误。还有一点模型评估指标一定要在页面上体现。我专门做了一个“模型评估”页面展示 R²、均方误差、分类准确率、混淆矩阵。这一页在答辩时非常关键评委一眼就能看到你的模型不是随便跑跑的有量化指标支撑。6. 毕设路上我踩过的坑问题排查与避坑指南6.1 中文乱码本地正常服务器上全是方块这种情况基本是字体缺失。Windows 自带 SimHei 和微软雅黑但 Linux 服务器上默认没有。解决方法是把字体文件放到服务器上或者直接在系统里安装sudo apt install fonts-noto-cjk装完中文字体后用fc-list :langzh确认字体可用再重启 Django 服务。如果还是不行就手动指定字体路径from matplotlib import font_manager font_manager.fontManager.addfont(/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc)这个 addfont 的方法最保险只要路径写对一定生效。6.2 Matplotlib 在 Linux 上出现no display found报错如果你直接在服务器上跑绘图代码可能会遇到这个错误因为 Matplotlib 默认使用 TkAgg 之类的 GUI 后端而服务器没有显示器。解决方案就是我在前面提到的在导入 pyplot 之前强制指定 Agg 后端import matplotlib matplotlib.use(Agg) import matplotlib.pyplot as plt最好把这个配置放在utils/config.py里确保全局生效。只要用了 Agg 后端Matplotlib 就不会尝试弹出窗口而是直接走内存渲染路线。6.3 Django Matplotlib 的线程安全问题Django 默认每个请求可能开新线程而 Matplotlib 曾经在并发绘图时存在资源竞争问题。虽然在新版本中有所改善但最稳妥的方式是每个绘图函数内部独立创建 Figure画完立即plt.close(fig)不要使用全局 Figure 对象。这也和我在 3.1 节强调的保持一致。测试方法用ab -n 100 -c 10对页面做并发压测如果日志里没有警告说明没问题。6.4 数据量大时页面加载慢除了前面说的 ORM 聚合和缓存方案还有一个容易被忽略的点不要把多张高 DPI 大图同时塞进一个页面。一个页面放三张以上 Base64 图片每个 500KB加起来就是好几 MB加载自然会慢。我优化时把所有图表统一设置dpi100并且把不重要的图放到独立子页面用导航链接跳转而不是全部堆在首页。首页只保留 2 到 3 张核心图表其他数据用表格展示页面响应速度立即改善。6.5 数据清洗时常见的“隐形坑”清洗过程中我掉过的几个坑也列出来都是很细节但很致命的问题薪资解析时有的岗位范围是“15k-20k”有的写“200/天”有的写“20-30万/年”正则必须分别处理不能一把抓城市字段里有“工作地点远程”这需要单独归类为“远程”千万不要硬塞进城市集合里学历字段有“本科及以上”“本科/硕士”归一化时要优先匹配最低学历要求日期字段格式不统一有“2024-05-01”也有“05/01/2024”Pandas 读进来后一定要用pd.to_datetime统一格式。这些细节你说出来会明显增加项目的真实感和工作量证明。很多毕设答辩被打低分不是因为功能少而是因为“看不出工作量”。清洗规则就是你工作量最好的证明。6.6 常见问题速查表问题表现常用解法中文乱码图表标题显示为方框指定中文字体检查系统字体安装情况无显示环境报错No display found设置matplotlib.use(Agg)图片无法显示页面出现裂图图标检查 Base64 字符串是否完整传入模板页面刷几次变卡内存占用持续上升每次绘图后plt.close(fig)并关闭 Figure图表模糊图片边缘有锯齿提高dpi到 150 以上注意图片体积请求报 500模型文件路径找不到确认模型文件路径用绝对路径定位服务器放行后仍访问不了DisallowedHost 报错在ALLOWED_HOSTS中配置 IP 或域名最后再分享一点个人经验翻来覆去做了几个类似项目之后我最大的感受是招聘平台数据分析与可视化这个题目真正的难点不是技术本身而是你怎么把一整套流程串起来。数据采集、清洗、建模、可视化、Web 展示每个环节单独拿出来都不算难但能从头到尾完整走通的人才是能拿高分的人。如果你现在刚拿到这个题目我建议你先不要急着写代码。花一两天时间把整个流程在纸上画一遍数据形态是什么样每步的输出是什么页面有哪些图表的分析结论是什么。设计清楚了代码只是翻译的过程。另外一个小建议项目里留一个“分析结论页”把每张图的结论用一句话放在图表下方同时附上清洗前后的数据对比表。这个页面会让你的项目看起来像一个真正的数据分析作品而不是一堆图表的堆砌。答辩时的沟通成本会低很多。