简介本资源是一份面向高校计算机专业本科生及数据分析初学者的课程报告型实践项目聚焦招聘市场数据自动化采集与智能分析场景解决岗位信息分散、人工分析低效、趋势洞察不足等现实问题。压缩包共3个文件1.42MB含PDF版完整报告含7章结构从技术选型、系统设计到测试总结、Markdown格式实现指南含环境配置与关键代码说明及HTML交互式可视化看板可直接打开查看热力图、词云图等分析结果。已有105人学习下载内容覆盖Scrapy分布式爬虫构建、Pandas数据清洗、PySpark多维统计、XGBoost薪资预测模型与Apriori技能关联挖掘等核心技术环节附有MySQL存储方案与反爬应对策略适合作为课程设计参考、毕设选题范例或数据分析实战入门材料。 标题起得比较正经但说白了这个项目干的就是一件事用 Python 把招聘网站上的岗位数据抓下来然后从薪资、技能要求、学历门槛这些维度做一份能辅助判断的统计报告。这个方向近两年问的人很多尤其是准备转行、选技术栈或者做城市对比的开发者靠它来判断市场行情比凭感觉靠谱得多。我前前后后做过两个版本从纯本地脚本到 Web 可视化中间踩了不少坑。这篇文章把整个系统的设计思路和落地细节完整拆开讲从需求分析、技术选型、爬虫实现到数据清洗、分析建模和可视化最后附上常见问题的排查手册适合手里有一定 Python 基础、想动手做完整项目的读者参考。1. 项目整体设计与技术选型1.1 核心需求与模块划分做项目之前先得想清楚一个问题你到底是想要一堆数据还是想要一份能说明问题的分析结果我最初的第一版就是前者结果爬到两万条数据之后才发现没法直接用来分析——字段太多、格式太乱、重复项严重。后来重写时把整个系统拆成了四个模块采集模块负责抓取 HTML 页面并解析出结构化字段清洗模块处理缺失值和格式统一存储模块把干净数据落库分析展示模块负责聚合统计和可视化输出。每个模块之间只通过标准的数据结构交互改一个模块不会牵动全局。这个设计思路对应到实际开发里就是目录结构从一开始就按模块划分好job_analysis/ ├── crawler/ # 爬虫模块请求、解析、反爬策略 ├── cleaner/ # 数据清洗与标准化 ├── analyzer/ # 统计分析与指标计算 ├── web/ # Flask 可视化服务 ├── data/ # 原始数据与中间结果 └── config.py # 全局配置目标URL、字段映射、请求头1.2 技术栈选型为什么是 Python MySQL pyecharts选 Python 做爬虫最大的理由就是生态里现成的轮子足够多requests 处理 HTTP 请求BeautifulSoup 解析 HTMLpandas 清洗和分析数据pyecharts 生成可视化页面全程不需要写太多底层代码。这套组合的学习曲线也平缓一个熟悉 Python 基础语法的人基本上三天能上手。存储层我用的是 MySQL而不是 SQLite 或者 MongoDB。原因很简单岗位数据天然是结构化数据字段关系明确、查询需求固定按城市、按薪资范围、按技能关键词筛选MySQL 对这种场景的支持最成熟而且后续如果想孵化成带筛选功能的 Web 应用MySQL 的查询优化空间也更大。SQLite 适合单机调试但一上并发查询就吃力MongoDB 反而因为太灵活在数据质量校验阶段会让脏数据更泛滥。可视化层我选了 pyecharts它生成的图表是交互式的 HTML可以直接放到 Flask 里渲染也可以在浏览器里打开。对比 matplotlib 那种静态图片pyecharts 的图表支持鼠标悬停查看数据点、缩放和筛选汇报或者做个人作品集时观感好很多。2. 爬虫模块实现从页面到结构化数据2.1 目标网站分析与爬取策略不管是抓哪个招聘网站第一步一定是分析目标站的页面结构和数据加载方式。这里以国内主流的招聘平台为例它们的列表页基本有两种形态第一种是服务端直接渲染 HTML数据嵌在页面源码里用 requests 拿源码再解析就行第二种是前端通过 AJAX 异步加载数据接口返回 JSON直接在开发者工具里找到 XHR 接口即可。BOSS 直聘这类站点属于后者而且带了签名参数和登录校验单纯的 requests 模拟很难绕过。我第一版图省事直接请求列表页 HTML结果发现岗位数据是通过内部接口异步加载的。后来改用 Selenium 驱动真实浏览器访问虽然慢一些但能稳定拿到渲染后的完整页面配合随机延时也能把封号风险控制在较低范围内。如果你要抓的站点也是异步加载抓包找到真实接口会是更好走的捷径——接口返回的 JSON 比 HTML 好解析得多但务必要控制请求频率否则很容易触发风控。写爬虫之前还要做一个动作查阅目标网站的 robots.txt 和用户协议明确哪些路径允许抓取、抓取频率上限是多少。这不是走过场是爬虫开发者的基本职业素养。合规的爬虫应该是“有节制地采集公开数据、只做个人学习研究、不做商业用途”。2.2 请求头设置与频率控制策略反爬的第一道关卡是请求头。很多网站的服务器会校验 User-Agent、Referer、Accept-Language 等字段用默认的 Python-requests UA 大概率直接 403。我项目的请求头配置长这样HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://www.zhipin.com/web/geek/job, Accept: application/json, text/plain, */*, Accept-Language: zh-CN,zh;q0.9,en;q0.8, }请求频率我用的是随机延时而不是固定延时。固定 3 秒的规律性请求其实更容易被识别因为真人操作不可能那么精确。我习惯在 1.8 到 4.2 秒之间随机取一个值import time import random time.sleep(random.uniform(1.8, 4.2))另外每次请求前先随机打乱 Browser Header 中的 UA把请求来源伪装成不同操作系统和浏览器版本。配合使用 requests.Session() 保持会话状态让服务器认为你是同一个浏览器的连续操作这套组合实测下来有效降低了被识别为爬虫的概率。2.3 解析逻辑与字段设计招聘岗位页里最有价值的字段我在设计阶段定了以下这些字段名说明示例值job_name岗位名称Python开发工程师company_name公司名称某某科技有限公司salary_min / salary_max薪资范围下限/上限月薪K15 / 25city工作城市北京experience经验要求3-5年education学历要求本科skills技能标签Python, Django, MySQLjob_desc职位描述原文负责后端服务开发...publish_date发布时间2025-01-15解析时用 BeautifulSoup 的 select 方法定位元素核心代码是循环处理每一条岗位卡片from bs4 import BeautifulSoup def parse_job_list(html): soup BeautifulSoup(html, html.parser) items [] for card in soup.select(li.job-card-wrapper): try: name card.select_one(.job-name).text.strip() company card.select_one(.company-name).text.strip() salary_text card.select_one(.salary).text.strip() city card.select_one(.job-area).text.strip() tags [t.text for t in card.select(.tag-list span)] items.append({ job_name: name, company_name: company, salary_text: salary_text, city: city, tags: tags }) except AttributeError: # 某个字段缺失时跳过这条记录避免整体崩溃 continue return items用 try-except 包住单条解析的原因很实际招聘网站的前端结构经常微调某个字段偶尔拿不到是常态如果不开异常保护一个元素缺失整个程序就断掉了。这是我在实际开发中吃过几次亏之后才加上的习惯。2.4 Selenium 方案应对登录态与动态渲染不是所有网站都能靠 requests BeautifulSoup 搞定。BOSS 直聘这类平台有签名参数如zp_stoken和登录校验直接请求接口会返回 -15 错误码。这时候的替代方案是 Selenium 自动化浏览器真实渲染页面后抓取 DOM。以下是基本框架from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def get_job_page(url, wait_seconds10): options Options() options.add_argument(--headless) # 无头模式 options.add_argument(--disable-blink-featuresAutomationControlled) options.add_argument(--no-sandbox) options.add_argument(--disable-dev-shm-usage) driver webdriver.Chrome(optionsoptions) driver.get(url) try: WebDriverWait(driver, wait_seconds).until( EC.presence_of_element_located((By.CSS_SELECTOR, .job-card-wrapper)) ) return driver.page_source finally: driver.quit()Selenium 方案比纯 requests 慢很多每页要等渲染完成控制不好会直接把反爬策略触发出来。我的建议是不到万不得已不要上 Selenium优先抓内部接口。但如果目标站点必须登录且验证码策略比较严格Selenium 配人工过一次登录态即保存 cookies反而是最稳的路子。3. 数据清洗与存储设计3.1 薪资字段清洗与标准化爬下来之后最恶心的数据就是薪资字段。招聘网站上呈现的格式五花八门有“15-25K·14薪”的有“8千-1.2万”的还有“面议”的。这些原始文本如果不处理pandas 里根本没法做数值比较。我的做法是先抽取数字再统一成以千元/月为单位的数值区间。import re def parse_salary(text): # 示例输入15-25K·14薪 或 8千-1.2万·13薪 或 面议 if 面议 in text: return None, None # 提取数字和单位 parts re.findall(r(\d\.?\d*)\s*([Kk万亿]?), text) if len(parts) 2: # 只有一个数值视为固定薪资 parts parts * 2 min_raw, max_raw float(parts[0][0]), float(parts[1][0]) unit parts[0][1] if unit 万 or unit w or unit W: min_raw, max_raw min_raw * 10, max_raw * 10 return round(min_raw, 2), round(max_raw, 2)这里有个小坑很多 JD 里写的是“15-25K·14 薪”薪资下限和上限是明确的但“按年薪发 14 个月”意味着月均收入应该按年包除以 12 来算。所以在统计平均薪资时我不会直接用 min 和 max 做算术平均而是先换算成月均薪资如果有薪月数就乘以月数再除以 12然后再求区间中位数。3.2 缺失值处理与重复数据去重爬虫落库的原始数据里缺学历、缺经验字段的记录不少大约占 8%-12%。处理策略是分层级的核心分析字段薪资、城市缺失的直接剔除因为这部分数据无法参与统计分析次要字段缺失的保留统一填充为“未知”岗位名称和公司名称都相同的记录视为重复保留最早发布的版本。去重逻辑用 pandas 的 drop_duplicates 实现非常方便import pandas as pd df pd.read_csv(raw_jobs.csv) df df.dropna(subset[salary_min, salary_max, city]) df df.drop_duplicates(subset[job_name, company_name], keepfirst)3.3 MySQL 表设计与批量写入设计的表结构索引策略很简单但很关键city 字段建索引因为 90% 的查询都会按城市过滤salary_min 和 salary_max 建普通索引支持范围扫描skills 字段不建索引因为技能标签是按逗号分隔的文本直接建索引没意义。CREATE TABLE job_posts ( id INT AUTO_INCREMENT PRIMARY KEY, job_name VARCHAR(100) NOT NULL, company_name VARCHAR(100) NOT NULL, salary_min DECIMAL(5,2), salary_max DECIMAL(5,2), city VARCHAR(50), experience VARCHAR(50), education VARCHAR(50), skills VARCHAR(500), job_desc TEXT, publish_date DATE, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, UNIQUE KEY uniq_job_company (job_name, company_name), KEY idx_city (city) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;批量写入用 executemany 而不是逐条 execute效率差距大概在 10 倍以上。我爬 1 万条数据逐条插入要 40 多秒改成 executemany 后 4 秒写完import pymysql def batch_insert(records): conn pymysql.connect(hostlocalhost, userroot, password******, databasejob_db, charsetutf8mb4) sql INSERT INTO job_posts (job_name, company_name, salary_min, salary_max, city, experience, education, skills, job_desc, publish_date) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s) cursor conn.cursor() try: cursor.executemany(sql, records) conn.commit() finally: cursor.close() conn.close()4. 岗位分析与可视化4.1 分析维度设计数据清洗完进入分析阶段我先问了自己一个问题谁在看这份分析他的核心决策场景是什么于是把分析维度定为四个方向薪资分布不同城市、不同经验年限的薪资中位数和区间分布技能要求热词岗位描述和技能标签里高频出现的技能词用来判断技术栈需求趋势学历和经验门槛各学历层次在 JD 中的占比以及经验要求分布帮助求职者评估自身条件公司与岗位规模发布岗位数量靠前的公司和岗位类别形成机会热力判断。4.2 核心指标计算实战薪资分析里最常用的两个指标是“中位数薪资”和“高分位薪资”。中位数比平均值更能反映市场真实水平因为高薪岗位会把平均值拉高造成“薪资行情虚高”的错觉。import pandas as pd df[salary_mid] (df[salary_min] df[salary_max]) / 2 # 按城市统计月薪中位数 city_stats df.groupby(city)[salary_mid].agg([median, count]).sort_values(median, ascendingFalse) print(city_stats.head(10)) # 按城市经验年限交叉统计 exp_order [1年以下, 1-3年, 3-5年, 5-10年, 10年以上] df[经验分组] pd.Categorical(df[experience], categoriesexp_order, orderedTrue) cross_stats df.pivot_table(index城市, columns经验分组, valuessalary_mid, aggfuncmedian)技能关键词提取我用的是基于词库的统计方法维护一个包含 Python、Java、Golang、MySQL、Redis、Docker、Kubernetes、Vue、React 等常见技术词的列表然后逐个匹配岗位描述和技能标签统计共现频次。这个方法简单直观、可解释性强适合给非技术背景的人汇报。如果想做更深度的语义分析可以上 jieba 分词 TF-IDF但词库匹配在招聘场景中已经足够用。4.3 pyecharts 可视化报表生成可视化部分我用 pyecharts 生成 HTML 报告包括城市薪资中位数柱状图、技能关键词词云、经验要求饼图。以下是生成城市薪资柱状图的示例from pyecharts.charts import Bar from pyecharts import options as opts city_stats_top city_stats.head(15) bar ( Bar() .add_xaxis(city_stats_top.index.tolist()) .add_yaxis(薪资中位数(K), [round(x, 1) for x in city_stats_top[median]]) .set_global_opts( title_optsopts.TitleOpts(title主要城市Python岗位薪资中位数Top15), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate45)), ) ) bar.render(output/city_salary_bar.html)4.4 Flask 打包分析结果为了不用每次都跑脚本看结果我把分析结果做成了一个简单的 Flask 应用后端读取 MySQL 统计数据前端渲染 echarts 图表和筛选面板。核心服务代码只有几十行from flask import Flask, render_template, jsonify import pymysql app Flask(__name__) def query_db(sql): conn pymysql.connect(hostlocalhost, userroot, password******, databasejob_db, charsetutf8mb4) cursor conn.cursor() cursor.execute(sql) cols [d[0] for d in cursor.description] rows [dict(zip(cols, r)) for r in cursor.fetchall()] cursor.close() conn.close() return rows app.route(/) def index(): return render_template(index.html) app.route(/api/salary_by_city) def salary_by_city(): sql SELECT city, AVG((salary_min salary_max)/2) AS avg_salary, COUNT(*) AS cnt FROM job_posts GROUP BY city ORDER BY avg_salary DESC LIMIT 15 return jsonify(query_db(sql)) if __name__ __main__: app.run(host0.0.0.0, port5000, debugTrue)前端页面用一个下拉框切换分析维度通过 fetch 请求 /api/ 接口的数据动态渲染 echarts 图表这样非技术背景的人也能用它查看市场行情。5. 常见问题与排查技巧实录5.1 问题速查表问题现象可能原因解决方案请求返回 403请求头缺失或 UA 被识别设置完整请求头随机切换 UA爬取过程中 IP 被封请求频率过高未做限制增加随机延时使用代理 IP 池页面数据为空目标站改为异步渲染抓包找 XHR 接口或改用 Selenium中文乱码页面编码与解析编码不一致response.encoding utf-8 或 gbkMySQL 写入报错数据长度超字段限制检查字段最大长度加长 VARCHAR 或改用 TEXTSelenium 被识别自动化特征明显添加 disable-blink-featuresAutomationControlled 参数并隐藏 webdriver 标记5.2 封 IP 的应急方案真正把 IP 封了之后不要硬刚。我当时的做法是先把程序停下来等几个小时再跑同时启用代理 IP 池每次请求从池里随机取一个 IP。本地维护一个简单的代理池。import random PROXIES [ http://proxy1.example.com:8080, http://proxy2.example.com:8080, http://proxy3.example.com:8080, ] def get_random_proxy(): return {http: random.choice(PROXIES), https: random.choice(PROXIES)} # requests.get(url, headersheaders, proxiesget_random_proxy())注意代理 IP 资源的稳定性参差不齐免费代理池经常失效。建议优先做“低频率 完整请求头 限制爬取总量”而不是依赖代理池解决风控。5.3 数据质量验证三板斧在进入分析之前我一定会做三件事来验证数据质量采样统计城市分布如果某个城市的岗位数量异常高或异常低说明抓取过程有缺失抽查 50 条薪资数据确认单位统一K 和万没有混用对比两个不同时间段爬取的数据量如果某一天数据骤降 50% 以上大概率是反爬拦截导致的采集缺失。这三板斧可以在早期暴露数据采集问题比建模之后发现结论不可靠要省事得多。6. 项目扩展方向与个人经验体会这套系统做完之后我其实只用了它来回答一个小问题“如果我现在想跳槽去杭州做 Python 后端市场薪资大概在什么范围哪些技术栈提得最多”爬了两千多条数据后得出的结论是杭州 3-5 年经验的 Python 中位数在 30K 左右技能标签里出现频率最高的是 Docker、Redis 和 Kubernetes。这个结论用肉眼观察招聘网站也能得到但有了数据支撑决策时会踏实很多。如果你也想复刻这个项目建议不要一上来就做“大而全”。先选定一个城市、一个技术方向把爬虫和分析跑通再慢慢加城市对比、技能趋势分析等功能。技术实现上requests BeautifulSoup pandas MySQL pyecharts 这一套组合足够应付绝大多数场景没必要一开始就上分布式爬虫或大数据框架。最后再分享一个我踩过的坑岗位描述字段job_desc是分析技能需求的重要数据源但有些网站为了防盗爬把描述字段用图片或前端加密的方式保护起来。遇到这种情况我一般不强行破解而是改用统计技能标签字段如果标签字段也没有就说明这个网站的数据不适合做这个维度的分析换目标站素材就行。爬虫开发要学会取舍不要跟一个数据源死磕到底——这个项目里“能拿到什么数据”比“想拿到什么数据”更决定最终成果能做成什么样。本文还有配套的精品资源点击获取 
长河君 · 2026/8/31 21:24:46 · 阅读 1.2k Python招聘数据爬取与薪资分析系统实战解析
简介本资源是一份面向高校计算机专业本科生及数据分析初学者的课程报告型实践项目聚焦招聘市场数据自动化采集与智能分析场景解决岗位信息分散、人工分析低效、趋势洞察不足等现实问题。压缩包共3个文件1.42MB含PDF版完整报告含7章结构从技术选型、系统设计到测试总结、Markdown格式实现指南含环境配置与关键代码说明及HTML交互式可视化看板可直接打开查看热力图、词云图等分析结果。已有105人学习下载内容覆盖Scrapy分布式爬虫构建、Pandas数据清洗、PySpark多维统计、XGBoost薪资预测模型与Apriori技能关联挖掘等核心技术环节附有MySQL存储方案与反爬应对策略适合作为课程设计参考、毕设选题范例或数据分析实战入门材料。 标题起得比较正经但说白了这个项目干的就是一件事用 Python 把招聘网站上的岗位数据抓下来然后从薪资、技能要求、学历门槛这些维度做一份能辅助判断的统计报告。这个方向近两年问的人很多尤其是准备转行、选技术栈或者做城市对比的开发者靠它来判断市场行情比凭感觉靠谱得多。我前前后后做过两个版本从纯本地脚本到 Web 可视化中间踩了不少坑。这篇文章把整个系统的设计思路和落地细节完整拆开讲从需求分析、技术选型、爬虫实现到数据清洗、分析建模和可视化最后附上常见问题的排查手册适合手里有一定 Python 基础、想动手做完整项目的读者参考。1. 项目整体设计与技术选型1.1 核心需求与模块划分做项目之前先得想清楚一个问题你到底是想要一堆数据还是想要一份能说明问题的分析结果我最初的第一版就是前者结果爬到两万条数据之后才发现没法直接用来分析——字段太多、格式太乱、重复项严重。后来重写时把整个系统拆成了四个模块采集模块负责抓取 HTML 页面并解析出结构化字段清洗模块处理缺失值和格式统一存储模块把干净数据落库分析展示模块负责聚合统计和可视化输出。每个模块之间只通过标准的数据结构交互改一个模块不会牵动全局。这个设计思路对应到实际开发里就是目录结构从一开始就按模块划分好job_analysis/ ├── crawler/ # 爬虫模块请求、解析、反爬策略 ├── cleaner/ # 数据清洗与标准化 ├── analyzer/ # 统计分析与指标计算 ├── web/ # Flask 可视化服务 ├── data/ # 原始数据与中间结果 └── config.py # 全局配置目标URL、字段映射、请求头1.2 技术栈选型为什么是 Python MySQL pyecharts选 Python 做爬虫最大的理由就是生态里现成的轮子足够多requests 处理 HTTP 请求BeautifulSoup 解析 HTMLpandas 清洗和分析数据pyecharts 生成可视化页面全程不需要写太多底层代码。这套组合的学习曲线也平缓一个熟悉 Python 基础语法的人基本上三天能上手。存储层我用的是 MySQL而不是 SQLite 或者 MongoDB。原因很简单岗位数据天然是结构化数据字段关系明确、查询需求固定按城市、按薪资范围、按技能关键词筛选MySQL 对这种场景的支持最成熟而且后续如果想孵化成带筛选功能的 Web 应用MySQL 的查询优化空间也更大。SQLite 适合单机调试但一上并发查询就吃力MongoDB 反而因为太灵活在数据质量校验阶段会让脏数据更泛滥。可视化层我选了 pyecharts它生成的图表是交互式的 HTML可以直接放到 Flask 里渲染也可以在浏览器里打开。对比 matplotlib 那种静态图片pyecharts 的图表支持鼠标悬停查看数据点、缩放和筛选汇报或者做个人作品集时观感好很多。2. 爬虫模块实现从页面到结构化数据2.1 目标网站分析与爬取策略不管是抓哪个招聘网站第一步一定是分析目标站的页面结构和数据加载方式。这里以国内主流的招聘平台为例它们的列表页基本有两种形态第一种是服务端直接渲染 HTML数据嵌在页面源码里用 requests 拿源码再解析就行第二种是前端通过 AJAX 异步加载数据接口返回 JSON直接在开发者工具里找到 XHR 接口即可。BOSS 直聘这类站点属于后者而且带了签名参数和登录校验单纯的 requests 模拟很难绕过。我第一版图省事直接请求列表页 HTML结果发现岗位数据是通过内部接口异步加载的。后来改用 Selenium 驱动真实浏览器访问虽然慢一些但能稳定拿到渲染后的完整页面配合随机延时也能把封号风险控制在较低范围内。如果你要抓的站点也是异步加载抓包找到真实接口会是更好走的捷径——接口返回的 JSON 比 HTML 好解析得多但务必要控制请求频率否则很容易触发风控。写爬虫之前还要做一个动作查阅目标网站的 robots.txt 和用户协议明确哪些路径允许抓取、抓取频率上限是多少。这不是走过场是爬虫开发者的基本职业素养。合规的爬虫应该是“有节制地采集公开数据、只做个人学习研究、不做商业用途”。2.2 请求头设置与频率控制策略反爬的第一道关卡是请求头。很多网站的服务器会校验 User-Agent、Referer、Accept-Language 等字段用默认的 Python-requests UA 大概率直接 403。我项目的请求头配置长这样HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://www.zhipin.com/web/geek/job, Accept: application/json, text/plain, */*, Accept-Language: zh-CN,zh;q0.9,en;q0.8, }请求频率我用的是随机延时而不是固定延时。固定 3 秒的规律性请求其实更容易被识别因为真人操作不可能那么精确。我习惯在 1.8 到 4.2 秒之间随机取一个值import time import random time.sleep(random.uniform(1.8, 4.2))另外每次请求前先随机打乱 Browser Header 中的 UA把请求来源伪装成不同操作系统和浏览器版本。配合使用 requests.Session() 保持会话状态让服务器认为你是同一个浏览器的连续操作这套组合实测下来有效降低了被识别为爬虫的概率。2.3 解析逻辑与字段设计招聘岗位页里最有价值的字段我在设计阶段定了以下这些字段名说明示例值job_name岗位名称Python开发工程师company_name公司名称某某科技有限公司salary_min / salary_max薪资范围下限/上限月薪K15 / 25city工作城市北京experience经验要求3-5年education学历要求本科skills技能标签Python, Django, MySQLjob_desc职位描述原文负责后端服务开发...publish_date发布时间2025-01-15解析时用 BeautifulSoup 的 select 方法定位元素核心代码是循环处理每一条岗位卡片from bs4 import BeautifulSoup def parse_job_list(html): soup BeautifulSoup(html, html.parser) items [] for card in soup.select(li.job-card-wrapper): try: name card.select_one(.job-name).text.strip() company card.select_one(.company-name).text.strip() salary_text card.select_one(.salary).text.strip() city card.select_one(.job-area).text.strip() tags [t.text for t in card.select(.tag-list span)] items.append({ job_name: name, company_name: company, salary_text: salary_text, city: city, tags: tags }) except AttributeError: # 某个字段缺失时跳过这条记录避免整体崩溃 continue return items用 try-except 包住单条解析的原因很实际招聘网站的前端结构经常微调某个字段偶尔拿不到是常态如果不开异常保护一个元素缺失整个程序就断掉了。这是我在实际开发中吃过几次亏之后才加上的习惯。2.4 Selenium 方案应对登录态与动态渲染不是所有网站都能靠 requests BeautifulSoup 搞定。BOSS 直聘这类平台有签名参数如zp_stoken和登录校验直接请求接口会返回 -15 错误码。这时候的替代方案是 Selenium 自动化浏览器真实渲染页面后抓取 DOM。以下是基本框架from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def get_job_page(url, wait_seconds10): options Options() options.add_argument(--headless) # 无头模式 options.add_argument(--disable-blink-featuresAutomationControlled) options.add_argument(--no-sandbox) options.add_argument(--disable-dev-shm-usage) driver webdriver.Chrome(optionsoptions) driver.get(url) try: WebDriverWait(driver, wait_seconds).until( EC.presence_of_element_located((By.CSS_SELECTOR, .job-card-wrapper)) ) return driver.page_source finally: driver.quit()Selenium 方案比纯 requests 慢很多每页要等渲染完成控制不好会直接把反爬策略触发出来。我的建议是不到万不得已不要上 Selenium优先抓内部接口。但如果目标站点必须登录且验证码策略比较严格Selenium 配人工过一次登录态即保存 cookies反而是最稳的路子。3. 数据清洗与存储设计3.1 薪资字段清洗与标准化爬下来之后最恶心的数据就是薪资字段。招聘网站上呈现的格式五花八门有“15-25K·14薪”的有“8千-1.2万”的还有“面议”的。这些原始文本如果不处理pandas 里根本没法做数值比较。我的做法是先抽取数字再统一成以千元/月为单位的数值区间。import re def parse_salary(text): # 示例输入15-25K·14薪 或 8千-1.2万·13薪 或 面议 if 面议 in text: return None, None # 提取数字和单位 parts re.findall(r(\d\.?\d*)\s*([Kk万亿]?), text) if len(parts) 2: # 只有一个数值视为固定薪资 parts parts * 2 min_raw, max_raw float(parts[0][0]), float(parts[1][0]) unit parts[0][1] if unit 万 or unit w or unit W: min_raw, max_raw min_raw * 10, max_raw * 10 return round(min_raw, 2), round(max_raw, 2)这里有个小坑很多 JD 里写的是“15-25K·14 薪”薪资下限和上限是明确的但“按年薪发 14 个月”意味着月均收入应该按年包除以 12 来算。所以在统计平均薪资时我不会直接用 min 和 max 做算术平均而是先换算成月均薪资如果有薪月数就乘以月数再除以 12然后再求区间中位数。3.2 缺失值处理与重复数据去重爬虫落库的原始数据里缺学历、缺经验字段的记录不少大约占 8%-12%。处理策略是分层级的核心分析字段薪资、城市缺失的直接剔除因为这部分数据无法参与统计分析次要字段缺失的保留统一填充为“未知”岗位名称和公司名称都相同的记录视为重复保留最早发布的版本。去重逻辑用 pandas 的 drop_duplicates 实现非常方便import pandas as pd df pd.read_csv(raw_jobs.csv) df df.dropna(subset[salary_min, salary_max, city]) df df.drop_duplicates(subset[job_name, company_name], keepfirst)3.3 MySQL 表设计与批量写入设计的表结构索引策略很简单但很关键city 字段建索引因为 90% 的查询都会按城市过滤salary_min 和 salary_max 建普通索引支持范围扫描skills 字段不建索引因为技能标签是按逗号分隔的文本直接建索引没意义。CREATE TABLE job_posts ( id INT AUTO_INCREMENT PRIMARY KEY, job_name VARCHAR(100) NOT NULL, company_name VARCHAR(100) NOT NULL, salary_min DECIMAL(5,2), salary_max DECIMAL(5,2), city VARCHAR(50), experience VARCHAR(50), education VARCHAR(50), skills VARCHAR(500), job_desc TEXT, publish_date DATE, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, UNIQUE KEY uniq_job_company (job_name, company_name), KEY idx_city (city) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;批量写入用 executemany 而不是逐条 execute效率差距大概在 10 倍以上。我爬 1 万条数据逐条插入要 40 多秒改成 executemany 后 4 秒写完import pymysql def batch_insert(records): conn pymysql.connect(hostlocalhost, userroot, password******, databasejob_db, charsetutf8mb4) sql INSERT INTO job_posts (job_name, company_name, salary_min, salary_max, city, experience, education, skills, job_desc, publish_date) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s) cursor conn.cursor() try: cursor.executemany(sql, records) conn.commit() finally: cursor.close() conn.close()4. 岗位分析与可视化4.1 分析维度设计数据清洗完进入分析阶段我先问了自己一个问题谁在看这份分析他的核心决策场景是什么于是把分析维度定为四个方向薪资分布不同城市、不同经验年限的薪资中位数和区间分布技能要求热词岗位描述和技能标签里高频出现的技能词用来判断技术栈需求趋势学历和经验门槛各学历层次在 JD 中的占比以及经验要求分布帮助求职者评估自身条件公司与岗位规模发布岗位数量靠前的公司和岗位类别形成机会热力判断。4.2 核心指标计算实战薪资分析里最常用的两个指标是“中位数薪资”和“高分位薪资”。中位数比平均值更能反映市场真实水平因为高薪岗位会把平均值拉高造成“薪资行情虚高”的错觉。import pandas as pd df[salary_mid] (df[salary_min] df[salary_max]) / 2 # 按城市统计月薪中位数 city_stats df.groupby(city)[salary_mid].agg([median, count]).sort_values(median, ascendingFalse) print(city_stats.head(10)) # 按城市经验年限交叉统计 exp_order [1年以下, 1-3年, 3-5年, 5-10年, 10年以上] df[经验分组] pd.Categorical(df[experience], categoriesexp_order, orderedTrue) cross_stats df.pivot_table(index城市, columns经验分组, valuessalary_mid, aggfuncmedian)技能关键词提取我用的是基于词库的统计方法维护一个包含 Python、Java、Golang、MySQL、Redis、Docker、Kubernetes、Vue、React 等常见技术词的列表然后逐个匹配岗位描述和技能标签统计共现频次。这个方法简单直观、可解释性强适合给非技术背景的人汇报。如果想做更深度的语义分析可以上 jieba 分词 TF-IDF但词库匹配在招聘场景中已经足够用。4.3 pyecharts 可视化报表生成可视化部分我用 pyecharts 生成 HTML 报告包括城市薪资中位数柱状图、技能关键词词云、经验要求饼图。以下是生成城市薪资柱状图的示例from pyecharts.charts import Bar from pyecharts import options as opts city_stats_top city_stats.head(15) bar ( Bar() .add_xaxis(city_stats_top.index.tolist()) .add_yaxis(薪资中位数(K), [round(x, 1) for x in city_stats_top[median]]) .set_global_opts( title_optsopts.TitleOpts(title主要城市Python岗位薪资中位数Top15), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate45)), ) ) bar.render(output/city_salary_bar.html)4.4 Flask 打包分析结果为了不用每次都跑脚本看结果我把分析结果做成了一个简单的 Flask 应用后端读取 MySQL 统计数据前端渲染 echarts 图表和筛选面板。核心服务代码只有几十行from flask import Flask, render_template, jsonify import pymysql app Flask(__name__) def query_db(sql): conn pymysql.connect(hostlocalhost, userroot, password******, databasejob_db, charsetutf8mb4) cursor conn.cursor() cursor.execute(sql) cols [d[0] for d in cursor.description] rows [dict(zip(cols, r)) for r in cursor.fetchall()] cursor.close() conn.close() return rows app.route(/) def index(): return render_template(index.html) app.route(/api/salary_by_city) def salary_by_city(): sql SELECT city, AVG((salary_min salary_max)/2) AS avg_salary, COUNT(*) AS cnt FROM job_posts GROUP BY city ORDER BY avg_salary DESC LIMIT 15 return jsonify(query_db(sql)) if __name__ __main__: app.run(host0.0.0.0, port5000, debugTrue)前端页面用一个下拉框切换分析维度通过 fetch 请求 /api/ 接口的数据动态渲染 echarts 图表这样非技术背景的人也能用它查看市场行情。5. 常见问题与排查技巧实录5.1 问题速查表问题现象可能原因解决方案请求返回 403请求头缺失或 UA 被识别设置完整请求头随机切换 UA爬取过程中 IP 被封请求频率过高未做限制增加随机延时使用代理 IP 池页面数据为空目标站改为异步渲染抓包找 XHR 接口或改用 Selenium中文乱码页面编码与解析编码不一致response.encoding utf-8 或 gbkMySQL 写入报错数据长度超字段限制检查字段最大长度加长 VARCHAR 或改用 TEXTSelenium 被识别自动化特征明显添加 disable-blink-featuresAutomationControlled 参数并隐藏 webdriver 标记5.2 封 IP 的应急方案真正把 IP 封了之后不要硬刚。我当时的做法是先把程序停下来等几个小时再跑同时启用代理 IP 池每次请求从池里随机取一个 IP。本地维护一个简单的代理池。import random PROXIES [ http://proxy1.example.com:8080, http://proxy2.example.com:8080, http://proxy3.example.com:8080, ] def get_random_proxy(): return {http: random.choice(PROXIES), https: random.choice(PROXIES)} # requests.get(url, headersheaders, proxiesget_random_proxy())注意代理 IP 资源的稳定性参差不齐免费代理池经常失效。建议优先做“低频率 完整请求头 限制爬取总量”而不是依赖代理池解决风控。5.3 数据质量验证三板斧在进入分析之前我一定会做三件事来验证数据质量采样统计城市分布如果某个城市的岗位数量异常高或异常低说明抓取过程有缺失抽查 50 条薪资数据确认单位统一K 和万没有混用对比两个不同时间段爬取的数据量如果某一天数据骤降 50% 以上大概率是反爬拦截导致的采集缺失。这三板斧可以在早期暴露数据采集问题比建模之后发现结论不可靠要省事得多。6. 项目扩展方向与个人经验体会这套系统做完之后我其实只用了它来回答一个小问题“如果我现在想跳槽去杭州做 Python 后端市场薪资大概在什么范围哪些技术栈提得最多”爬了两千多条数据后得出的结论是杭州 3-5 年经验的 Python 中位数在 30K 左右技能标签里出现频率最高的是 Docker、Redis 和 Kubernetes。这个结论用肉眼观察招聘网站也能得到但有了数据支撑决策时会踏实很多。如果你也想复刻这个项目建议不要一上来就做“大而全”。先选定一个城市、一个技术方向把爬虫和分析跑通再慢慢加城市对比、技能趋势分析等功能。技术实现上requests BeautifulSoup pandas MySQL pyecharts 这一套组合足够应付绝大多数场景没必要一开始就上分布式爬虫或大数据框架。最后再分享一个我踩过的坑岗位描述字段job_desc是分析技能需求的重要数据源但有些网站为了防盗爬把描述字段用图片或前端加密的方式保护起来。遇到这种情况我一般不强行破解而是改用统计技能标签字段如果标签字段也没有就说明这个网站的数据不适合做这个维度的分析换目标站素材就行。爬虫开发要学会取舍不要跟一个数据源死磕到底——这个项目里“能拿到什么数据”比“想拿到什么数据”更决定最终成果能做成什么样。本文还有配套的精品资源点击获取