3个后端避坑点：indeed.com爬虫实战保姆级教程
面试被问原理答不上来，是转行后端最扎心的时刻。很多候选人简历上写着精通并发、熟悉网络协议，面试官一深挖 indeed.com 的反爬机制或数据清洗逻辑，立马卡壳。别慌，这篇保姆级教程带你从零搭建一个高可用的职位数据抓取系统，把书本上的理论变成手里能打的代码。
项目目标与背景拆解
很多人觉得爬虫就是发个 HTTP 请求，解析 HTML 完事。但在 indeed.com 这种工业级站点上，这种想法会撞得头破血流。indeed.com 作为全球领先的招聘平台，其前端渲染逻辑复杂，后端接口隐蔽，且具备极强的反自动化检测能力。
本项目目标不是简单的“爬取”，而是构建一个具备容错机制、数据清洗管道和结构化存储的微型后端服务。我们将重点解决三个痛点：
动态内容获取：如何绕过前端 JS 渲染，直接命中 API 接口。
数据标准化：将杂乱的职位信息（薪资、地点、技能）转化为结构化 JSON。
稳定性保障：处理网络波动、IP 封禁和异常数据。
对于转岗从业者，这个项目能帮你理解生产环境中数据获取的真实复杂度，而不仅仅是玩具项目。
目录结构与工程化思维
抛弃“单文件脚本”的思维，我们要用工程化的方式组织代码。一个清晰的目录结构是维护性的基础，也是面试中展示架构能力的加分项。
indeed_crawler/
├── config/
│ └── settings.py # 配置管理：URL、请求头、频率限制
├── core/
│ ├── fetcher.py # 核心抓取逻辑：请求封装、重试机制
│ ├── parser.py # 数据解析逻辑：正则提取、JSON 清洗
│ └── validator.py # 数据校验：字段完整性检查
├── storage/
│ └── db.py # 存储层：数据库连接、SQL 操作
├── utils/
│ └── logger.py # 日志工具：统一日志格式
├── main.py # 入口文件：任务调度
└── requirements.txt # 依赖管理
这种分层设计遵循了单一职责原则。fetcher 只负责拿数据，parser 只负责处理数据，storage 只负责存数据。当面试官问“如果我想把存储从 MySQL 换成 MongoDB，要改哪里？”时，你能瞬间答出“只需修改 storage/db.py，其他模块无感”，这就是架构能力的体现。
核心代码实现与逐行解析
这是最硬核的部分。我们将使用 Python 的 requests 和 BeautifulSoup（尽管我们主要解析 JSON，但 BS4 在调试 HTML 结构时依然有用），以及 re 模块进行正则提取。
1. 配置管理与请求头伪装
在 config/settings.py 中，我们定义全局配置。不要硬编码，配置应该外部化。
import os
class Config:
# 基础 URL，注意替换具体的搜索关键词
BASE_URL = https://www.indeed.com/jobs
# 模拟真实浏览器，避免被简单识别
HEADERS = {
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,
Accept-Language: en-US,en;q=0.9,
Accept: application/json, text/javascript, */*; q=0.01
}
# 请求间隔，防止触发频率限制
REQUEST_INTERVAL = 2.5
2. 核心抓取器：处理动态 API
indeed.com 的职位列表通常由前端 JS 异步加载。直接爬取 HTML 拿不到数据。我们需要找到它的内部 API 端点。通过浏览器开发者工具（F12）的 Network 面板，我们可以发现其数据接口通常返回 JSON 格式。
以下是 core/fetcher.py 的核心逻辑：
import requests
import time
import random
from config.settings import Config
from utils.logger import get_logger
logger = get_logger(__name__)
class DataFetcher:
def __init__(self):
self.session = requests.Session()
self.session.headers.update(Config.HEADERS)
def fetch_job_list(self, query, location=Remote):
获取职位列表 JSON 数据
params = {
q: query,
l: location,
fromage: d3, # 最近3天
limit: 50
}
try:
# 引入随机延时，模拟人类行为
time.sleep(random.uniform(1.0, Config.REQUEST_INTERVAL))
logger.info(fFetching: {query} in {location})
response = self.session.get(Config.BASE_URL, params=params, timeout=10)
if response.status_code != 200:
logger.warning(fStatus code: {response.status_code})
return None
# indeed 返回的是 JSON，但有时包裹在 HTML 中，这里假设是纯 JSON API
# 实际项目中可能需要解析 HTML 中的 script 标签提取 JSON
return response.json()
except requests.exceptions.RequestException as e:
logger.error(fRequest failed: {e})
return None
逐行讲解：
Session 复用：requests.Session 会保持 Cookie 和连接池，比每次新建 requests.get 性能更高，也更像真实浏览器行为。
随机延时：random.uniform 比固定 time.sleep 更自然，避免被频率检测算法捕捉。
异常捕获：网络不稳定是常态，必须捕获 RequestException，否则程序会崩溃。
3. 数据解析与清洗
拿到 JSON 后，数据往往是嵌套的。indeed.com 的返回结构中，职位信息通常在 results 数组下。我们需要提取关键字段：标题、公司、薪资、地点。
core/parser.py 实现如下：
import re
from datetime import datetime
class JobParser:
@staticmethod
def parse_jobs(raw_data):
将原始 JSON 转换为标准字典列表
if not raw_data or 'results' not in raw_data:
return []
jobs = []
for item in raw_data['results']:
try:
title = item.get('title', '').strip()
company = item.get('company', '').strip()
location = item.get('location', '').strip()
# 薪资字段通常在 'salary' 或 'salaryMin'/'salaryMax'
# 这里假设结构为 {salary: 50K - 70K per year}
salary_text = item.get('salary', 'N/A')
# 使用正则提取数字，方便后续分析
salary_numbers = re.findall(r'\d+', salary_text)
salary_min = int(salary_numbers[0]) if salary_numbers else None
salary_max = int(salary_numbers[-1]) if len(salary_numbers) 1 else None
# 提取技能标签
skills = [tag.get('label') for tag in item.get('tags', []) if tag.get('label')]
job_obj = {
title: title,
company: company,
location: location,
salary_min: salary_min,
salary_max: salary_max,
skills: skills,
url: item.get('url', ''),
crawled_at: datetime.now().isoformat()
}
jobs.append(job_obj)
except Exception as e:
logger.error(fParse error: {e})
continue
return jobs
关键点：
防御性编程：使用 .get() 而不是 [] 访问字典，防止 KeyError。
正则提取：薪资格式五花八门，正则 r'\d+' 是最通用的提取手段。
时间戳：记录 crawled_at，方便后续做数据时效性分析。
运行与测试：从本地到生产
代码写完了，怎么跑？别直接 python main.py 就完事。我们需要一个主调度器，并且加入简单的重试机制。
main.py 示例：
from core.fetcher import DataFetcher
from core.parser import JobParser
from storage.db import Database
from config.settings import Config
from utils.logger import get_logger
logger = get_logger(__name__)
def main():
fetcher = DataFetcher()
parser = JobParser()
db = Database() # 假设已初始化连接
keywords = [Python Backend, Java Microservices]
for kw in keywords:
logger.info(fStarting crawl for: {kw})
# 1. 获取
raw_data = fetcher.fetch_job_list(kw)
# 2. 解析
if raw_data:
jobs = parser.parse_jobs(raw_data)
logger.info(fParsed {len(jobs)} jobs)
# 3. 存储 (这里简化为批量插入)
if jobs:
db.batch_insert(jobs)
# 4. 控制频率
time.sleep(Config.REQUEST_INTERVAL)
if __name__ == __main__:
main()
测试策略：
单元测试：针对 parser.py，构造几个典型的 JSON 片段，测试解析结果是否符合预期。重点测试空值、格式异常的情况。
集成测试：在本地运行 main.py，观察日志输出。检查数据库是否正确写入数据。
压力测试：增加关键词数量，观察程序是否稳定，IP 是否被封。如果被封，说明需要引入代理池（Proxy Pool）。
优化扩展与高频考点深挖
这是区分“脚本小子”和“后端工程师”的关键章节。面试中，面试官往往会问：“你的系统如果并发量上来怎么办？”或者“如何保证数据准确性？”
1. 并发改造：从串行到异步
上面的代码是串行执行，效率低。在生产环境，我们通常使用 asyncio 和 aiohttp。
改造思路：
将 DataFetcher 改为异步类。
使用 asyncio.gather 并发请求多个关键词。
设置信号量（Semaphore）控制并发数，例如同时最多 5 个请求，避免打爆目标服务器或自己的 IP。
2. 数据准确性与去重
网络爬取的数据往往有噪声。如何保证入库数据的唯一性？
唯一索引：在数据库中，对 title + company + location 建立唯一索引。
哈希去重：在入库前，计算职位内容的 MD5 值，如果数据库中已存在相同 MD5，则跳过。
3. 薪资区间与地区差异分析
这是转岗从业者最关心的“变现”能力。通过爬虫收集的数据，我们可以做简单的统计分析。
地区
平均最低薪资 (USD)
平均最高薪资 (USD)
主要技术栈
Remote
60,000
95,000
Python, Go, Docker
New York
85,000
130,000
Java, Kafka, K8s
Austin
70,000
110,000
Python, AWS, React
注：数据仅为示例，实际需运行爬虫获取。
通过这样的表格，你能直观看到：
地区差异：远程职位的平均薪资下限往往低于一线城市，但上限可能更高（因为大厂远程岗多）。
技术溢价：掌握 Docker/K8s 的职位薪资区间明显高于纯 CRUD 岗位。
在面试中，如果你能展示你不仅会爬数据，还能通过数据洞察行业趋势，这会极大提升你的竞争力。
4. 反爬应对策略
indeed.com 可能会返回验证码或 403 错误。
代理池：引入 RotatingProxyManager，轮换 IP。
Cookie 池：维护一组有效的 Cookie，定期更新。
人机验证：如果触发 reCAPTCHA，需接入打码平台（如 2Captcha）进行自动识别，但这涉及成本，需在项目中权衡。
小结与行动指南
这个项目看似简单，实则涵盖了后端开发的多个核心模块：网络通信、数据解析、存储设计、并发控制、日志监控。
面试避坑指南：
不要只说“用了 requests”：要说出为什么用 Session，如何处理超时，如何模拟浏览器指纹。
不要忽视异常处理：生产环境中，异常处理代码量往往超过正常逻辑。展示你的 try-except 块，展示你的日志记录。
数据价值大于代码本身：强调你通过爬虫获取的数据如何帮助分析薪资、技能趋势，体现你的业务思维。
你更常用哪种写法？评论区交流
是喜欢用 Scrapy 框架快速搭建，还是像本文这样用 requests + asyncio 手写底层逻辑以掌握更多细节？或者你有更好的反爬应对方案？欢迎在评论区分享你的实战经验，一起避坑。 
长河君 · 2026/9/22 13:22:29 · 阅读 1.2k 3个后端避坑点：indeed.com爬虫实战保姆级教程
3个后端避坑点：indeed.com爬虫实战保姆级教程
面试被问原理答不上来，是转行后端最扎心的时刻。很多候选人简历上写着精通并发、熟悉网络协议，面试官一深挖 indeed.com 的反爬机制或数据清洗逻辑，立马卡壳。别慌，这篇保姆级教程带你从零搭建一个高可用的职位数据抓取系统，把书本上的理论变成手里能打的代码。
项目目标与背景拆解
很多人觉得爬虫就是发个 HTTP 请求，解析 HTML 完事。但在 indeed.com 这种工业级站点上，这种想法会撞得头破血流。indeed.com 作为全球领先的招聘平台，其前端渲染逻辑复杂，后端接口隐蔽，且具备极强的反自动化检测能力。
本项目目标不是简单的“爬取”，而是构建一个具备容错机制、数据清洗管道和结构化存储的微型后端服务。我们将重点解决三个痛点：
动态内容获取：如何绕过前端 JS 渲染，直接命中 API 接口。
数据标准化：将杂乱的职位信息（薪资、地点、技能）转化为结构化 JSON。
稳定性保障：处理网络波动、IP 封禁和异常数据。
对于转岗从业者，这个项目能帮你理解生产环境中数据获取的真实复杂度，而不仅仅是玩具项目。
目录结构与工程化思维
抛弃“单文件脚本”的思维，我们要用工程化的方式组织代码。一个清晰的目录结构是维护性的基础，也是面试中展示架构能力的加分项。
indeed_crawler/
├── config/
│ └── settings.py # 配置管理：URL、请求头、频率限制
├── core/
│ ├── fetcher.py # 核心抓取逻辑：请求封装、重试机制
│ ├── parser.py # 数据解析逻辑：正则提取、JSON 清洗
│ └── validator.py # 数据校验：字段完整性检查
├── storage/
│ └── db.py # 存储层：数据库连接、SQL 操作
├── utils/
│ └── logger.py # 日志工具：统一日志格式
├── main.py # 入口文件：任务调度
└── requirements.txt # 依赖管理
这种分层设计遵循了单一职责原则。fetcher 只负责拿数据，parser 只负责处理数据，storage 只负责存数据。当面试官问“如果我想把存储从 MySQL 换成 MongoDB，要改哪里？”时，你能瞬间答出“只需修改 storage/db.py，其他模块无感”，这就是架构能力的体现。
核心代码实现与逐行解析
这是最硬核的部分。我们将使用 Python 的 requests 和 BeautifulSoup（尽管我们主要解析 JSON，但 BS4 在调试 HTML 结构时依然有用），以及 re 模块进行正则提取。
1. 配置管理与请求头伪装
在 config/settings.py 中，我们定义全局配置。不要硬编码，配置应该外部化。
import os
class Config:
# 基础 URL，注意替换具体的搜索关键词
BASE_URL = https://www.indeed.com/jobs
# 模拟真实浏览器，避免被简单识别
HEADERS = {
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,
Accept-Language: en-US,en;q=0.9,
Accept: application/json, text/javascript, */*; q=0.01
}
# 请求间隔，防止触发频率限制
REQUEST_INTERVAL = 2.5
2. 核心抓取器：处理动态 API
indeed.com 的职位列表通常由前端 JS 异步加载。直接爬取 HTML 拿不到数据。我们需要找到它的内部 API 端点。通过浏览器开发者工具（F12）的 Network 面板，我们可以发现其数据接口通常返回 JSON 格式。
以下是 core/fetcher.py 的核心逻辑：
import requests
import time
import random
from config.settings import Config
from utils.logger import get_logger
logger = get_logger(__name__)
class DataFetcher:
def __init__(self):
self.session = requests.Session()
self.session.headers.update(Config.HEADERS)
def fetch_job_list(self, query, location=Remote):
获取职位列表 JSON 数据
params = {
q: query,
l: location,
fromage: d3, # 最近3天
limit: 50
}
try:
# 引入随机延时，模拟人类行为
time.sleep(random.uniform(1.0, Config.REQUEST_INTERVAL))
logger.info(fFetching: {query} in {location})
response = self.session.get(Config.BASE_URL, params=params, timeout=10)
if response.status_code != 200:
logger.warning(fStatus code: {response.status_code})
return None
# indeed 返回的是 JSON，但有时包裹在 HTML 中，这里假设是纯 JSON API
# 实际项目中可能需要解析 HTML 中的 script 标签提取 JSON
return response.json()
except requests.exceptions.RequestException as e:
logger.error(fRequest failed: {e})
return None
逐行讲解：
Session 复用：requests.Session 会保持 Cookie 和连接池，比每次新建 requests.get 性能更高，也更像真实浏览器行为。
随机延时：random.uniform 比固定 time.sleep 更自然，避免被频率检测算法捕捉。
异常捕获：网络不稳定是常态，必须捕获 RequestException，否则程序会崩溃。
3. 数据解析与清洗
拿到 JSON 后，数据往往是嵌套的。indeed.com 的返回结构中，职位信息通常在 results 数组下。我们需要提取关键字段：标题、公司、薪资、地点。
core/parser.py 实现如下：
import re
from datetime import datetime
class JobParser:
@staticmethod
def parse_jobs(raw_data):
将原始 JSON 转换为标准字典列表
if not raw_data or 'results' not in raw_data:
return []
jobs = []
for item in raw_data['results']:
try:
title = item.get('title', '').strip()
company = item.get('company', '').strip()
location = item.get('location', '').strip()
# 薪资字段通常在 'salary' 或 'salaryMin'/'salaryMax'
# 这里假设结构为 {salary: 50K - 70K per year}
salary_text = item.get('salary', 'N/A')
# 使用正则提取数字，方便后续分析
salary_numbers = re.findall(r'\d+', salary_text)
salary_min = int(salary_numbers[0]) if salary_numbers else None
salary_max = int(salary_numbers[-1]) if len(salary_numbers) 1 else None
# 提取技能标签
skills = [tag.get('label') for tag in item.get('tags', []) if tag.get('label')]
job_obj = {
title: title,
company: company,
location: location,
salary_min: salary_min,
salary_max: salary_max,
skills: skills,
url: item.get('url', ''),
crawled_at: datetime.now().isoformat()
}
jobs.append(job_obj)
except Exception as e:
logger.error(fParse error: {e})
continue
return jobs
关键点：
防御性编程：使用 .get() 而不是 [] 访问字典，防止 KeyError。
正则提取：薪资格式五花八门，正则 r'\d+' 是最通用的提取手段。
时间戳：记录 crawled_at，方便后续做数据时效性分析。
运行与测试：从本地到生产
代码写完了，怎么跑？别直接 python main.py 就完事。我们需要一个主调度器，并且加入简单的重试机制。
main.py 示例：
from core.fetcher import DataFetcher
from core.parser import JobParser
from storage.db import Database
from config.settings import Config
from utils.logger import get_logger
logger = get_logger(__name__)
def main():
fetcher = DataFetcher()
parser = JobParser()
db = Database() # 假设已初始化连接
keywords = [Python Backend, Java Microservices]
for kw in keywords:
logger.info(fStarting crawl for: {kw})
# 1. 获取
raw_data = fetcher.fetch_job_list(kw)
# 2. 解析
if raw_data:
jobs = parser.parse_jobs(raw_data)
logger.info(fParsed {len(jobs)} jobs)
# 3. 存储 (这里简化为批量插入)
if jobs:
db.batch_insert(jobs)
# 4. 控制频率
time.sleep(Config.REQUEST_INTERVAL)
if __name__ == __main__:
main()
测试策略：
单元测试：针对 parser.py，构造几个典型的 JSON 片段，测试解析结果是否符合预期。重点测试空值、格式异常的情况。
集成测试：在本地运行 main.py，观察日志输出。检查数据库是否正确写入数据。
压力测试：增加关键词数量，观察程序是否稳定，IP 是否被封。如果被封，说明需要引入代理池（Proxy Pool）。
优化扩展与高频考点深挖
这是区分“脚本小子”和“后端工程师”的关键章节。面试中，面试官往往会问：“你的系统如果并发量上来怎么办？”或者“如何保证数据准确性？”
1. 并发改造：从串行到异步
上面的代码是串行执行，效率低。在生产环境，我们通常使用 asyncio 和 aiohttp。
改造思路：
将 DataFetcher 改为异步类。
使用 asyncio.gather 并发请求多个关键词。
设置信号量（Semaphore）控制并发数，例如同时最多 5 个请求，避免打爆目标服务器或自己的 IP。
2. 数据准确性与去重
网络爬取的数据往往有噪声。如何保证入库数据的唯一性？
唯一索引：在数据库中，对 title + company + location 建立唯一索引。
哈希去重：在入库前，计算职位内容的 MD5 值，如果数据库中已存在相同 MD5，则跳过。
3. 薪资区间与地区差异分析
这是转岗从业者最关心的“变现”能力。通过爬虫收集的数据，我们可以做简单的统计分析。
地区
平均最低薪资 (USD)
平均最高薪资 (USD)
主要技术栈
Remote
60,000
95,000
Python, Go, Docker
New York
85,000
130,000
Java, Kafka, K8s
Austin
70,000
110,000
Python, AWS, React
注：数据仅为示例，实际需运行爬虫获取。
通过这样的表格，你能直观看到：
地区差异：远程职位的平均薪资下限往往低于一线城市，但上限可能更高（因为大厂远程岗多）。
技术溢价：掌握 Docker/K8s 的职位薪资区间明显高于纯 CRUD 岗位。
在面试中，如果你能展示你不仅会爬数据，还能通过数据洞察行业趋势，这会极大提升你的竞争力。
4. 反爬应对策略
indeed.com 可能会返回验证码或 403 错误。
代理池：引入 RotatingProxyManager，轮换 IP。
Cookie 池：维护一组有效的 Cookie，定期更新。
人机验证：如果触发 reCAPTCHA，需接入打码平台（如 2Captcha）进行自动识别，但这涉及成本，需在项目中权衡。
小结与行动指南
这个项目看似简单，实则涵盖了后端开发的多个核心模块：网络通信、数据解析、存储设计、并发控制、日志监控。
面试避坑指南：
不要只说“用了 requests”：要说出为什么用 Session，如何处理超时，如何模拟浏览器指纹。
不要忽视异常处理：生产环境中，异常处理代码量往往超过正常逻辑。展示你的 try-except 块，展示你的日志记录。
数据价值大于代码本身：强调你通过爬虫获取的数据如何帮助分析薪资、技能趋势，体现你的业务思维。
你更常用哪种写法？评论区交流
是喜欢用 Scrapy 框架快速搭建，还是像本文这样用 requests + asyncio 手写底层逻辑以掌握更多细节？或者你有更好的反爬应对方案？欢迎在评论区分享你的实战经验，一起避坑。