1. 为什么需要自己动手写爬虫在数据驱动的时代网页爬虫已经成为获取互联网公开数据的必备技能。市面上的确存在不少现成的采集工具比如八爪鱼、火车头等但自己动手写爬虫有着不可替代的优势首先现成工具往往功能固化难以应对反爬机制复杂的网站。当遇到需要登录、验证码、动态加载等场景时商业工具常常束手无策。而自己编写的爬虫可以根据目标网站的特点灵活调整策略。其次自建爬虫的性能和资源消耗完全可控。很多商业爬虫为了追求速度会无节制地发送请求这不仅可能违反robots.txt协议还容易对目标服务器造成过大压力。自己编写的爬虫可以精确控制请求频率实现友好爬取。最后从学习角度来说编写爬虫是掌握Python网络编程、数据处理等技能的绝佳实践。通过这个项目你不仅能学会爬虫技术还能深入理解HTTP协议、网页解析、数据存储等计算机科学基础知识。2. 环境准备与工具选型2.1 Python环境配置建议使用Python 3.7及以上版本这个区间的版本在爬虫相关库的支持上最为稳定。环境管理推荐使用conda或venv# 使用conda创建环境 conda create -n web_crawler python3.8 conda activate web_crawler # 或者使用venv python -m venv web_crawler source web_crawler/bin/activate # Linux/Mac web_crawler\Scripts\activate # Windows2.2 核心库选择对于静态网页爬取我们主要需要以下几个库Requests比urllib更人性化的HTTP客户端库BeautifulSoup4HTML解析神器lxml高性能HTML/XML解析器BeautifulSoup的后端引擎fake-useragent随机生成User-Agentpython-dotenv管理环境变量用于存储敏感信息安装命令pip install requests beautifulsoup4 lxml fake-useragent python-dotenv注意虽然Scrapy是强大的爬虫框架但对于初学者来说从RequestsBeautifulSoup的组合入手更能理解爬虫的基本原理。掌握基础后再学习Scrapy会事半功倍。3. 爬虫核心架构设计一个健壮的爬虫系统应该包含以下模块└── 爬虫系统 ├── 下载器Downloader ├── 解析器Parser ├── 存储器Storage ├── 调度器Scheduler └── 反反爬模块Anti-Anti-Crawler3.1 下载器实现下载器的核心是正确处理HTTP请求。这里给出一个带有基础防护的下载函数import requests from fake_useragent import UserAgent from time import sleep import random def download_page(url, retry3): ua UserAgent() headers { User-Agent: ua.random, Accept-Language: zh-CN,zh;q0.9, } try: # 随机延迟1-3秒避免请求过于频繁 sleep(random.uniform(1, 3)) response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 检查内容类型是否为HTML if text/html not in response.headers.get(Content-Type, ): raise ValueError(非HTML内容) return response.text except Exception as e: if retry 0: print(f下载失败剩余重试次数{retry}错误{str(e)}) return download_page(url, retry-1) raise这个下载器实现了随机User-Agent生成请求间隔随机延迟自动重试机制内容类型验证3.2 解析器实现BeautifulSoup是解析HTML的利器下面是一个典型的解析流程from bs4 import BeautifulSoup def parse_html(html): soup BeautifulSoup(html, lxml) # 示例提取所有文章标题和链接 articles [] for item in soup.select(.article-list li): try: title item.select_one(h2).get_text(stripTrue) link item.select_one(a)[href] articles.append({title: title, link: link}) except Exception as e: print(f解析出错{str(e)}) continue return articles解析时需要注意使用CSS选择器比XPath更易读每个提取操作都要有异常处理对文本内容进行strip()处理去除多余空白4. 反反爬策略实战4.1 遵守robots.txt协议在爬取任何网站前首先检查其robots.txt文件。Python可以使用robotparser模块from urllib.robotparser import RobotFileParser def check_robots(url): rp RobotFileParser() robots_url /.join(url.split(/)[:3]) /robots.txt rp.set_url(robots_url) rp.read() return rp.can_fetch(*, url)4.2 高级防护策略IP轮换使用代理池免费代理可用但不稳定生产环境建议使用付费服务proxies { http: http://proxy_ip:port, https: http://proxy_ip:port } response requests.get(url, proxiesproxies)请求指纹混淆定期更换请求头中的Accept、Referer等字段行为模拟随机滚动页面、点击等行为需要Selenium配合验证码处理简单验证码可用OCR库如pytesseract复杂验证码需要第三方打码平台5. 数据存储方案5.1 基础存储方案对于小型爬虫CSV是最简单的存储格式import csv def save_to_csv(data, filename): with open(filename, a, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnamesdata[0].keys()) if f.tell() 0: # 如果是新文件写入表头 writer.writeheader() writer.writerows(data)5.2 进阶存储方案JSON存储适合嵌套数据结构SQLite轻量级数据库无需服务器MongoDB适合非结构化数据MySQL/PostgreSQL结构化数据的最佳选择这里给出一个SQLite示例import sqlite3 def init_db(): conn sqlite3.connect(articles.db) c conn.cursor() c.execute(CREATE TABLE IF NOT EXISTS articles (id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, link TEXT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP)) conn.commit() conn.close() def save_to_db(data): conn sqlite3.connect(articles.db) c conn.cursor() c.executemany(INSERT INTO articles (title, link) VALUES (:title, :link), data) conn.commit() conn.close()6. 实战爬取新闻网站让我们以爬取一个新闻网站为例整合前面所学的知识import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent import time import random import sqlite3 class NewsCrawler: def __init__(self): self.ua UserAgent() self.base_url https://news.example.com self.init_db() def init_db(self): self.conn sqlite3.connect(news.db) self.cursor self.conn.cursor() self.cursor.execute(CREATE TABLE IF NOT EXISTS news (id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, url TEXT UNIQUE, publish_date TEXT, content TEXT)) self.conn.commit() def download_page(self, url): headers {User-Agent: self.ua.random} try: time.sleep(random.uniform(1, 3)) response requests.get(url, headersheaders, timeout10) response.raise_for_status() return response.text except Exception as e: print(f下载失败: {str(e)}) return None def parse_news_list(self, html): soup BeautifulSoup(html, lxml) news_items [] for item in soup.select(.news-item): try: title item.select_one(h2).get_text(stripTrue) relative_url item.select_one(a)[href] url self.base_url relative_url if relative_url.startswith(/) else relative_url date item.select_one(.date).get_text(stripTrue) news_items.append({title: title, url: url, date: date}) except Exception as e: print(f解析新闻列表出错: {str(e)}) return news_items def parse_news_detail(self, html): soup BeautifulSoup(html, lxml) try: content \n.join([p.get_text(stripTrue) for p in soup.select(.article-content p)]) return content except Exception as e: print(f解析新闻详情出错: {str(e)}) return None def save_news(self, news): try: self.cursor.execute(INSERT OR IGNORE INTO news (title, url, publish_date, content) VALUES (?, ?, ?, ?), (news[title], news[url], news[date], news[content])) self.conn.commit() return True except Exception as e: print(f保存新闻出错: {str(e)}) return False def crawl(self, pages5): for page in range(1, pages1): list_url f{self.base_url}/news?page{page} print(f正在抓取第{page}页: {list_url}) html self.download_page(list_url) if not html: continue news_list self.parse_news_list(html) for news in news_list: detail_html self.download_page(news[url]) if detail_html: content self.parse_news_detail(detail_html) if content: news[content] content self.save_news(news) def __del__(self): self.conn.close() if __name__ __main__: crawler NewsCrawler() crawler.crawl(pages3)这个爬虫实现了新闻列表页的抓取和解析新闻详情页的深度抓取数据去重存储通过URL唯一性完整的异常处理机制7. 爬虫优化与调试技巧7.1 性能优化并发请求使用多线程/多进程或asynciofrom concurrent.futures import ThreadPoolExecutor def concurrent_download(urls): with ThreadPoolExecutor(max_workers5) as executor: results list(executor.map(download_page, urls)) return results缓存机制对已经抓取的页面进行缓存import hashlib import os def get_cache_key(url): return hashlib.md5(url.encode()).hexdigest() def cached_download(url, cache_dircache): os.makedirs(cache_dir, exist_okTrue) cache_key get_cache_key(url) cache_file os.path.join(cache_dir, cache_key) if os.path.exists(cache_file): with open(cache_file, r, encodingutf-8) as f: return f.read() content download_page(url) if content: with open(cache_file, w, encodingutf-8) as f: f.write(content) return content7.2 调试技巧日志记录使用logging模块记录爬虫运行状态import logging logging.basicConfig( levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log), logging.StreamHandler() ] )中间结果检查保存HTML快照用于调试def save_html_for_debug(html, filenamedebug.html): with open(filename, w, encodingutf-8) as f: f.write(html)使用浏览器开发者工具分析网页结构时Chrome的开发者工具是最佳帮手8. 法律与道德考量尊重版权不要抓取受版权保护的内容用于商业用途遵守robots.txt这是网站管理员表达爬取意愿的首要渠道控制请求频率通常1-3秒间隔是安全范围对小型网站应该更保守用户数据保护如果意外抓取到个人信息应当立即删除商业用途需谨慎大规模商业爬取最好先获得网站方许可重要提示在爬取任何网站前请务必确认网站的服务条款是否允许爬取你要爬取的数据是否涉及用户隐私你的爬取行为是否会严重影响网站正常运行9. 项目扩展方向掌握了基础爬虫技能后你可以进一步探索动态内容爬取学习Selenium或Playwright处理JavaScript渲染的页面分布式爬虫使用Scrapy-Redis构建分布式爬虫系统反爬对抗深入研究验证码识别、指纹混淆等高级技术数据管道将爬取的数据接入分析平台如Elasticsearch、Tableau可视化监控为爬虫系统构建Dashboard实时监控运行状态一个进阶建议是尝试将你的爬虫容器化FROM python:3.8-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD [python, crawler.py]这样你可以轻松部署爬虫到任何支持Docker的环境。 
长河君 · 2026/9/16 1:44:05 · 阅读 1.2k Python爬虫开发实战：从入门到反反爬策略
1. 为什么需要自己动手写爬虫在数据驱动的时代网页爬虫已经成为获取互联网公开数据的必备技能。市面上的确存在不少现成的采集工具比如八爪鱼、火车头等但自己动手写爬虫有着不可替代的优势首先现成工具往往功能固化难以应对反爬机制复杂的网站。当遇到需要登录、验证码、动态加载等场景时商业工具常常束手无策。而自己编写的爬虫可以根据目标网站的特点灵活调整策略。其次自建爬虫的性能和资源消耗完全可控。很多商业爬虫为了追求速度会无节制地发送请求这不仅可能违反robots.txt协议还容易对目标服务器造成过大压力。自己编写的爬虫可以精确控制请求频率实现友好爬取。最后从学习角度来说编写爬虫是掌握Python网络编程、数据处理等技能的绝佳实践。通过这个项目你不仅能学会爬虫技术还能深入理解HTTP协议、网页解析、数据存储等计算机科学基础知识。2. 环境准备与工具选型2.1 Python环境配置建议使用Python 3.7及以上版本这个区间的版本在爬虫相关库的支持上最为稳定。环境管理推荐使用conda或venv# 使用conda创建环境 conda create -n web_crawler python3.8 conda activate web_crawler # 或者使用venv python -m venv web_crawler source web_crawler/bin/activate # Linux/Mac web_crawler\Scripts\activate # Windows2.2 核心库选择对于静态网页爬取我们主要需要以下几个库Requests比urllib更人性化的HTTP客户端库BeautifulSoup4HTML解析神器lxml高性能HTML/XML解析器BeautifulSoup的后端引擎fake-useragent随机生成User-Agentpython-dotenv管理环境变量用于存储敏感信息安装命令pip install requests beautifulsoup4 lxml fake-useragent python-dotenv注意虽然Scrapy是强大的爬虫框架但对于初学者来说从RequestsBeautifulSoup的组合入手更能理解爬虫的基本原理。掌握基础后再学习Scrapy会事半功倍。3. 爬虫核心架构设计一个健壮的爬虫系统应该包含以下模块└── 爬虫系统 ├── 下载器Downloader ├── 解析器Parser ├── 存储器Storage ├── 调度器Scheduler └── 反反爬模块Anti-Anti-Crawler3.1 下载器实现下载器的核心是正确处理HTTP请求。这里给出一个带有基础防护的下载函数import requests from fake_useragent import UserAgent from time import sleep import random def download_page(url, retry3): ua UserAgent() headers { User-Agent: ua.random, Accept-Language: zh-CN,zh;q0.9, } try: # 随机延迟1-3秒避免请求过于频繁 sleep(random.uniform(1, 3)) response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 检查内容类型是否为HTML if text/html not in response.headers.get(Content-Type, ): raise ValueError(非HTML内容) return response.text except Exception as e: if retry 0: print(f下载失败剩余重试次数{retry}错误{str(e)}) return download_page(url, retry-1) raise这个下载器实现了随机User-Agent生成请求间隔随机延迟自动重试机制内容类型验证3.2 解析器实现BeautifulSoup是解析HTML的利器下面是一个典型的解析流程from bs4 import BeautifulSoup def parse_html(html): soup BeautifulSoup(html, lxml) # 示例提取所有文章标题和链接 articles [] for item in soup.select(.article-list li): try: title item.select_one(h2).get_text(stripTrue) link item.select_one(a)[href] articles.append({title: title, link: link}) except Exception as e: print(f解析出错{str(e)}) continue return articles解析时需要注意使用CSS选择器比XPath更易读每个提取操作都要有异常处理对文本内容进行strip()处理去除多余空白4. 反反爬策略实战4.1 遵守robots.txt协议在爬取任何网站前首先检查其robots.txt文件。Python可以使用robotparser模块from urllib.robotparser import RobotFileParser def check_robots(url): rp RobotFileParser() robots_url /.join(url.split(/)[:3]) /robots.txt rp.set_url(robots_url) rp.read() return rp.can_fetch(*, url)4.2 高级防护策略IP轮换使用代理池免费代理可用但不稳定生产环境建议使用付费服务proxies { http: http://proxy_ip:port, https: http://proxy_ip:port } response requests.get(url, proxiesproxies)请求指纹混淆定期更换请求头中的Accept、Referer等字段行为模拟随机滚动页面、点击等行为需要Selenium配合验证码处理简单验证码可用OCR库如pytesseract复杂验证码需要第三方打码平台5. 数据存储方案5.1 基础存储方案对于小型爬虫CSV是最简单的存储格式import csv def save_to_csv(data, filename): with open(filename, a, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnamesdata[0].keys()) if f.tell() 0: # 如果是新文件写入表头 writer.writeheader() writer.writerows(data)5.2 进阶存储方案JSON存储适合嵌套数据结构SQLite轻量级数据库无需服务器MongoDB适合非结构化数据MySQL/PostgreSQL结构化数据的最佳选择这里给出一个SQLite示例import sqlite3 def init_db(): conn sqlite3.connect(articles.db) c conn.cursor() c.execute(CREATE TABLE IF NOT EXISTS articles (id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, link TEXT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP)) conn.commit() conn.close() def save_to_db(data): conn sqlite3.connect(articles.db) c conn.cursor() c.executemany(INSERT INTO articles (title, link) VALUES (:title, :link), data) conn.commit() conn.close()6. 实战爬取新闻网站让我们以爬取一个新闻网站为例整合前面所学的知识import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent import time import random import sqlite3 class NewsCrawler: def __init__(self): self.ua UserAgent() self.base_url https://news.example.com self.init_db() def init_db(self): self.conn sqlite3.connect(news.db) self.cursor self.conn.cursor() self.cursor.execute(CREATE TABLE IF NOT EXISTS news (id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, url TEXT UNIQUE, publish_date TEXT, content TEXT)) self.conn.commit() def download_page(self, url): headers {User-Agent: self.ua.random} try: time.sleep(random.uniform(1, 3)) response requests.get(url, headersheaders, timeout10) response.raise_for_status() return response.text except Exception as e: print(f下载失败: {str(e)}) return None def parse_news_list(self, html): soup BeautifulSoup(html, lxml) news_items [] for item in soup.select(.news-item): try: title item.select_one(h2).get_text(stripTrue) relative_url item.select_one(a)[href] url self.base_url relative_url if relative_url.startswith(/) else relative_url date item.select_one(.date).get_text(stripTrue) news_items.append({title: title, url: url, date: date}) except Exception as e: print(f解析新闻列表出错: {str(e)}) return news_items def parse_news_detail(self, html): soup BeautifulSoup(html, lxml) try: content \n.join([p.get_text(stripTrue) for p in soup.select(.article-content p)]) return content except Exception as e: print(f解析新闻详情出错: {str(e)}) return None def save_news(self, news): try: self.cursor.execute(INSERT OR IGNORE INTO news (title, url, publish_date, content) VALUES (?, ?, ?, ?), (news[title], news[url], news[date], news[content])) self.conn.commit() return True except Exception as e: print(f保存新闻出错: {str(e)}) return False def crawl(self, pages5): for page in range(1, pages1): list_url f{self.base_url}/news?page{page} print(f正在抓取第{page}页: {list_url}) html self.download_page(list_url) if not html: continue news_list self.parse_news_list(html) for news in news_list: detail_html self.download_page(news[url]) if detail_html: content self.parse_news_detail(detail_html) if content: news[content] content self.save_news(news) def __del__(self): self.conn.close() if __name__ __main__: crawler NewsCrawler() crawler.crawl(pages3)这个爬虫实现了新闻列表页的抓取和解析新闻详情页的深度抓取数据去重存储通过URL唯一性完整的异常处理机制7. 爬虫优化与调试技巧7.1 性能优化并发请求使用多线程/多进程或asynciofrom concurrent.futures import ThreadPoolExecutor def concurrent_download(urls): with ThreadPoolExecutor(max_workers5) as executor: results list(executor.map(download_page, urls)) return results缓存机制对已经抓取的页面进行缓存import hashlib import os def get_cache_key(url): return hashlib.md5(url.encode()).hexdigest() def cached_download(url, cache_dircache): os.makedirs(cache_dir, exist_okTrue) cache_key get_cache_key(url) cache_file os.path.join(cache_dir, cache_key) if os.path.exists(cache_file): with open(cache_file, r, encodingutf-8) as f: return f.read() content download_page(url) if content: with open(cache_file, w, encodingutf-8) as f: f.write(content) return content7.2 调试技巧日志记录使用logging模块记录爬虫运行状态import logging logging.basicConfig( levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log), logging.StreamHandler() ] )中间结果检查保存HTML快照用于调试def save_html_for_debug(html, filenamedebug.html): with open(filename, w, encodingutf-8) as f: f.write(html)使用浏览器开发者工具分析网页结构时Chrome的开发者工具是最佳帮手8. 法律与道德考量尊重版权不要抓取受版权保护的内容用于商业用途遵守robots.txt这是网站管理员表达爬取意愿的首要渠道控制请求频率通常1-3秒间隔是安全范围对小型网站应该更保守用户数据保护如果意外抓取到个人信息应当立即删除商业用途需谨慎大规模商业爬取最好先获得网站方许可重要提示在爬取任何网站前请务必确认网站的服务条款是否允许爬取你要爬取的数据是否涉及用户隐私你的爬取行为是否会严重影响网站正常运行9. 项目扩展方向掌握了基础爬虫技能后你可以进一步探索动态内容爬取学习Selenium或Playwright处理JavaScript渲染的页面分布式爬虫使用Scrapy-Redis构建分布式爬虫系统反爬对抗深入研究验证码识别、指纹混淆等高级技术数据管道将爬取的数据接入分析平台如Elasticsearch、Tableau可视化监控为爬虫系统构建Dashboard实时监控运行状态一个进阶建议是尝试将你的爬虫容器化FROM python:3.8-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD [python, crawler.py]这样你可以轻松部署爬虫到任何支持Docker的环境。