1. 项目背景与核心需求高校计算机学院的官网通常会发布大量学术新闻和讲座公告这些信息对于研究人员、学生和行业从业者具有重要参考价值。但手动收集这些分散的信息效率极低且难以持续跟踪更新。这正是我们需要用Python爬虫来自动化完成这项工作的原因。这个项目的核心目标是开发一个能够自动采集某计算机学院官网学术新闻与讲座公告的爬虫程序并提取以下关键信息新闻/公告标题发布日期正文前200字摘要原始链接最终将采集到的数据以两种格式导出CSV文件 - 便于Excel等工具进行数据分析JSON文件 - 便于其他程序直接调用和处理2. 技术选型与工具准备2.1 Python爬虫生态选择Python拥有丰富的爬虫相关库经过对比分析我们选择以下工具链# 核心库 import requests # 网络请求 from bs4 import BeautifulSoup # HTML解析 import pandas as pd # 数据处理 import json # JSON处理 import time # 控制请求频率 # 辅助库 from urllib.parse import urljoin # URL拼接 import re # 正则表达式选择这些库的主要考虑requests比urllib更简单易用BeautifulSoup是HTML解析的事实标准pandas提供了便捷的DataFrame操作和CSV导出功能2.2 目标网站分析在开始编写爬虫前必须对目标网站进行仔细分析页面结构分析使用浏览器开发者工具(F12)查看新闻列表页和详情页的HTML结构识别标题、日期等关键信息的HTML标签和CSS选择器robots.txt检查访问目标网站的robots.txt文件如example.com/robots.txt确认爬取行为是否符合网站的爬取政策请求频率评估避免对服务器造成过大压力建议在请求间添加1-2秒的延迟重要提示即使robots.txt没有限制也应遵循道德爬取原则控制请求频率避免影响网站正常服务。3. 爬虫实现详解3.1 基础爬取流程设计完整的爬虫工作流程如下从入口URL获取新闻列表页解析列表页提取各新闻链接遍历每个新闻链接访问详情页从详情页提取目标信息存储到数据结构中导出为CSV和JSON文件3.2 核心代码实现3.2.1 获取页面内容def get_page(url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } try: response requests.get(url, headersheaders) response.raise_for_status() # 检查请求是否成功 response.encoding response.apparent_encoding # 自动检测编码 return response.text except requests.exceptions.RequestException as e: print(f请求失败: {e}) return None关键点说明设置User-Agent模拟浏览器访问异常处理确保程序健壮性自动检测编码解决中文乱码问题3.2.2 解析列表页获取新闻链接def parse_list_page(html, base_url): soup BeautifulSoup(html, html.parser) news_links [] # 假设新闻条目有特定的class或结构 news_items soup.select(.news-list li a) # 根据实际结构调整 for item in news_items: href item.get(href) full_url urljoin(base_url, href) # 处理相对URL news_links.append(full_url) return news_links3.2.3 解析详情页提取信息def parse_detail_page(html): soup BeautifulSoup(html, html.parser) # 提取标题 - 根据实际页面结构调整选择器 title soup.select_one(.article-title).get_text(stripTrue) # 提取发布日期 - 通常需要处理日期格式 date_str soup.select_one(.publish-date).get_text(stripTrue) date re.sub(r\s, , date_str) # 清理空白字符 # 提取正文前200字 content soup.select_one(.article-content).get_text(stripTrue) summary content[:200] ... if len(content) 200 else content return { title: title, date: date, summary: summary, content: content }3.3 数据存储与导出3.3.1 数据结构设计使用Python字典列表存储所有采集到的新闻all_news [ { title: ..., date: ..., summary: ..., content: ..., url: ... }, # 更多新闻... ]3.3.2 导出为CSVdef save_to_csv(data, filename): df pd.DataFrame(data) df.to_csv(filename, indexFalse, encodingutf_8_sig) # 支持中文3.3.3 导出为JSONdef save_to_json(data, filename): with open(filename, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2)4. 高级技巧与优化4.1 反爬虫策略应对高校网站通常会有简单的反爬措施User-Agent轮换user_agents [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15, # 更多UA... ]请求间隔随机化import random time.sleep(random.uniform(1, 3)) # 1-3秒随机延迟代理IP池针对严格反爬proxies { http: http://proxy_ip:port, https: https://proxy_ip:port }4.2 增量爬取实现避免重复爬取已采集的内容import os import hashlib def get_url_hash(url): return hashlib.md5(url.encode()).hexdigest() def is_url_crawled(url, crawled_set): return get_url_hash(url) in crawled_set def load_crawled_urls(filename): if os.path.exists(filename): with open(filename, r) as f: return set(f.read().splitlines()) return set()4.3 日志记录与错误处理完善的日志系统对爬虫至关重要import logging logging.basicConfig( levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log), logging.StreamHandler() ] )5. 完整代码示例以下是整合后的完整爬虫代码import requests from bs4 import BeautifulSoup import pandas as pd import json import time import re from urllib.parse import urljoin import logging import hashlib import os # 配置日志 logging.basicConfig( levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log), logging.StreamHandler() ] ) class AcademicNewsCrawler: def __init__(self, base_url): self.base_url base_url self.all_news [] self.crawled_urls set() def get_page(self, url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } try: time.sleep(1) # 礼貌性延迟 response requests.get(url, headersheaders) response.raise_for_status() response.encoding response.apparent_encoding return response.text except Exception as e: logging.error(f请求失败: {url} - {str(e)}) return None def parse_list_page(self, html): soup BeautifulSoup(html, html.parser) news_links [] # 根据实际页面结构调整选择器 news_items soup.select(.news-list li a) for item in news_items: href item.get(href) full_url urljoin(self.base_url, href) news_links.append(full_url) return news_links def parse_detail_page(self, html, url): soup BeautifulSoup(html, html.parser) try: title soup.select_one(.article-title).get_text(stripTrue) date_str soup.select_one(.publish-date).get_text(stripTrue) date re.sub(r\s, , date_str) content soup.select_one(.article-content).get_text(stripTrue) summary content[:200] ... if len(content) 200 else content return { title: title, date: date, summary: summary, content: content, url: url } except Exception as e: logging.error(f解析失败: {url} - {str(e)}) return None def crawl(self, start_url, max_pages5): current_url start_url page_count 0 while current_url and page_count max_pages: logging.info(f正在处理列表页: {current_url}) html self.get_page(current_url) if not html: break news_links self.parse_list_page(html) for link in news_links: if link in self.crawled_urls: continue logging.info(f正在抓取新闻: {link}) detail_html self.get_page(link) if detail_html: news_data self.parse_detail_page(detail_html, link) if news_data: self.all_news.append(news_data) self.crawled_urls.add(link) time.sleep(1) # 请求间隔 # 查找下一页根据实际页面结构调整 soup BeautifulSoup(html, html.parser) next_page soup.select_one(.next-page) current_url urljoin(self.base_url, next_page[href]) if next_page else None page_count 1 def save_to_csv(self, filename): df pd.DataFrame(self.all_news) df.to_csv(filename, indexFalse, encodingutf_8_sig) logging.info(f已保存CSV文件: {filename}) def save_to_json(self, filename): with open(filename, w, encodingutf-8) as f: json.dump(self.all_news, f, ensure_asciiFalse, indent2) logging.info(f已保存JSON文件: {filename}) # 使用示例 if __name__ __main__: base_url https://cs.example.edu.cn # 替换为实际目标网站 start_url f{base_url}/news crawler AcademicNewsCrawler(base_url) crawler.crawl(start_url, max_pages3) crawler.save_to_csv(academic_news.csv) crawler.save_to_json(academic_news.json)6. 常见问题与解决方案6.1 编码问题问题现象获取的中文内容显示为乱码解决方案确保正确检测响应编码response.encoding response.apparent_encoding保存文件时指定UTF-8编码with open(filename, w, encodingutf-8) as f:6.2 页面结构变化问题现象选择器无法找到预期的元素解决方案使用更通用的选择器# 不推荐 soup.select(.specific-class) # 推荐 soup.select(div.news-container h2) # 更结构化的选择添加健壮的错误处理title soup.select_one(.title) or soup.select_one(h1) or 无标题6.3 反爬机制拦截问题现象请求返回403错误或被重定向解决方案模拟浏览器头部headers { User-Agent: Mozilla/5.0..., Referer: https://www.google.com/, Accept-Language: zh-CN,zh;q0.9 }使用会话保持session requests.Session() session.get(homepage_url) # 先访问首页 response session.get(target_url) # 再访问目标页6.4 数据清洗挑战问题现象提取的文本包含多余空白或特殊字符解决方案使用正则表达式清理import re cleaned_text re.sub(r\s, , raw_text).strip()移除特定内容clean_content re.sub(rscript.*?/script, , content, flagsre.DOTALL)7. 项目扩展与进阶方向7.1 定时自动执行使用计划任务实现每日自动采集Windows使用任务计划程序Linux/Mac使用crontab0 8 * * * /usr/bin/python3 /path/to/crawler.py7.2 数据可视化分析对采集的数据进行简单分析import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(academic_news.csv) # 按月份统计新闻数量 df[month] pd.to_datetime(df[date]).dt.to_period(M) monthly_counts df[month].value_counts().sort_index() monthly_counts.plot(kindbar, figsize(10, 6)) plt.title(Monthly Academic News Distribution) plt.xlabel(Month) plt.ylabel(Number of News) plt.savefig(news_distribution.png)7.3 部署为Web服务使用Flask创建简单的数据APIfrom flask import Flask, jsonify import pandas as pd app Flask(__name__) app.route(/api/news) def get_news(): df pd.read_csv(academic_news.csv) return jsonify(df.to_dict(orientrecords)) if __name__ __main__: app.run(debugTrue)7.4 多线程/异步爬取提高爬取效率的进阶方案import concurrent.futures def crawl_news(url): # 爬取单个新闻的实现 pass with concurrent.futures.ThreadPoolExecutor(max_workers5) as executor: executor.map(crawl_news, news_urls)8. 法律与道德注意事项遵守robots.txt始终检查并尊重目标网站的爬取政策控制请求频率避免对服务器造成过大负担数据使用限制仅将数据用于个人学习研究避免商业用途版权尊重如需公开发布采集的数据应获得授权隐私保护避免采集个人信息或敏感数据在实际开发中我通常会添加一个配置项来控制爬取速度并确保程序在遇到异常时能够优雅地退出而不是持续重试。对于学术用途的爬虫建议在代码中明确标注数据来源并考虑在请求头中添加联系方式以便网站管理员必要时能与你取得联系。 
长河君 · 2026/9/14 2:13:42 · 阅读 1.2k Python爬虫实战：高校学术新闻自动化采集方案
1. 项目背景与核心需求高校计算机学院的官网通常会发布大量学术新闻和讲座公告这些信息对于研究人员、学生和行业从业者具有重要参考价值。但手动收集这些分散的信息效率极低且难以持续跟踪更新。这正是我们需要用Python爬虫来自动化完成这项工作的原因。这个项目的核心目标是开发一个能够自动采集某计算机学院官网学术新闻与讲座公告的爬虫程序并提取以下关键信息新闻/公告标题发布日期正文前200字摘要原始链接最终将采集到的数据以两种格式导出CSV文件 - 便于Excel等工具进行数据分析JSON文件 - 便于其他程序直接调用和处理2. 技术选型与工具准备2.1 Python爬虫生态选择Python拥有丰富的爬虫相关库经过对比分析我们选择以下工具链# 核心库 import requests # 网络请求 from bs4 import BeautifulSoup # HTML解析 import pandas as pd # 数据处理 import json # JSON处理 import time # 控制请求频率 # 辅助库 from urllib.parse import urljoin # URL拼接 import re # 正则表达式选择这些库的主要考虑requests比urllib更简单易用BeautifulSoup是HTML解析的事实标准pandas提供了便捷的DataFrame操作和CSV导出功能2.2 目标网站分析在开始编写爬虫前必须对目标网站进行仔细分析页面结构分析使用浏览器开发者工具(F12)查看新闻列表页和详情页的HTML结构识别标题、日期等关键信息的HTML标签和CSS选择器robots.txt检查访问目标网站的robots.txt文件如example.com/robots.txt确认爬取行为是否符合网站的爬取政策请求频率评估避免对服务器造成过大压力建议在请求间添加1-2秒的延迟重要提示即使robots.txt没有限制也应遵循道德爬取原则控制请求频率避免影响网站正常服务。3. 爬虫实现详解3.1 基础爬取流程设计完整的爬虫工作流程如下从入口URL获取新闻列表页解析列表页提取各新闻链接遍历每个新闻链接访问详情页从详情页提取目标信息存储到数据结构中导出为CSV和JSON文件3.2 核心代码实现3.2.1 获取页面内容def get_page(url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } try: response requests.get(url, headersheaders) response.raise_for_status() # 检查请求是否成功 response.encoding response.apparent_encoding # 自动检测编码 return response.text except requests.exceptions.RequestException as e: print(f请求失败: {e}) return None关键点说明设置User-Agent模拟浏览器访问异常处理确保程序健壮性自动检测编码解决中文乱码问题3.2.2 解析列表页获取新闻链接def parse_list_page(html, base_url): soup BeautifulSoup(html, html.parser) news_links [] # 假设新闻条目有特定的class或结构 news_items soup.select(.news-list li a) # 根据实际结构调整 for item in news_items: href item.get(href) full_url urljoin(base_url, href) # 处理相对URL news_links.append(full_url) return news_links3.2.3 解析详情页提取信息def parse_detail_page(html): soup BeautifulSoup(html, html.parser) # 提取标题 - 根据实际页面结构调整选择器 title soup.select_one(.article-title).get_text(stripTrue) # 提取发布日期 - 通常需要处理日期格式 date_str soup.select_one(.publish-date).get_text(stripTrue) date re.sub(r\s, , date_str) # 清理空白字符 # 提取正文前200字 content soup.select_one(.article-content).get_text(stripTrue) summary content[:200] ... if len(content) 200 else content return { title: title, date: date, summary: summary, content: content }3.3 数据存储与导出3.3.1 数据结构设计使用Python字典列表存储所有采集到的新闻all_news [ { title: ..., date: ..., summary: ..., content: ..., url: ... }, # 更多新闻... ]3.3.2 导出为CSVdef save_to_csv(data, filename): df pd.DataFrame(data) df.to_csv(filename, indexFalse, encodingutf_8_sig) # 支持中文3.3.3 导出为JSONdef save_to_json(data, filename): with open(filename, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2)4. 高级技巧与优化4.1 反爬虫策略应对高校网站通常会有简单的反爬措施User-Agent轮换user_agents [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15, # 更多UA... ]请求间隔随机化import random time.sleep(random.uniform(1, 3)) # 1-3秒随机延迟代理IP池针对严格反爬proxies { http: http://proxy_ip:port, https: https://proxy_ip:port }4.2 增量爬取实现避免重复爬取已采集的内容import os import hashlib def get_url_hash(url): return hashlib.md5(url.encode()).hexdigest() def is_url_crawled(url, crawled_set): return get_url_hash(url) in crawled_set def load_crawled_urls(filename): if os.path.exists(filename): with open(filename, r) as f: return set(f.read().splitlines()) return set()4.3 日志记录与错误处理完善的日志系统对爬虫至关重要import logging logging.basicConfig( levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log), logging.StreamHandler() ] )5. 完整代码示例以下是整合后的完整爬虫代码import requests from bs4 import BeautifulSoup import pandas as pd import json import time import re from urllib.parse import urljoin import logging import hashlib import os # 配置日志 logging.basicConfig( levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log), logging.StreamHandler() ] ) class AcademicNewsCrawler: def __init__(self, base_url): self.base_url base_url self.all_news [] self.crawled_urls set() def get_page(self, url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } try: time.sleep(1) # 礼貌性延迟 response requests.get(url, headersheaders) response.raise_for_status() response.encoding response.apparent_encoding return response.text except Exception as e: logging.error(f请求失败: {url} - {str(e)}) return None def parse_list_page(self, html): soup BeautifulSoup(html, html.parser) news_links [] # 根据实际页面结构调整选择器 news_items soup.select(.news-list li a) for item in news_items: href item.get(href) full_url urljoin(self.base_url, href) news_links.append(full_url) return news_links def parse_detail_page(self, html, url): soup BeautifulSoup(html, html.parser) try: title soup.select_one(.article-title).get_text(stripTrue) date_str soup.select_one(.publish-date).get_text(stripTrue) date re.sub(r\s, , date_str) content soup.select_one(.article-content).get_text(stripTrue) summary content[:200] ... if len(content) 200 else content return { title: title, date: date, summary: summary, content: content, url: url } except Exception as e: logging.error(f解析失败: {url} - {str(e)}) return None def crawl(self, start_url, max_pages5): current_url start_url page_count 0 while current_url and page_count max_pages: logging.info(f正在处理列表页: {current_url}) html self.get_page(current_url) if not html: break news_links self.parse_list_page(html) for link in news_links: if link in self.crawled_urls: continue logging.info(f正在抓取新闻: {link}) detail_html self.get_page(link) if detail_html: news_data self.parse_detail_page(detail_html, link) if news_data: self.all_news.append(news_data) self.crawled_urls.add(link) time.sleep(1) # 请求间隔 # 查找下一页根据实际页面结构调整 soup BeautifulSoup(html, html.parser) next_page soup.select_one(.next-page) current_url urljoin(self.base_url, next_page[href]) if next_page else None page_count 1 def save_to_csv(self, filename): df pd.DataFrame(self.all_news) df.to_csv(filename, indexFalse, encodingutf_8_sig) logging.info(f已保存CSV文件: {filename}) def save_to_json(self, filename): with open(filename, w, encodingutf-8) as f: json.dump(self.all_news, f, ensure_asciiFalse, indent2) logging.info(f已保存JSON文件: {filename}) # 使用示例 if __name__ __main__: base_url https://cs.example.edu.cn # 替换为实际目标网站 start_url f{base_url}/news crawler AcademicNewsCrawler(base_url) crawler.crawl(start_url, max_pages3) crawler.save_to_csv(academic_news.csv) crawler.save_to_json(academic_news.json)6. 常见问题与解决方案6.1 编码问题问题现象获取的中文内容显示为乱码解决方案确保正确检测响应编码response.encoding response.apparent_encoding保存文件时指定UTF-8编码with open(filename, w, encodingutf-8) as f:6.2 页面结构变化问题现象选择器无法找到预期的元素解决方案使用更通用的选择器# 不推荐 soup.select(.specific-class) # 推荐 soup.select(div.news-container h2) # 更结构化的选择添加健壮的错误处理title soup.select_one(.title) or soup.select_one(h1) or 无标题6.3 反爬机制拦截问题现象请求返回403错误或被重定向解决方案模拟浏览器头部headers { User-Agent: Mozilla/5.0..., Referer: https://www.google.com/, Accept-Language: zh-CN,zh;q0.9 }使用会话保持session requests.Session() session.get(homepage_url) # 先访问首页 response session.get(target_url) # 再访问目标页6.4 数据清洗挑战问题现象提取的文本包含多余空白或特殊字符解决方案使用正则表达式清理import re cleaned_text re.sub(r\s, , raw_text).strip()移除特定内容clean_content re.sub(rscript.*?/script, , content, flagsre.DOTALL)7. 项目扩展与进阶方向7.1 定时自动执行使用计划任务实现每日自动采集Windows使用任务计划程序Linux/Mac使用crontab0 8 * * * /usr/bin/python3 /path/to/crawler.py7.2 数据可视化分析对采集的数据进行简单分析import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(academic_news.csv) # 按月份统计新闻数量 df[month] pd.to_datetime(df[date]).dt.to_period(M) monthly_counts df[month].value_counts().sort_index() monthly_counts.plot(kindbar, figsize(10, 6)) plt.title(Monthly Academic News Distribution) plt.xlabel(Month) plt.ylabel(Number of News) plt.savefig(news_distribution.png)7.3 部署为Web服务使用Flask创建简单的数据APIfrom flask import Flask, jsonify import pandas as pd app Flask(__name__) app.route(/api/news) def get_news(): df pd.read_csv(academic_news.csv) return jsonify(df.to_dict(orientrecords)) if __name__ __main__: app.run(debugTrue)7.4 多线程/异步爬取提高爬取效率的进阶方案import concurrent.futures def crawl_news(url): # 爬取单个新闻的实现 pass with concurrent.futures.ThreadPoolExecutor(max_workers5) as executor: executor.map(crawl_news, news_urls)8. 法律与道德注意事项遵守robots.txt始终检查并尊重目标网站的爬取政策控制请求频率避免对服务器造成过大负担数据使用限制仅将数据用于个人学习研究避免商业用途版权尊重如需公开发布采集的数据应获得授权隐私保护避免采集个人信息或敏感数据在实际开发中我通常会添加一个配置项来控制爬取速度并确保程序在遇到异常时能够优雅地退出而不是持续重试。对于学术用途的爬虫建议在代码中明确标注数据来源并考虑在请求头中添加联系方式以便网站管理员必要时能与你取得联系。