006— 爬取第一考试网试题

在这里插入图片描述

import requests
import logging
import parsel
import re
import os#京东异步加载的反爬要求提供origin的信息
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0'}logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
TOTAL_PAGE = 115# 删除文件名中违禁字符串
def changer_title(name):new_name = re.sub(r'[/\\:*?"<>|\b]', '_', name)return new_name# 通用爬虫方法
# 定义一个名为scrape_page的函数，它接受一个参数url，表示要抓取的网页地址
def scrape_page(url):# 使用logging模块的info方法记录信息，表明正在获取指定url的源代码数据logging.info('正在获取源代码数据 %s', url)try:# 使用requests库的post方法向指定的url发送POST请求，headers和data变量应该在函数外部定义# 注意：这里的headers和data在函数内部未定义，直接使用可能导致错误response = requests.get(url, headers=headers)# 避免乱码进行转码response.encoding = 'gb2312'# 检查响应的状态码是否为200，表示请求成功if response.status_code == 200:# 如果请求成功，将响应的内容返回return response.text# 如果状态码不是200，记录错误日志，包含无效的状态码和urllogging.error('抓取时获取无效状态码 %s', response.status_code, url)# 捕获requests库抛出的所有异常（如网络问题、连接超时等）except requests.RequestException:# 记录错误日志，包含出错的url和完整的异常信息（通过exc_info=True）logging.error('抓取时发生错误 %s', url, exc_info=True)# 列表页
def scrape_index(page):index_url = f'https://www.shijuan1.com/a/sjsx7/list_124_{page}.html'return scrape_page(index_url)# 详情页
def parse_index(html):# 使用parsel库解析HTML内容selector = parsel.Selector(text=html)titles = selector.css('tr td:first-child a.title::text').getall()links = selector.css('tr td:first-child a.title::attr(href)').getall()for title, link in zip(titles, links):title = changer_title(title)link = 'https://www.shijuan1.com' + linkresponse = requests.get(url=link, headers=headers)response.encoding = 'gb2312'html_text = re.findall('<li><a href="(.*?)" target="_blank">本地下载</a></li>', response.text)[0]html_text = 'https://www.shijuan1.com' + html_textcontent = requests.get(url=html_text, headers=headers).contentwith open(html_file + title + '.rar', mode='wb') as f:f.write(content)# 如果当前运行的脚本是这个文件本身（而不是作为模块被其他脚本导入），则执行以下代码块
if __name__ == '__main__':# 创建文件夹html_file = '爬取内容/'if not os.path.exists(html_file):os.mkdir(html_file)for page in range(1, TOTAL_PAGE + 1):# 调用scrape_index函数抓取指定页面的HTML内容，page参数表示当前页码index_html = scrape_index(page)if index_html:parse_index(index_html)