在数据采集和内容归档领域批量下载特定平台的多媒体内容是一个常见的需求。无论是出于个人收藏、学术研究还是合规的媒体分析掌握一套稳定、高效的自动化下载方案都能极大提升效率。本文将围绕“微博视频批量下载”这一主题提供一个从原理分析到代码实现的完整技术解决方案。我们将使用Python作为主要工具详细拆解如何通过模拟请求、解析接口来获取视频的真实地址并实现批量、断点续传等高级功能。文章内容面向具备Python基础知识的开发者学完后你将能够独立编写一个功能完善的微博视频下载脚本并理解其中涉及的网络请求、数据解析等关键技术点。1. 背景与核心概念在深入代码之前我们有必要厘清几个核心概念和背后的技术原理。这不仅能帮助你理解“怎么做”更能明白“为什么这么做”以及在遇到问题时如何排查。微博视频的存储与分发机制微博平台上的视频并非直接以.mp4或.flv文件链接的形式嵌入在网页中。为了进行访问控制、防盗链、负载均衡和适应不同网络环境微博采用了动态链接和接口鉴权的机制。当你在网页或App中播放一个视频时前端会向微博的后台API发起请求携带视频ID、用户令牌等信息服务器返回一个有时效性的、真实的视频流地址通常是m3u8或mp4直链。我们的下载工具本质上就是模拟这一过程。爬虫与数据采集的边界本文所讨论的技术方法仅限于个人学习、研究和在微博平台用户协议及robots.txt允许范围内的数据采集。开发者必须严格遵守相关法律法规和平台政策不得用于侵犯他人著作权、隐私权等合法权益。对目标服务器进行恶意高频请求造成拒绝服务攻击DoS。将获取的内容用于商业盈利等未授权用途。绕过平台正常的访问限制。批量下载的技术栈我们将主要使用Python的requests库进行网络请求BeautifulSoup或json模块进行HTML/JSON数据解析re模块进行正则匹配以及concurrent.futures或aiohttp可选来实现并发下载以提升效率。整个流程可以概括为解析页面 - 提取视频ID - 请求API获取真实地址 - 下载视频文件。2. 环境准备与版本说明工欲善其事必先利其器。以下是实现本方案所需的开发环境与核心库。建议使用虚拟环境如venv或conda来管理依赖避免污染全局环境。操作系统Windows 10/11, macOS, 或 Linux 发行版均可。本文示例命令以 macOS/Linux 的 bash 和 Windows 的 PowerShell 为例。Python 版本推荐使用 Python 3.8 及以上版本。本文代码基于 Python 3.9 编写但核心逻辑兼容 3.6。IDE 或编辑器Visual Studio Code, PyCharm, 或任何你熟悉的文本编辑器。核心 Python 库 我们需要通过pip安装以下第三方库。请确保你的 pip 已更新至最新版本。# 安装依赖库 pip install requests beautifulsoup4 lxmlrequests (2.28)用于发送 HTTP 请求获取网页和 API 数据。它是本项目的基石。beautifulsoup4 (4.11)用于解析 HTML 页面从中提取视频信息所在的标签和属性。lxml (4.9)作为 BeautifulSoup 的解析器比内置的html.parser速度更快、容错性更好。可选库用于进阶功能# 如果需要并发下载可以安装 pip install aiohttp aiofiles # 如果需要图形界面或更复杂的任务调度 # pip install tkinter (通常内置) / pyqt5 / celery项目结构预览 在开始编码前我们先规划一个清晰的项目目录结构。weibo_video_downloader/ ├── main.py # 主程序入口 ├── core/ │ ├── __init__.py │ ├── downloader.py # 下载器核心类 │ ├── parser.py # 页面解析器 │ └── utils.py # 工具函数如URL处理、日志 ├── config.py # 配置文件如请求头、超时设置 ├── requirements.txt # 项目依赖列表 ├── logs/ # 日志目录 └── videos/ # 下载视频的存储目录你可以使用以下命令快速创建这个结构mkdir -p weibo_video_downloader/core logs videos touch weibo_video_downloader/main.py weibo_video_downloader/core/__init__.py weibo_video_downloader/core/downloader.py weibo_video_video_downloader/core/parser.py weibo_video_downloader/core/utils.py weibo_video_downloader/config.py weibo_video_downloader/requirements.txt3. 核心原理与流程拆解微博视频下载的核心在于找到那个“真正”的视频文件地址。这个过程通常分为几个步骤下图展示了其核心工作流[输入微博视频页面URL] | v [发送HTTP请求获取页面HTML源码] | v [解析HTML定位并提取视频信息如视频ID、封面图] | v [构造API请求向微博服务器申请视频播放地址] | v [解析API返回的JSON数据提取高清MP4或M3U8链接] | v [使用提取的真实地址下载视频文件到本地] | v [完成下载进行后续处理如重命名、合并]步骤一页面请求与解析微博视频页面例如https://weibo.com/tv/show/节目ID或https://m.weibo.cn/status/微博ID的HTML中包含了视频的元数据。这些数据可能以JavaScript变量、># config.py HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, } # 通用的API请求头Referer会根据具体视频页面动态添加 API_HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, X-Requested-With: XMLHttpRequest, Accept: application/json, text/plain, */*, } TIMEOUT 10 # 请求超时时间秒然后创建utils.py存放一些辅助函数。# core/utils.py import os import re import logging from urllib.parse import urlparse def setup_logger(name, log_filedownloader.log, levellogging.INFO): 设置日志记录器 formatter logging.Formatter(%(asctime)s - %(name)s - %(levelname)s - %(message)s) handler logging.FileHandler(log_file, encodingutf-8) handler.setFormatter(formatter) logger logging.getLogger(name) logger.setLevel(level) logger.addHandler(handler) # 避免重复添加handler if not logger.handlers: console_handler logging.StreamHandler() console_handler.setFormatter(formatter) logger.addHandler(console_handler) return logger def sanitize_filename(filename): 清理文件名中的非法字符 # 移除Windows和Linux中不允许的字符 illegal_chars r[:/\\|?*\x00-\x1f] filename re.sub(illegal_chars, _, filename) # 限制文件名长度 if len(filename) 200: name, ext os.path.splitext(filename) filename name[:200-len(ext)] ext return filename.strip() def extract_video_id_from_url(url): 从微博视频URL中尝试提取视频ID或微博ID patterns [ r/tv/show/([0-9a-zA-Z]), # PC端节目页 r/status/(\d), # 移动端微博详情页 rfid(\d), # 其他可能的参数 ] for pattern in patterns: match re.search(pattern, url) if match: return match.group(1) return None4.2 实现页面解析器parser.py负责从HTML中提取关键信息。这里我们演示两种常见页面的解析逻辑。# core/parser.py import json import re from bs4 import BeautifulSoup from .utils import extract_video_id_from_url class WeiboVideoParser: def __init__(self, html_content, page_url): self.soup BeautifulSoup(html_content, lxml) self.page_url page_url def parse_pc_page(self): 解析PC端weibo.com视频页面 video_info {} # 尝试从script标签中查找包含视频信息的JSON script_tags self.soup.find_all(script) for script in script_tags: if script.string and render_data in script.string: # 常见模式 var $render_data [{...}]; try: json_str re.search(r\[\s*{.*}\s*\], script.string, re.DOTALL) if json_str: data json.loads(json_str.group(0)) # 根据实际JSON结构遍历查找 video_info, stream_urls 等 # 这里是一个简化示例实际结构非常复杂且多变 for item in data: if status in item and page_info in item[status]: pi item[status][page_info] if pi.get(type) video: video_info[title] pi.get(title, 无标题) video_info[cover_url] pi.get(cover_url) # 真实地址通常需要通过另一个API获取这里只提取视频ID video_info[video_id] pi.get(media_info, {}).get(video_id) return video_info except (json.JSONDecodeError, AttributeError) as e: continue return video_info def parse_mobile_page(self): 解析移动端m.weibo.cn页面通常结构更清晰 video_info {} # 移动端页面经常在 #app 的初始数据中直接包含视频信息 pattern rvar\s\$render_data\s*\s*(\[.*?\])\s*\[0\]\s*\|\|\s*\[\] match re.search(pattern, self.soup.text, re.DOTALL) if match: try: data json.loads(match.group(1)) # 简化路径实际需要仔细分析数据结构 if data and len(data) 0 and status in data[0]: status data[0][status] if page_info in status and status[page_info].get(type) video: pi status[page_info] video_info[title] pi.get(title, status.get(text, 无标题)[:50]) video_info[cover_url] pi.get(cover_url) video_info[video_id] pi.get(media_info, {}).get(video_id) video_info[author] status.get(user, {}).get(screen_name) except json.JSONDecodeError: pass return video_info def parse(self): 根据URL自动选择解析方法 if m.weibo in self.page_url: return self.parse_mobile_page() else: return self.parse_pc_page()4.3 实现下载器核心downloader.py是核心它整合了解析和下载流程并处理API请求。# core/downloader.py import os import requests import time from tqdm import tqdm # 用于显示进度条需要安装pip install tqdm from .parser import WeiboVideoParser from .utils import setup_logger, sanitize_filename, extract_video_id_from_url import config logger setup_logger(__name__) class WeiboVideoDownloader: def __init__(self, output_dir./videos): self.session requests.Session() self.session.headers.update(config.HEADERS) self.output_dir output_dir os.makedirs(self.output_dir, exist_okTrue) def get_video_real_url(self, video_id, page_url): 根据视频ID模拟API请求获取真实视频地址示例逻辑 # 注意微博的API接口和参数经常变化此处的URL和参数仅为示例。 # 你需要使用浏览器开发者工具找到当前可用的API。 api_url https://weibo.com/tv/api/component params { page: f/tv/show/{video_id}, } headers config.API_HEADERS.copy() headers[Referer] page_url # 关键Referer必须设置为视频页面 try: resp self.session.get(api_url, paramsparams, headersheaders, timeoutconfig.TIMEOUT) resp.raise_for_status() data resp.json() # 解析JSON找到最高清mp4地址。实际路径需要根据API返回结构调整。 # 示例路径 data[data][components][播放器组件][urls][高清mp4] video_url None # 这里是一个极其简化的解析逻辑实际情况需要你仔细分析返回的JSON if data in data and components in data[data]: # 假设结构是 components 下第一个元素的 urls 里包含 mp4_720p for comp in data[data][components]: if urls in comp: urls comp[urls] # 优先寻找mp4格式 for quality in [mp4_720p, mp4_480p, mp4_360p, mp4_hd, mp4_ld]: if quality in urls: video_url urls[quality] logger.info(f找到视频地址清晰度: {quality}) break if video_url: break return video_url except requests.exceptions.RequestException as e: logger.error(f请求视频真实地址API失败: {e}) return None except (KeyError, json.JSONDecodeError) as e: logger.error(f解析API返回数据失败: {e}, 响应文本: {resp.text[:200]}) return None def download_single_video(self, page_url, custom_nameNone): 下载单个微博视频的主流程 logger.info(f开始处理: {page_url}) # 1. 获取页面HTML try: resp self.session.get(page_url, timeoutconfig.TIMEOUT) resp.raise_for_status() html resp.text except requests.exceptions.RequestException as e: logger.error(f获取页面失败: {e}) return False # 2. 解析页面获取视频信息 parser WeiboVideoParser(html, page_url) video_info parser.parse() if not video_info.get(video_id): # 如果解析器没找到再尝试用正则从URL提取 video_info[video_id] extract_video_id_from_url(page_url) if not video_info.get(video_id): logger.error(f无法从页面提取视频ID: {page_url}) return False title video_info.get(title, fvideo_{video_info[video_id]}) if custom_name: title custom_name safe_title sanitize_filename(title) # 3. 获取真实视频地址 real_url self.get_video_real_url(video_info[video_id], page_url) if not real_url: logger.error(f无法获取视频真实地址: {page_url}) return False # 4. 下载视频文件 file_path os.path.join(self.output_dir, f{safe_title}.mp4) # 如果文件已存在跳过 if os.path.exists(file_path): logger.warning(f文件已存在跳过: {file_path}) return True logger.info(f开始下载: {title} - {file_path}) try: # 流式下载支持大文件和进度显示 video_resp self.session.get(real_url, streamTrue, timeoutconfig.TIMEOUT) video_resp.raise_for_status() total_size int(video_resp.headers.get(content-length, 0)) with open(file_path, wb) as f, tqdm( descsafe_title[:30], totaltotal_size, unitB, unit_scaleTrue, unit_divisor1024, ) as bar: for chunk in video_resp.iter_content(chunk_size1024*1024): # 1MB chunks if chunk: f.write(chunk) bar.update(len(chunk)) logger.info(f下载完成: {file_path}) return True except requests.exceptions.RequestException as e: logger.error(f下载视频文件失败: {e}) # 删除可能不完整的文件 if os.path.exists(file_path): os.remove(file_path) return False def download_from_list(self, url_list_file): 从文本文件中读取URL列表进行批量下载 if not os.path.exists(url_list_file): logger.error(fURL列表文件不存在: {url_list_file}) return with open(url_list_file, r, encodingutf-8) as f: urls [line.strip() for line in f if line.strip() and not line.startswith(#)] logger.info(f共读取到 {len(urls)} 个待下载任务) success_count 0 for idx, url in enumerate(urls, 1): logger.info(f进度: ({idx}/{len(urls)})) if self.download_single_video(url): success_count 1 time.sleep(1) # 礼貌性延迟避免请求过快 logger.info(f批量下载完成。成功: {success_count}, 失败: {len(urls)-success_count})4.4 编写主程序入口最后我们创建main.py来调用下载器提供简单的命令行交互。# main.py import sys import argparse from core.downloader import WeiboVideoDownloader from core.utils import setup_logger logger setup_logger(main) def main(): parser argparse.ArgumentParser(description微博视频批量下载工具) parser.add_argument(-u, --url, typestr, help单个微博视频页面URL) parser.add_argument(-f, --file, typestr, help包含多个URL的文本文件路径每行一个URL) parser.add_argument(-o, --output, typestr, default./videos, help视频输出目录默认为./videos) args parser.parse_args() if not args.url and not args.file: parser.print_help() sys.exit(1) downloader WeiboVideoDownloader(output_dirargs.output) if args.url: success downloader.download_single_video(args.url) sys.exit(0 if success else 1) elif args.file: downloader.download_from_list(args.file) if __name__ __main__: main()4.5 运行与验证安装依赖在项目根目录下执行pip install -r requirements.txt需先创建该文件并写入requests,beautifulsoup4,lxml,tqdm。创建URL列表文件创建一个urls.txt文件里面每行放一个你想下载的微博视频页面地址。https://weibo.com/tv/show/1034:1234567890 https://m.weibo.cn/status/1234567890123456运行批量下载python main.py -f urls.txt运行单个下载python main.py -u https://weibo.com/tv/show/1034:1234567890观察输出程序会在控制台和downloader.log文件中输出详细的日志信息并使用进度条显示下载进度。下载的视频将保存在./videos目录下。5. 常见问题与排查思路在实际使用中你可能会遇到各种问题。下面是一个常见问题的排查指南。问题现象可能原因排查步骤与解决方案获取页面失败返回 403/4041. 请求头User-Agent被识别为爬虫。2. 目标页面URL已失效或需要登录。3. IP 地址被临时限制。1. 检查并更新config.py中的HEADERS模拟最新版浏览器的User-Agent。2. 在浏览器中手动打开该URL确认链接有效且无需复杂登录。3. 添加适当的延迟 (time.sleep)或使用代理IP池。解析器无法提取video_id1. 微博页面结构已更新。2. 视频存在于另一种页面格式如故事、直播回放。1. 使用浏览器开发者工具重新分析页面HTML结构找到包含视频信息的新标签或JavaScript变量并更新parser.py中的正则表达式或解析逻辑。2. 确认目标页面是否为标准的视频播放页。API请求成功但返回数据为空或错误1. API接口地址或参数已变化。2. 缺少必要的请求头如Referer,X-Requested-With,Cookie。3. 请求频率过高触发风控。1. 再次使用开发者工具的“网络”选项卡找到获取视频地址的XHR请求复制其完整的URL和Query String Parameters更新get_video_real_url方法。2. 仔细比对代码中的请求头与浏览器中的请求头补全缺失项。对于需要登录才能观看的视频可能需要获取并携带有效的Cookie。3. 增加请求间隔模拟人类操作。能获取地址但下载失败1. 视频地址有防盗链如验证Referer。2. 地址已过期。3. 网络连接不稳定。1. 确保下载视频文件时requests的headers中也带上了正确的Referer通常是原微博页面URL。2. 视频地址通常有有效期。如果下载失败重新执行一次获取地址的流程使用新的地址。3. 增加下载超时时间使用try-except包装下载代码并实现重试机制。下载的文件损坏或无法播放1. 下载未完成网络中断。2. 写入文件时编码错误。1. 实现下载的完整性校验如比较文件大小与Content-Length。使用with open(file, wb)确保文件正确关闭。2. 确保以二进制模式 (wb) 写入视频数据。批量下载速度慢单线程顺序下载。引入并发下载。可以使用concurrent.futures.ThreadPoolExecutor实现多线程或使用aiohttpasyncio实现异步IO。注意并发数不宜过高建议3-5个以免对目标服务器造成过大压力或触发反爬。6. 最佳实践与工程建议将脚本跑起来只是第一步要让其稳定、可靠、易维护还需要遵循一些工程实践。遵守 Robots 协议与延迟策略在robots.txt中查看微博对爬虫的限制。即使没有明确禁止也应在请求间添加随机延迟例如time.sleep(random.uniform(1, 3))模拟人类浏览行为这是对目标站点的尊重也能让你的脚本更稳定。实现健壮的错误处理与重试网络请求充满不确定性。核心的请求函数如get_video_real_url和下载块应该被try-except包围并实现指数退避的重试机制。def request_with_retry(url, max_retries3): for i in range(max_retries): try: resp session.get(url, timeoutTIMEOUT) resp.raise_for_status() return resp except requests.exceptions.RequestException as e: logger.warning(f请求失败 ({i1}/{max_retries}): {e}) if i max_retries - 1: wait_time 2 ** i # 指数退避 time.sleep(wait_time) logger.error(f请求最终失败: {url}) return None使用配置文件与日志系统将所有可配置项如请求头、超时时间、下载路径、并发数放入config.py或config.yaml。使用logging模块记录程序运行状态、错误和信息便于后期排查问题。本文示例已包含基础日志设置。代码模块化与可扩展性如示例所示将解析、下载、工具函数分离到不同模块。如果未来需要支持其他平台如B站、抖音可以轻松地添加新的Parser类而无需重写下载逻辑。考虑增量下载与状态持久化对于大规模的批量任务可以实现一个简单的数据库如SQLite或记录文件保存已成功下载的URL和其对应的本地文件名、MD5等信息。每次启动时先查询避免重复下载。安全与合法性提醒再次强调个人使用确保你的下载行为符合微博的用户协议仅用于个人学习、研究或存档。版权与隐私切勿下载和传播明确标注“未经许可禁止下载”或涉及他人隐私的内容。技术责任本教程提供的代码仅用于技术学习。因使用此代码产生的任何法律纠纷或对目标网站造成的影响由使用者自行承担。应对反爬升级平台的反爬策略会更新。保持代码可维护性的关键是将易变的部分如API URL、解析规则集中管理。当脚本失效时重点检查网络请求的模拟是否完整而不是盲目修改所有代码。通过以上步骤你不仅得到了一个可用的微博视频下载工具更重要的是理解了一套应对动态内容网站数据采集的通用方法论分析请求、模拟行为、解析数据、处理异常。这套方法稍加调整便可应用于其他许多类似场景。 
长河君 · 2026/8/20 3:37:30 · 阅读 1.2k Python自动化微博视频批量下载：从接口解析到断点续传实战
在数据采集和内容归档领域批量下载特定平台的多媒体内容是一个常见的需求。无论是出于个人收藏、学术研究还是合规的媒体分析掌握一套稳定、高效的自动化下载方案都能极大提升效率。本文将围绕“微博视频批量下载”这一主题提供一个从原理分析到代码实现的完整技术解决方案。我们将使用Python作为主要工具详细拆解如何通过模拟请求、解析接口来获取视频的真实地址并实现批量、断点续传等高级功能。文章内容面向具备Python基础知识的开发者学完后你将能够独立编写一个功能完善的微博视频下载脚本并理解其中涉及的网络请求、数据解析等关键技术点。1. 背景与核心概念在深入代码之前我们有必要厘清几个核心概念和背后的技术原理。这不仅能帮助你理解“怎么做”更能明白“为什么这么做”以及在遇到问题时如何排查。微博视频的存储与分发机制微博平台上的视频并非直接以.mp4或.flv文件链接的形式嵌入在网页中。为了进行访问控制、防盗链、负载均衡和适应不同网络环境微博采用了动态链接和接口鉴权的机制。当你在网页或App中播放一个视频时前端会向微博的后台API发起请求携带视频ID、用户令牌等信息服务器返回一个有时效性的、真实的视频流地址通常是m3u8或mp4直链。我们的下载工具本质上就是模拟这一过程。爬虫与数据采集的边界本文所讨论的技术方法仅限于个人学习、研究和在微博平台用户协议及robots.txt允许范围内的数据采集。开发者必须严格遵守相关法律法规和平台政策不得用于侵犯他人著作权、隐私权等合法权益。对目标服务器进行恶意高频请求造成拒绝服务攻击DoS。将获取的内容用于商业盈利等未授权用途。绕过平台正常的访问限制。批量下载的技术栈我们将主要使用Python的requests库进行网络请求BeautifulSoup或json模块进行HTML/JSON数据解析re模块进行正则匹配以及concurrent.futures或aiohttp可选来实现并发下载以提升效率。整个流程可以概括为解析页面 - 提取视频ID - 请求API获取真实地址 - 下载视频文件。2. 环境准备与版本说明工欲善其事必先利其器。以下是实现本方案所需的开发环境与核心库。建议使用虚拟环境如venv或conda来管理依赖避免污染全局环境。操作系统Windows 10/11, macOS, 或 Linux 发行版均可。本文示例命令以 macOS/Linux 的 bash 和 Windows 的 PowerShell 为例。Python 版本推荐使用 Python 3.8 及以上版本。本文代码基于 Python 3.9 编写但核心逻辑兼容 3.6。IDE 或编辑器Visual Studio Code, PyCharm, 或任何你熟悉的文本编辑器。核心 Python 库 我们需要通过pip安装以下第三方库。请确保你的 pip 已更新至最新版本。# 安装依赖库 pip install requests beautifulsoup4 lxmlrequests (2.28)用于发送 HTTP 请求获取网页和 API 数据。它是本项目的基石。beautifulsoup4 (4.11)用于解析 HTML 页面从中提取视频信息所在的标签和属性。lxml (4.9)作为 BeautifulSoup 的解析器比内置的html.parser速度更快、容错性更好。可选库用于进阶功能# 如果需要并发下载可以安装 pip install aiohttp aiofiles # 如果需要图形界面或更复杂的任务调度 # pip install tkinter (通常内置) / pyqt5 / celery项目结构预览 在开始编码前我们先规划一个清晰的项目目录结构。weibo_video_downloader/ ├── main.py # 主程序入口 ├── core/ │ ├── __init__.py │ ├── downloader.py # 下载器核心类 │ ├── parser.py # 页面解析器 │ └── utils.py # 工具函数如URL处理、日志 ├── config.py # 配置文件如请求头、超时设置 ├── requirements.txt # 项目依赖列表 ├── logs/ # 日志目录 └── videos/ # 下载视频的存储目录你可以使用以下命令快速创建这个结构mkdir -p weibo_video_downloader/core logs videos touch weibo_video_downloader/main.py weibo_video_downloader/core/__init__.py weibo_video_downloader/core/downloader.py weibo_video_video_downloader/core/parser.py weibo_video_downloader/core/utils.py weibo_video_downloader/config.py weibo_video_downloader/requirements.txt3. 核心原理与流程拆解微博视频下载的核心在于找到那个“真正”的视频文件地址。这个过程通常分为几个步骤下图展示了其核心工作流[输入微博视频页面URL] | v [发送HTTP请求获取页面HTML源码] | v [解析HTML定位并提取视频信息如视频ID、封面图] | v [构造API请求向微博服务器申请视频播放地址] | v [解析API返回的JSON数据提取高清MP4或M3U8链接] | v [使用提取的真实地址下载视频文件到本地] | v [完成下载进行后续处理如重命名、合并]步骤一页面请求与解析微博视频页面例如https://weibo.com/tv/show/节目ID或https://m.weibo.cn/status/微博ID的HTML中包含了视频的元数据。这些数据可能以JavaScript变量、># config.py HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, } # 通用的API请求头Referer会根据具体视频页面动态添加 API_HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, X-Requested-With: XMLHttpRequest, Accept: application/json, text/plain, */*, } TIMEOUT 10 # 请求超时时间秒然后创建utils.py存放一些辅助函数。# core/utils.py import os import re import logging from urllib.parse import urlparse def setup_logger(name, log_filedownloader.log, levellogging.INFO): 设置日志记录器 formatter logging.Formatter(%(asctime)s - %(name)s - %(levelname)s - %(message)s) handler logging.FileHandler(log_file, encodingutf-8) handler.setFormatter(formatter) logger logging.getLogger(name) logger.setLevel(level) logger.addHandler(handler) # 避免重复添加handler if not logger.handlers: console_handler logging.StreamHandler() console_handler.setFormatter(formatter) logger.addHandler(console_handler) return logger def sanitize_filename(filename): 清理文件名中的非法字符 # 移除Windows和Linux中不允许的字符 illegal_chars r[:/\\|?*\x00-\x1f] filename re.sub(illegal_chars, _, filename) # 限制文件名长度 if len(filename) 200: name, ext os.path.splitext(filename) filename name[:200-len(ext)] ext return filename.strip() def extract_video_id_from_url(url): 从微博视频URL中尝试提取视频ID或微博ID patterns [ r/tv/show/([0-9a-zA-Z]), # PC端节目页 r/status/(\d), # 移动端微博详情页 rfid(\d), # 其他可能的参数 ] for pattern in patterns: match re.search(pattern, url) if match: return match.group(1) return None4.2 实现页面解析器parser.py负责从HTML中提取关键信息。这里我们演示两种常见页面的解析逻辑。# core/parser.py import json import re from bs4 import BeautifulSoup from .utils import extract_video_id_from_url class WeiboVideoParser: def __init__(self, html_content, page_url): self.soup BeautifulSoup(html_content, lxml) self.page_url page_url def parse_pc_page(self): 解析PC端weibo.com视频页面 video_info {} # 尝试从script标签中查找包含视频信息的JSON script_tags self.soup.find_all(script) for script in script_tags: if script.string and render_data in script.string: # 常见模式 var $render_data [{...}]; try: json_str re.search(r\[\s*{.*}\s*\], script.string, re.DOTALL) if json_str: data json.loads(json_str.group(0)) # 根据实际JSON结构遍历查找 video_info, stream_urls 等 # 这里是一个简化示例实际结构非常复杂且多变 for item in data: if status in item and page_info in item[status]: pi item[status][page_info] if pi.get(type) video: video_info[title] pi.get(title, 无标题) video_info[cover_url] pi.get(cover_url) # 真实地址通常需要通过另一个API获取这里只提取视频ID video_info[video_id] pi.get(media_info, {}).get(video_id) return video_info except (json.JSONDecodeError, AttributeError) as e: continue return video_info def parse_mobile_page(self): 解析移动端m.weibo.cn页面通常结构更清晰 video_info {} # 移动端页面经常在 #app 的初始数据中直接包含视频信息 pattern rvar\s\$render_data\s*\s*(\[.*?\])\s*\[0\]\s*\|\|\s*\[\] match re.search(pattern, self.soup.text, re.DOTALL) if match: try: data json.loads(match.group(1)) # 简化路径实际需要仔细分析数据结构 if data and len(data) 0 and status in data[0]: status data[0][status] if page_info in status and status[page_info].get(type) video: pi status[page_info] video_info[title] pi.get(title, status.get(text, 无标题)[:50]) video_info[cover_url] pi.get(cover_url) video_info[video_id] pi.get(media_info, {}).get(video_id) video_info[author] status.get(user, {}).get(screen_name) except json.JSONDecodeError: pass return video_info def parse(self): 根据URL自动选择解析方法 if m.weibo in self.page_url: return self.parse_mobile_page() else: return self.parse_pc_page()4.3 实现下载器核心downloader.py是核心它整合了解析和下载流程并处理API请求。# core/downloader.py import os import requests import time from tqdm import tqdm # 用于显示进度条需要安装pip install tqdm from .parser import WeiboVideoParser from .utils import setup_logger, sanitize_filename, extract_video_id_from_url import config logger setup_logger(__name__) class WeiboVideoDownloader: def __init__(self, output_dir./videos): self.session requests.Session() self.session.headers.update(config.HEADERS) self.output_dir output_dir os.makedirs(self.output_dir, exist_okTrue) def get_video_real_url(self, video_id, page_url): 根据视频ID模拟API请求获取真实视频地址示例逻辑 # 注意微博的API接口和参数经常变化此处的URL和参数仅为示例。 # 你需要使用浏览器开发者工具找到当前可用的API。 api_url https://weibo.com/tv/api/component params { page: f/tv/show/{video_id}, } headers config.API_HEADERS.copy() headers[Referer] page_url # 关键Referer必须设置为视频页面 try: resp self.session.get(api_url, paramsparams, headersheaders, timeoutconfig.TIMEOUT) resp.raise_for_status() data resp.json() # 解析JSON找到最高清mp4地址。实际路径需要根据API返回结构调整。 # 示例路径 data[data][components][播放器组件][urls][高清mp4] video_url None # 这里是一个极其简化的解析逻辑实际情况需要你仔细分析返回的JSON if data in data and components in data[data]: # 假设结构是 components 下第一个元素的 urls 里包含 mp4_720p for comp in data[data][components]: if urls in comp: urls comp[urls] # 优先寻找mp4格式 for quality in [mp4_720p, mp4_480p, mp4_360p, mp4_hd, mp4_ld]: if quality in urls: video_url urls[quality] logger.info(f找到视频地址清晰度: {quality}) break if video_url: break return video_url except requests.exceptions.RequestException as e: logger.error(f请求视频真实地址API失败: {e}) return None except (KeyError, json.JSONDecodeError) as e: logger.error(f解析API返回数据失败: {e}, 响应文本: {resp.text[:200]}) return None def download_single_video(self, page_url, custom_nameNone): 下载单个微博视频的主流程 logger.info(f开始处理: {page_url}) # 1. 获取页面HTML try: resp self.session.get(page_url, timeoutconfig.TIMEOUT) resp.raise_for_status() html resp.text except requests.exceptions.RequestException as e: logger.error(f获取页面失败: {e}) return False # 2. 解析页面获取视频信息 parser WeiboVideoParser(html, page_url) video_info parser.parse() if not video_info.get(video_id): # 如果解析器没找到再尝试用正则从URL提取 video_info[video_id] extract_video_id_from_url(page_url) if not video_info.get(video_id): logger.error(f无法从页面提取视频ID: {page_url}) return False title video_info.get(title, fvideo_{video_info[video_id]}) if custom_name: title custom_name safe_title sanitize_filename(title) # 3. 获取真实视频地址 real_url self.get_video_real_url(video_info[video_id], page_url) if not real_url: logger.error(f无法获取视频真实地址: {page_url}) return False # 4. 下载视频文件 file_path os.path.join(self.output_dir, f{safe_title}.mp4) # 如果文件已存在跳过 if os.path.exists(file_path): logger.warning(f文件已存在跳过: {file_path}) return True logger.info(f开始下载: {title} - {file_path}) try: # 流式下载支持大文件和进度显示 video_resp self.session.get(real_url, streamTrue, timeoutconfig.TIMEOUT) video_resp.raise_for_status() total_size int(video_resp.headers.get(content-length, 0)) with open(file_path, wb) as f, tqdm( descsafe_title[:30], totaltotal_size, unitB, unit_scaleTrue, unit_divisor1024, ) as bar: for chunk in video_resp.iter_content(chunk_size1024*1024): # 1MB chunks if chunk: f.write(chunk) bar.update(len(chunk)) logger.info(f下载完成: {file_path}) return True except requests.exceptions.RequestException as e: logger.error(f下载视频文件失败: {e}) # 删除可能不完整的文件 if os.path.exists(file_path): os.remove(file_path) return False def download_from_list(self, url_list_file): 从文本文件中读取URL列表进行批量下载 if not os.path.exists(url_list_file): logger.error(fURL列表文件不存在: {url_list_file}) return with open(url_list_file, r, encodingutf-8) as f: urls [line.strip() for line in f if line.strip() and not line.startswith(#)] logger.info(f共读取到 {len(urls)} 个待下载任务) success_count 0 for idx, url in enumerate(urls, 1): logger.info(f进度: ({idx}/{len(urls)})) if self.download_single_video(url): success_count 1 time.sleep(1) # 礼貌性延迟避免请求过快 logger.info(f批量下载完成。成功: {success_count}, 失败: {len(urls)-success_count})4.4 编写主程序入口最后我们创建main.py来调用下载器提供简单的命令行交互。# main.py import sys import argparse from core.downloader import WeiboVideoDownloader from core.utils import setup_logger logger setup_logger(main) def main(): parser argparse.ArgumentParser(description微博视频批量下载工具) parser.add_argument(-u, --url, typestr, help单个微博视频页面URL) parser.add_argument(-f, --file, typestr, help包含多个URL的文本文件路径每行一个URL) parser.add_argument(-o, --output, typestr, default./videos, help视频输出目录默认为./videos) args parser.parse_args() if not args.url and not args.file: parser.print_help() sys.exit(1) downloader WeiboVideoDownloader(output_dirargs.output) if args.url: success downloader.download_single_video(args.url) sys.exit(0 if success else 1) elif args.file: downloader.download_from_list(args.file) if __name__ __main__: main()4.5 运行与验证安装依赖在项目根目录下执行pip install -r requirements.txt需先创建该文件并写入requests,beautifulsoup4,lxml,tqdm。创建URL列表文件创建一个urls.txt文件里面每行放一个你想下载的微博视频页面地址。https://weibo.com/tv/show/1034:1234567890 https://m.weibo.cn/status/1234567890123456运行批量下载python main.py -f urls.txt运行单个下载python main.py -u https://weibo.com/tv/show/1034:1234567890观察输出程序会在控制台和downloader.log文件中输出详细的日志信息并使用进度条显示下载进度。下载的视频将保存在./videos目录下。5. 常见问题与排查思路在实际使用中你可能会遇到各种问题。下面是一个常见问题的排查指南。问题现象可能原因排查步骤与解决方案获取页面失败返回 403/4041. 请求头User-Agent被识别为爬虫。2. 目标页面URL已失效或需要登录。3. IP 地址被临时限制。1. 检查并更新config.py中的HEADERS模拟最新版浏览器的User-Agent。2. 在浏览器中手动打开该URL确认链接有效且无需复杂登录。3. 添加适当的延迟 (time.sleep)或使用代理IP池。解析器无法提取video_id1. 微博页面结构已更新。2. 视频存在于另一种页面格式如故事、直播回放。1. 使用浏览器开发者工具重新分析页面HTML结构找到包含视频信息的新标签或JavaScript变量并更新parser.py中的正则表达式或解析逻辑。2. 确认目标页面是否为标准的视频播放页。API请求成功但返回数据为空或错误1. API接口地址或参数已变化。2. 缺少必要的请求头如Referer,X-Requested-With,Cookie。3. 请求频率过高触发风控。1. 再次使用开发者工具的“网络”选项卡找到获取视频地址的XHR请求复制其完整的URL和Query String Parameters更新get_video_real_url方法。2. 仔细比对代码中的请求头与浏览器中的请求头补全缺失项。对于需要登录才能观看的视频可能需要获取并携带有效的Cookie。3. 增加请求间隔模拟人类操作。能获取地址但下载失败1. 视频地址有防盗链如验证Referer。2. 地址已过期。3. 网络连接不稳定。1. 确保下载视频文件时requests的headers中也带上了正确的Referer通常是原微博页面URL。2. 视频地址通常有有效期。如果下载失败重新执行一次获取地址的流程使用新的地址。3. 增加下载超时时间使用try-except包装下载代码并实现重试机制。下载的文件损坏或无法播放1. 下载未完成网络中断。2. 写入文件时编码错误。1. 实现下载的完整性校验如比较文件大小与Content-Length。使用with open(file, wb)确保文件正确关闭。2. 确保以二进制模式 (wb) 写入视频数据。批量下载速度慢单线程顺序下载。引入并发下载。可以使用concurrent.futures.ThreadPoolExecutor实现多线程或使用aiohttpasyncio实现异步IO。注意并发数不宜过高建议3-5个以免对目标服务器造成过大压力或触发反爬。6. 最佳实践与工程建议将脚本跑起来只是第一步要让其稳定、可靠、易维护还需要遵循一些工程实践。遵守 Robots 协议与延迟策略在robots.txt中查看微博对爬虫的限制。即使没有明确禁止也应在请求间添加随机延迟例如time.sleep(random.uniform(1, 3))模拟人类浏览行为这是对目标站点的尊重也能让你的脚本更稳定。实现健壮的错误处理与重试网络请求充满不确定性。核心的请求函数如get_video_real_url和下载块应该被try-except包围并实现指数退避的重试机制。def request_with_retry(url, max_retries3): for i in range(max_retries): try: resp session.get(url, timeoutTIMEOUT) resp.raise_for_status() return resp except requests.exceptions.RequestException as e: logger.warning(f请求失败 ({i1}/{max_retries}): {e}) if i max_retries - 1: wait_time 2 ** i # 指数退避 time.sleep(wait_time) logger.error(f请求最终失败: {url}) return None使用配置文件与日志系统将所有可配置项如请求头、超时时间、下载路径、并发数放入config.py或config.yaml。使用logging模块记录程序运行状态、错误和信息便于后期排查问题。本文示例已包含基础日志设置。代码模块化与可扩展性如示例所示将解析、下载、工具函数分离到不同模块。如果未来需要支持其他平台如B站、抖音可以轻松地添加新的Parser类而无需重写下载逻辑。考虑增量下载与状态持久化对于大规模的批量任务可以实现一个简单的数据库如SQLite或记录文件保存已成功下载的URL和其对应的本地文件名、MD5等信息。每次启动时先查询避免重复下载。安全与合法性提醒再次强调个人使用确保你的下载行为符合微博的用户协议仅用于个人学习、研究或存档。版权与隐私切勿下载和传播明确标注“未经许可禁止下载”或涉及他人隐私的内容。技术责任本教程提供的代码仅用于技术学习。因使用此代码产生的任何法律纠纷或对目标网站造成的影响由使用者自行承担。应对反爬升级平台的反爬策略会更新。保持代码可维护性的关键是将易变的部分如API URL、解析规则集中管理。当脚本失效时重点检查网络请求的模拟是否完整而不是盲目修改所有代码。通过以上步骤你不仅得到了一个可用的微博视频下载工具更重要的是理解了一套应对动态内容网站数据采集的通用方法论分析请求、模拟行为、解析数据、处理异常。这套方法稍加调整便可应用于其他许多类似场景。