简介这是一款面向频繁下载网络资源用户的URL文件批量下载工具核心用途是将文本中多个URL链接一次性导入并自动下载适用于图片、文档、音频等资源的批量获取对内容创作者、数据分析师、网络管理员尤为实用。压缩包共5个文件体积仅1.22MB内含可直接运行的exe主程序、HTML格式的软件说明页、示例URL列表txt、图文版ReadMe.docx使用指南以及用于界面美化的dll皮肤组件各文件职责明确。工具支持多线程下载、断点续传、失败任务重试和日志查看用户可自由调整下载目录、线程数量与速度限制并实时监控进度。随包说明文档不仅讲解URL与HTTP/HTTPS协议基础还针对网络中断、服务器错误等常见问题提供了排错思路帮助零基础用户快速上手。目前已有2526人学习下载是提升批量获取网络资源效率的轻量级实用工具。1. 先别急着点下载URL文件批量下载器解决的是清单问题做爬虫和资源搬运的人都有这种经历手里攒了几百条直链从图片、视频到压缩包散落在网页源码、日志文件、剪贴板甚至微信聊天记录里浏览器一个个点下载点到手酸还时不时被中断、弹窗、限速搞到烦躁。真正折腾人的不是网速是URL本身——一个没转义的、一段被截断的https://、一行带着BOM头的CSV都能让整批任务瞬间报废。这个「URL文件批量下载器」zip包里装的就是从原始URL清单到完整文件落地的全过程方案清单清洗、编码还原、并发下载、重试和完整性校验一条命令跑完几百个文件适合经常处理资源站、日志分析或数据备份的从业者。2. 把散落的URL收集成清单从网页、日志和剪贴板三路取证批量下载的第一步不是写下载循环而是先把URL从各种犄角旮旯里抠出来。很多人上来就写requests.get(url, streamTrue)结果发现光是从HTML里筛直链这一步就能卡一晚上。URL的原始形态决定了后续所有清洗逻辑所以这一章先把「怎么拿到一份干净的URL清单」说透。2.1 从网页源码里提取直链正则与小括号陷阱最常见的场景是资源站页面文件链接混在a标签、script里的JSON配置和source标签中。我一般会先抓HTML再用正则把href和src属性里的URL全部抽出来做一次去重和过滤。import re from urllib.parse import urljoin def extract_urls_from_html(html: str, base_url: str ) - list[str]: # 匹配 href 或 src 属性取值并去掉两侧引号 pattern re.compile( r\b(?:href|src)\s*\s*[\]([^\])[\], re.IGNORECASE ) raw_urls pattern.findall(html) # 相对路径转绝对路径顺手去掉锚点定位 abs_urls [] for u in raw_urls: if u.startswith((http://, https://, ftp://)): abs_urls.append(u) elif u.startswith((//, /, ./, ../)) or not u.startswith((data:, javascript:)): joined urljoin(base_url, u) abs_urls.append(joined) return list(dict.fromkeys(abs_urls))逻辑说明正则抽到的是字符串还需要urljoin把/files/archive.zip这类相对路径拼成完整URL。data:和javascript:这两种协议不能下载直接跳过。dict.fromkeys在保留顺序的同时做了第一次去重比set更可控。参数说明base_url传当前页面的URL必须带协议头如果页面本身是动态渲染的href可能藏在__INITIAL_STATE__这类JSON变量里这时候要把正则放宽成\url\:\...\再取。后续清单不是HTTP直链的比如snssdk1128://webview?url...、dps://p?url...这类客户端scheme先单独摘出来放到另一个文件后面第6章会讲怎么处理。2.2 剪贴板和日志文件里的URL编码灾难现场另一个高频来源是日志文件和剪贴板。日志里最常见的问题是URL被换行切成了两半、查询参数里的%编码被反斜杠转义剪贴板则是微信或邮件复制出来时自动加了零宽字符。处理这两类来源我的习惯是先把行尾的不可见字符全部清掉再按行读取。import re def clean_url_list_from_text(raw_text: str) - list[str]: # 去掉零宽字符、BOM和行尾的不可见字符 cleaned_text re.sub(r[\u200b\u200c\ufeff\r], , raw_text) # 按常见分隔符切分并过滤明显不是URL的行 parts re.split(r[\s,;], cleaned_text) urls [] for part in parts: part part.strip() if re.match(r^(https?|ftp)://, part, re.IGNORECASE): urls.append(part) return urls逻辑说明零宽字符\u200b和\u200c在普通编辑器里看不见但会让URL解析直接失败必须在清洗阶段干掉。分隔符同时支持空格、逗号、分号这样从Excel表格粘出来的一列URL也能直接吃。参数说明正则开头的^(https?|ftp)://是硬性门槛只收HTTP和FTP开头的链接。如果后续还想收magnet:、ed2k:这类协议需要单独扩展但直链下载器建议先守住HTTP/FTP别的协议另开脚本处理否则下载循环里全是协议的边界判断。洗完之后把结果存成urls.txt每一行一个URL不要有多余字符。这是后面所有步骤的输入文件务必先人工抽查10行确认没有混入需要在浏览器登录才能访问的私有链接。3. 下载器核心实现并发、重试与断点续传的参数设定拿到干净的urls.txt后真正的下载逻辑就要登场了。这个脚本要同时扛住三种意外单个URL超时、服务器返回5xx、下载到一半断网。我先把核心循环和参数做成一个独立的Python文件命令行参数控制并发数和重试次数这样换一批URL时不用改代码。import argparse import os import requests from concurrent.futures import ThreadPoolExecutor, as_completed def download_one(url: str, output_dir: str, timeout: int 30, retries: int 3) - str: local_name url.rsplit(/, 1)[-1].split(?)[0] or index.html local_path os.path.join(output_dir, local_name) for attempt in range(1, retries 1): try: resp requests.get(url, timeouttimeout, streamTrue, allow_redirectsTrue) if resp.status_code 404: return fSKIP {url} - 404 not found resp.raise_for_status() with open(local_path, wb) as f: for chunk in resp.iter_content(chunk_size8192): if chunk: f.write(chunk) return fOK {url} - {local_path} except (requests.ConnectionError, requests.Timeout) as exc: if attempt retries: return fFAIL {url} - {exc} time.sleep(2 * attempt) return fFAIL {url} - unknown error if __name__ __main__: parser argparse.ArgumentParser(description批量下载URL清单中的文件) parser.add_argument(--input, requiredTrue, helpURL清单文件每行一个链接) parser.add_argument(--output, default./downloads, help保存目录) parser.add_argument(--workers, typeint, default4, help并发下载线程数) parser.add_argument(--timeout, typeint, default30, help每个请求超时秒数) parser.add_argument(--retries, typeint, default3, help失败重试次数) args parser.parse_args() os.makedirs(args.output, exist_okTrue) with open(args.input, r, encodingutf-8, errorsignore) as f: url_list [line.strip() for line in f if line.strip()] with ThreadPoolExecutor(max_workersargs.workers) as executor: future_map {executor.submit(download_one, u, args.output, args.timeout, args.retries): u for u in url_list} for fut in as_completed(future_map): print(fut.result())逻辑说明download_one里先取URL最后一段作为文件名并用?截断查询字符串再拼路径防止file.zip?tokenxxx把token写进文件名保存时用streamTrue加上iter_content(8192)逐块写盘这样下载大文件时内存占用不会暴涨。重试时用2 * attempt递增退避连续失败三次就跳过不让整个队列卡死。参数说明--workers是并发线程数一般家用带宽4到8就够再大会被服务器限速甚至封IP--timeout按文件大小调下载大压缩包时30秒是TCP连接超时不是总时间--retries建议保持3重试太多会把错误页面也存下来形成垃圾文件。打印结果里的SKIP表示404或重定向失败FAIL表示网络异常OK表示成功跑完后用一行grep统计三类结果的数量就行。这版脚本没有断点续写逻辑原因是多数资源站的下载链接是一次性token断点续传的Range头不一定被服务端支持。如果必须做断点续传需要在open(local_path, wb)的地方改成先检查已存在文件大小再带Range头发起请求——但先跑通这版再按需加。4. URL规范化与有效性校验让下载列表先过一遍体检批量下载最怕的不是网络差而是清单里混着被二次转义和编码污染的URL你以为是服务器不配合实际是URL本身就发不对。常见的三类病%编码缺失导致中文字符和被浏览器误解、URL被截断成半截、查询参数里带着多余的方括号和花括号。这一章把我在下载前必做的一次「体检」流程完整列出来。4.1 编码还原与再编码urllib.parse 双保险先从原始清单里分离「合法URL」和「需要修复的URL」。合法URL的ASCII字符集要求严格任何超出范围的中文、空格、#、%杂音都必须处理。from urllib.parse import urlsplit, urlunsplit, unquote, quote def normalize_url(raw: str) - str: # 还原已经被编码过的部分避免二次编码 decoded unquote(raw) parts urlsplit(decoded) # path 和 query 分别编码空格转 %20 path_encoded quote(parts.path, safe/:-._~!$()*,;) query_encoded quote(parts.query, safe?/:-._~!$()*,;%) return urlunsplit((parts.scheme, parts.netloc, path_encoded, query_encoded, ))逻辑说明unquote先把%E6%B5%8B这类已编码内容还原成中文再用quote按RFC 3986重新编码避免「编码过的%再次被转义」的经典翻车。safe参数里放的是URL路径和查询字符串中允许保留的字符和在query里必须保留否则参数分隔符会被打破。参数说明parts.netloc不处理非ASCII域名它会留在原样。如果域名本身是中文或带了IDN得先用encode(idna)转换否则requests解析时会直接抛异常。处理完的URL如果有fragment#部分下载时通常不需要直接丢掉避免文件名里混入#造成路径误解。4.2 下载前的批量探活HEAD请求过滤死链体检的第二道关是探活。与其下载到一半发现404或者需要登录不如在下载前先对所有URL做一次HEAD请求把死链接挑出来。注意服务器对HEAD的支持参差不齐探活脚本要能容忍「HEAD被拒就退回GET的Range0-0」的情况。import requests def check_url_with_head(url: str, timeout: int 15) - bool: try: resp requests.head(url, timeouttimeout, allow_redirectsTrue) # 有些 CDN 对 HEAD 返回 405改用 GET 只请求第一个字节 if resp.status_code 405: resp requests.get(url, timeouttimeout, streamTrue, allow_redirectsTrue) resp.close() return resp.status_code 200 and resp.status_code 400 except requests.RequestException: return False逻辑说明HEAD请求不会下载实体内容对带宽几乎零占用2000个URL几分钟就能探完。resp.close()在GET模式下立即关闭连接只做了TCP握手、发了请求头、收到响应头就断开不会真下载文件体。参数说明200 status 400表示2xx和3xx都视为可用因为3xx重定向已经由allow_redirectsTrue自动跟随了。对于range请求被忽略的服务器这个脚本探活结果可能误报所以探活只是粗筛真正的生死判定还是下载阶段。探活跑完把失败URL单独存成dead_urls.txt不必删掉留给人工复查——有些链接需要带Referer才能访问探活脚本没带Referer导致误判这种URL要回到下载脚本里增加headers参数单独处理。5. 避坑手册url编码、协议头与文件名的五个翻车现场批量下载器写出来不难难在换一台机器、换一批URL就翻车。下面这五条是从实际跑批里攒出来的血泪经验每一条都有人花过半天时间排查。5.1 下载到一半文件名变成一堆%25现象URL里的文件名明明叫2024年度报告.pdf下载到本地却变成了2024%E5%B9%B4%E5%BA%A6%E6%8A%A5%E5%91%8A.pdf。原因文件名取自URL最后一段但这段已经在服务器端被quote编码过。直接取原始串当文件名自然把编码态留在了本地。解决文件名位置先做一次unquote再写盘。实际操作时把local_name url.rsplit(/, 1)[-1].split(?)[0]改成from urllib.parse import unquote local_name unquote(url.rsplit(/, 1)[-1].split(?)[0] or index.html)这样文件名就恢复成可读的中文。注意Windows下还要过滤\ / : * ? |这些非法字符改成下划线。5.2 带token的链接总是403浏览器却正常现象同样的URL浏览器打开能下载脚本带同样的Cookie却报403。原因服务器校验Referer或User-Agent浏览器自动带了脚本默认的User-Agent是python-requests/x.y.z直接触发反爬。解决下载前先声明一个浏览器UA并在可能的情况下带Referer。在download_one里追加headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36, Referer: url, } resp requests.get(url, headersheaders, timeouttimeout, streamTrue)5.3 URL里有中文但requests抛UnicodeEncodeError现象清单里是https://example.com/资源包/文件.zip脚本一跑直接抛异常浏览器复制过来的URL却没问题。原因复制的URL在浏览器里其实已经被编码过但你从网页源码里扒出来的是原始中文字符。requests不会自动帮你编码path部分。解决下载前把URL当作raw text直接丢给4.1节的normalize_url()确保所有非ASCII字符在进入requests之前完成编码。这个动作要放在requests.get之前而不是下载后发现异常再回头改。5.4 下载的zip文件永远显示已损坏现象下载完成的zip用unzip -t检查报CRC错误重新下载几次都一样。原因服务器在URL里带了签名参数每次请求的token有效时间极短脚本重试时拿到的已经是过期签名下载出的内容残破不全。解决在重试逻辑里不回滚到旧链接而是重新读取一次URL清单拿到新签名或者干脆把签名有效期过短的链接单独抽出来串行下载。数据一致性优先于速度这类链接不该进并发池。5.5 并发数一高大量文件下载失败现象--workers设成16后失败率从2%上升到30%服务端返回429或503。原因并发太高触发了服务器限流或者线程数超过了本机文件句柄限制。解决把并发降到4到6同时给每个请求加time.sleep(0.1)做节流。不要迷信并发数带宽才是硬约束。如果一批有几千个文件我的习惯是并发5每线程之间随机加0.5到1.5秒的间隔速度不慢但服务器不会把你拉黑。6. 进阶用法一行命令跑完下载并自动校验压缩包完整性脚本跑完后真正的验收不是看所有文件都存在而是确认每个文件都不是损坏的。对于zip包下载完直接做CRC校验对于普通文件就比对字节长度。我最后一章的思路是把下载和校验合并成一次任务跑完就能拿到一份「可用文件清单」。6.1 下载后自动执行unzip -t校验import zipfile def verify_zip(path: str) - bool: try: with zipfile.ZipFile(path) as zf: bad_file zf.testzip() return bad_file is None except zipfile.BadZipFile: return False逻辑说明testzip()会逐个解压每个文件并校验CRC遇到第一个损坏文件就返回它的文件名否则返回None。BadZipFile包含「文件完全不是zip」和「zip头已被截断」两种错误都要归为下载失败。6.2 给下载脚本收尾加上校验报告在所有下载完成、as_completed循环结束后追加一段汇总逻辑verify_map {} with ThreadPoolExecutor(max_workersargs.workers) as executor: future_map {executor.submit(download_one, u, args.output, args.timeout, args.retries): u for u in url_list} for fut in as_completed(future_map): result fut.result() print(result) if result.startswith(OK): local_path result.split( - )[-1] if local_path.endswith(.zip): verify_map[local_path] executor.submit(verify_zip, local_path) for path, verify_fut in verify_map.items(): is_ok verify_fut.result() if not is_ok: print(fBAD {path} 需要重新下载)逻辑说明zip文件下载完成后再丢一个verify_zip任务到线程池里做并行校验。startswith(OK)判断来自下载函数的返回值格式只有成功落盘的文件才进校验环节。校验坏掉的zip会单独打印BAD。这段逻辑顺手覆盖了「下载到一半断网但恰好文件大小一致、内容已经残缺」的情况——CRC会把这种假完整识别出来。从那以后我每次跑完下载都会强制走一遍下载 → verify_zip → 重新拉取BAD文件的闭环宁可多花几分钟校验也不让损坏的文件混进归档。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/27 16:12:48 · 阅读 1.2k URL文件批量下载器实战：从URL清单清洗到并发下载与完整性校验
简介这是一款面向频繁下载网络资源用户的URL文件批量下载工具核心用途是将文本中多个URL链接一次性导入并自动下载适用于图片、文档、音频等资源的批量获取对内容创作者、数据分析师、网络管理员尤为实用。压缩包共5个文件体积仅1.22MB内含可直接运行的exe主程序、HTML格式的软件说明页、示例URL列表txt、图文版ReadMe.docx使用指南以及用于界面美化的dll皮肤组件各文件职责明确。工具支持多线程下载、断点续传、失败任务重试和日志查看用户可自由调整下载目录、线程数量与速度限制并实时监控进度。随包说明文档不仅讲解URL与HTTP/HTTPS协议基础还针对网络中断、服务器错误等常见问题提供了排错思路帮助零基础用户快速上手。目前已有2526人学习下载是提升批量获取网络资源效率的轻量级实用工具。1. 先别急着点下载URL文件批量下载器解决的是清单问题做爬虫和资源搬运的人都有这种经历手里攒了几百条直链从图片、视频到压缩包散落在网页源码、日志文件、剪贴板甚至微信聊天记录里浏览器一个个点下载点到手酸还时不时被中断、弹窗、限速搞到烦躁。真正折腾人的不是网速是URL本身——一个没转义的、一段被截断的https://、一行带着BOM头的CSV都能让整批任务瞬间报废。这个「URL文件批量下载器」zip包里装的就是从原始URL清单到完整文件落地的全过程方案清单清洗、编码还原、并发下载、重试和完整性校验一条命令跑完几百个文件适合经常处理资源站、日志分析或数据备份的从业者。2. 把散落的URL收集成清单从网页、日志和剪贴板三路取证批量下载的第一步不是写下载循环而是先把URL从各种犄角旮旯里抠出来。很多人上来就写requests.get(url, streamTrue)结果发现光是从HTML里筛直链这一步就能卡一晚上。URL的原始形态决定了后续所有清洗逻辑所以这一章先把「怎么拿到一份干净的URL清单」说透。2.1 从网页源码里提取直链正则与小括号陷阱最常见的场景是资源站页面文件链接混在a标签、script里的JSON配置和source标签中。我一般会先抓HTML再用正则把href和src属性里的URL全部抽出来做一次去重和过滤。import re from urllib.parse import urljoin def extract_urls_from_html(html: str, base_url: str ) - list[str]: # 匹配 href 或 src 属性取值并去掉两侧引号 pattern re.compile( r\b(?:href|src)\s*\s*[\]([^\])[\], re.IGNORECASE ) raw_urls pattern.findall(html) # 相对路径转绝对路径顺手去掉锚点定位 abs_urls [] for u in raw_urls: if u.startswith((http://, https://, ftp://)): abs_urls.append(u) elif u.startswith((//, /, ./, ../)) or not u.startswith((data:, javascript:)): joined urljoin(base_url, u) abs_urls.append(joined) return list(dict.fromkeys(abs_urls))逻辑说明正则抽到的是字符串还需要urljoin把/files/archive.zip这类相对路径拼成完整URL。data:和javascript:这两种协议不能下载直接跳过。dict.fromkeys在保留顺序的同时做了第一次去重比set更可控。参数说明base_url传当前页面的URL必须带协议头如果页面本身是动态渲染的href可能藏在__INITIAL_STATE__这类JSON变量里这时候要把正则放宽成\url\:\...\再取。后续清单不是HTTP直链的比如snssdk1128://webview?url...、dps://p?url...这类客户端scheme先单独摘出来放到另一个文件后面第6章会讲怎么处理。2.2 剪贴板和日志文件里的URL编码灾难现场另一个高频来源是日志文件和剪贴板。日志里最常见的问题是URL被换行切成了两半、查询参数里的%编码被反斜杠转义剪贴板则是微信或邮件复制出来时自动加了零宽字符。处理这两类来源我的习惯是先把行尾的不可见字符全部清掉再按行读取。import re def clean_url_list_from_text(raw_text: str) - list[str]: # 去掉零宽字符、BOM和行尾的不可见字符 cleaned_text re.sub(r[\u200b\u200c\ufeff\r], , raw_text) # 按常见分隔符切分并过滤明显不是URL的行 parts re.split(r[\s,;], cleaned_text) urls [] for part in parts: part part.strip() if re.match(r^(https?|ftp)://, part, re.IGNORECASE): urls.append(part) return urls逻辑说明零宽字符\u200b和\u200c在普通编辑器里看不见但会让URL解析直接失败必须在清洗阶段干掉。分隔符同时支持空格、逗号、分号这样从Excel表格粘出来的一列URL也能直接吃。参数说明正则开头的^(https?|ftp)://是硬性门槛只收HTTP和FTP开头的链接。如果后续还想收magnet:、ed2k:这类协议需要单独扩展但直链下载器建议先守住HTTP/FTP别的协议另开脚本处理否则下载循环里全是协议的边界判断。洗完之后把结果存成urls.txt每一行一个URL不要有多余字符。这是后面所有步骤的输入文件务必先人工抽查10行确认没有混入需要在浏览器登录才能访问的私有链接。3. 下载器核心实现并发、重试与断点续传的参数设定拿到干净的urls.txt后真正的下载逻辑就要登场了。这个脚本要同时扛住三种意外单个URL超时、服务器返回5xx、下载到一半断网。我先把核心循环和参数做成一个独立的Python文件命令行参数控制并发数和重试次数这样换一批URL时不用改代码。import argparse import os import requests from concurrent.futures import ThreadPoolExecutor, as_completed def download_one(url: str, output_dir: str, timeout: int 30, retries: int 3) - str: local_name url.rsplit(/, 1)[-1].split(?)[0] or index.html local_path os.path.join(output_dir, local_name) for attempt in range(1, retries 1): try: resp requests.get(url, timeouttimeout, streamTrue, allow_redirectsTrue) if resp.status_code 404: return fSKIP {url} - 404 not found resp.raise_for_status() with open(local_path, wb) as f: for chunk in resp.iter_content(chunk_size8192): if chunk: f.write(chunk) return fOK {url} - {local_path} except (requests.ConnectionError, requests.Timeout) as exc: if attempt retries: return fFAIL {url} - {exc} time.sleep(2 * attempt) return fFAIL {url} - unknown error if __name__ __main__: parser argparse.ArgumentParser(description批量下载URL清单中的文件) parser.add_argument(--input, requiredTrue, helpURL清单文件每行一个链接) parser.add_argument(--output, default./downloads, help保存目录) parser.add_argument(--workers, typeint, default4, help并发下载线程数) parser.add_argument(--timeout, typeint, default30, help每个请求超时秒数) parser.add_argument(--retries, typeint, default3, help失败重试次数) args parser.parse_args() os.makedirs(args.output, exist_okTrue) with open(args.input, r, encodingutf-8, errorsignore) as f: url_list [line.strip() for line in f if line.strip()] with ThreadPoolExecutor(max_workersargs.workers) as executor: future_map {executor.submit(download_one, u, args.output, args.timeout, args.retries): u for u in url_list} for fut in as_completed(future_map): print(fut.result())逻辑说明download_one里先取URL最后一段作为文件名并用?截断查询字符串再拼路径防止file.zip?tokenxxx把token写进文件名保存时用streamTrue加上iter_content(8192)逐块写盘这样下载大文件时内存占用不会暴涨。重试时用2 * attempt递增退避连续失败三次就跳过不让整个队列卡死。参数说明--workers是并发线程数一般家用带宽4到8就够再大会被服务器限速甚至封IP--timeout按文件大小调下载大压缩包时30秒是TCP连接超时不是总时间--retries建议保持3重试太多会把错误页面也存下来形成垃圾文件。打印结果里的SKIP表示404或重定向失败FAIL表示网络异常OK表示成功跑完后用一行grep统计三类结果的数量就行。这版脚本没有断点续写逻辑原因是多数资源站的下载链接是一次性token断点续传的Range头不一定被服务端支持。如果必须做断点续传需要在open(local_path, wb)的地方改成先检查已存在文件大小再带Range头发起请求——但先跑通这版再按需加。4. URL规范化与有效性校验让下载列表先过一遍体检批量下载最怕的不是网络差而是清单里混着被二次转义和编码污染的URL你以为是服务器不配合实际是URL本身就发不对。常见的三类病%编码缺失导致中文字符和被浏览器误解、URL被截断成半截、查询参数里带着多余的方括号和花括号。这一章把我在下载前必做的一次「体检」流程完整列出来。4.1 编码还原与再编码urllib.parse 双保险先从原始清单里分离「合法URL」和「需要修复的URL」。合法URL的ASCII字符集要求严格任何超出范围的中文、空格、#、%杂音都必须处理。from urllib.parse import urlsplit, urlunsplit, unquote, quote def normalize_url(raw: str) - str: # 还原已经被编码过的部分避免二次编码 decoded unquote(raw) parts urlsplit(decoded) # path 和 query 分别编码空格转 %20 path_encoded quote(parts.path, safe/:-._~!$()*,;) query_encoded quote(parts.query, safe?/:-._~!$()*,;%) return urlunsplit((parts.scheme, parts.netloc, path_encoded, query_encoded, ))逻辑说明unquote先把%E6%B5%8B这类已编码内容还原成中文再用quote按RFC 3986重新编码避免「编码过的%再次被转义」的经典翻车。safe参数里放的是URL路径和查询字符串中允许保留的字符和在query里必须保留否则参数分隔符会被打破。参数说明parts.netloc不处理非ASCII域名它会留在原样。如果域名本身是中文或带了IDN得先用encode(idna)转换否则requests解析时会直接抛异常。处理完的URL如果有fragment#部分下载时通常不需要直接丢掉避免文件名里混入#造成路径误解。4.2 下载前的批量探活HEAD请求过滤死链体检的第二道关是探活。与其下载到一半发现404或者需要登录不如在下载前先对所有URL做一次HEAD请求把死链接挑出来。注意服务器对HEAD的支持参差不齐探活脚本要能容忍「HEAD被拒就退回GET的Range0-0」的情况。import requests def check_url_with_head(url: str, timeout: int 15) - bool: try: resp requests.head(url, timeouttimeout, allow_redirectsTrue) # 有些 CDN 对 HEAD 返回 405改用 GET 只请求第一个字节 if resp.status_code 405: resp requests.get(url, timeouttimeout, streamTrue, allow_redirectsTrue) resp.close() return resp.status_code 200 and resp.status_code 400 except requests.RequestException: return False逻辑说明HEAD请求不会下载实体内容对带宽几乎零占用2000个URL几分钟就能探完。resp.close()在GET模式下立即关闭连接只做了TCP握手、发了请求头、收到响应头就断开不会真下载文件体。参数说明200 status 400表示2xx和3xx都视为可用因为3xx重定向已经由allow_redirectsTrue自动跟随了。对于range请求被忽略的服务器这个脚本探活结果可能误报所以探活只是粗筛真正的生死判定还是下载阶段。探活跑完把失败URL单独存成dead_urls.txt不必删掉留给人工复查——有些链接需要带Referer才能访问探活脚本没带Referer导致误判这种URL要回到下载脚本里增加headers参数单独处理。5. 避坑手册url编码、协议头与文件名的五个翻车现场批量下载器写出来不难难在换一台机器、换一批URL就翻车。下面这五条是从实际跑批里攒出来的血泪经验每一条都有人花过半天时间排查。5.1 下载到一半文件名变成一堆%25现象URL里的文件名明明叫2024年度报告.pdf下载到本地却变成了2024%E5%B9%B4%E5%BA%A6%E6%8A%A5%E5%91%8A.pdf。原因文件名取自URL最后一段但这段已经在服务器端被quote编码过。直接取原始串当文件名自然把编码态留在了本地。解决文件名位置先做一次unquote再写盘。实际操作时把local_name url.rsplit(/, 1)[-1].split(?)[0]改成from urllib.parse import unquote local_name unquote(url.rsplit(/, 1)[-1].split(?)[0] or index.html)这样文件名就恢复成可读的中文。注意Windows下还要过滤\ / : * ? |这些非法字符改成下划线。5.2 带token的链接总是403浏览器却正常现象同样的URL浏览器打开能下载脚本带同样的Cookie却报403。原因服务器校验Referer或User-Agent浏览器自动带了脚本默认的User-Agent是python-requests/x.y.z直接触发反爬。解决下载前先声明一个浏览器UA并在可能的情况下带Referer。在download_one里追加headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36, Referer: url, } resp requests.get(url, headersheaders, timeouttimeout, streamTrue)5.3 URL里有中文但requests抛UnicodeEncodeError现象清单里是https://example.com/资源包/文件.zip脚本一跑直接抛异常浏览器复制过来的URL却没问题。原因复制的URL在浏览器里其实已经被编码过但你从网页源码里扒出来的是原始中文字符。requests不会自动帮你编码path部分。解决下载前把URL当作raw text直接丢给4.1节的normalize_url()确保所有非ASCII字符在进入requests之前完成编码。这个动作要放在requests.get之前而不是下载后发现异常再回头改。5.4 下载的zip文件永远显示已损坏现象下载完成的zip用unzip -t检查报CRC错误重新下载几次都一样。原因服务器在URL里带了签名参数每次请求的token有效时间极短脚本重试时拿到的已经是过期签名下载出的内容残破不全。解决在重试逻辑里不回滚到旧链接而是重新读取一次URL清单拿到新签名或者干脆把签名有效期过短的链接单独抽出来串行下载。数据一致性优先于速度这类链接不该进并发池。5.5 并发数一高大量文件下载失败现象--workers设成16后失败率从2%上升到30%服务端返回429或503。原因并发太高触发了服务器限流或者线程数超过了本机文件句柄限制。解决把并发降到4到6同时给每个请求加time.sleep(0.1)做节流。不要迷信并发数带宽才是硬约束。如果一批有几千个文件我的习惯是并发5每线程之间随机加0.5到1.5秒的间隔速度不慢但服务器不会把你拉黑。6. 进阶用法一行命令跑完下载并自动校验压缩包完整性脚本跑完后真正的验收不是看所有文件都存在而是确认每个文件都不是损坏的。对于zip包下载完直接做CRC校验对于普通文件就比对字节长度。我最后一章的思路是把下载和校验合并成一次任务跑完就能拿到一份「可用文件清单」。6.1 下载后自动执行unzip -t校验import zipfile def verify_zip(path: str) - bool: try: with zipfile.ZipFile(path) as zf: bad_file zf.testzip() return bad_file is None except zipfile.BadZipFile: return False逻辑说明testzip()会逐个解压每个文件并校验CRC遇到第一个损坏文件就返回它的文件名否则返回None。BadZipFile包含「文件完全不是zip」和「zip头已被截断」两种错误都要归为下载失败。6.2 给下载脚本收尾加上校验报告在所有下载完成、as_completed循环结束后追加一段汇总逻辑verify_map {} with ThreadPoolExecutor(max_workersargs.workers) as executor: future_map {executor.submit(download_one, u, args.output, args.timeout, args.retries): u for u in url_list} for fut in as_completed(future_map): result fut.result() print(result) if result.startswith(OK): local_path result.split( - )[-1] if local_path.endswith(.zip): verify_map[local_path] executor.submit(verify_zip, local_path) for path, verify_fut in verify_map.items(): is_ok verify_fut.result() if not is_ok: print(fBAD {path} 需要重新下载)逻辑说明zip文件下载完成后再丢一个verify_zip任务到线程池里做并行校验。startswith(OK)判断来自下载函数的返回值格式只有成功落盘的文件才进校验环节。校验坏掉的zip会单独打印BAD。这段逻辑顺手覆盖了「下载到一半断网但恰好文件大小一致、内容已经残缺」的情况——CRC会把这种假完整识别出来。从那以后我每次跑完下载都会强制走一遍下载 → verify_zip → 重新拉取BAD文件的闭环宁可多花几分钟校验也不让损坏的文件混进归档。希望帮到你。本文还有配套的精品资源点击获取