简介这是一款功能实用的桌面端网站整站下载工具可帮助站长、前端开发者或离线学习者在本地批量抓取网页、图片、样式表、脚本等静态资源实现整站镜像与离线备份。支持ASP、JSP、PHP等常见动态站点并自带附加数据码辅助验证确保资源下载完整、可直接使用。压缩包为RAR格式体积约540KB属于轻量级实用工具便于携带与分享包内文件总数与类型明细暂未提供实际内容以解压后为准。已有2183人学习/下载评论区反馈可作为进一步参考。通过该工具读者可快速将目标网站的静态页面、资源文件完整迁移到本地省去自行编写爬虫脚本的精力用于离线查看、站点备份或二次开发部署。1. 网站整站下载器把整站资源拉回本地不是再写一个爬虫网站整站下载器听起来很玄但它要解决的点特别具体你需要在本地完整保留一个站点的页面、样式、脚本和图片而不是只存下一段看得见却打不开网页源码。我见过不少开发者为了给内部项目留资料用浏览器“另存为”手动存了几百个页面结果CSS和JS全裂离线打开就是一堆残废文件。也有人临时写爬虫只抓HTML不抓资源最后拿到一个不是你想象的镜像目录。整站下载器的核心是在递归抓取的同时做三件事保留目录结构、补齐页面依赖、重写站内链接。适合做离线资料归档、站点改版前留底、把公开文档镜像到内网。前提只有一个只抓你有权使用的站点。这类资源包含命令行脚本、参数模板和避坑清单下面直接讲怎么落地。2. 选型命令行镜像和图形工具怎么挑才不亏2.1 命令行主力递归镜像与带宽控制处理“整站下载”第一反应是写爬虫但正规军常用的是 wget 的镜像模式。它能把一个域名下的页面层级式抓下来自动处理页面里的相对路径和绝对路径最后生成一个可以在本地浏览的目录副本。我在实际用它之前一直以为镜像就是递归加个循环后来才明白关键在参数组合。最基本的完整镜像命令是wget --mirror \ --page-requisites \ --convert-links \ --adjust-extension \ --restrict-file-namesunix \ --no-parent \ -P ./site-mirror \ https://example.com/这个命令里每个参数都不是摆设。--mirror等价于“无限递归 时间戳对比 保留远程文件时间”是整站下载的地基--page-requisites会把页面渲染需要的 CSS、JS、图片全部拉到本地没有它离线页面会失去样式--convert-links负责把 HTML 里指向远程地址的链接改写成本地相对链接这是“离线可浏览”的关键--adjust-extension会为不带 .html 后缀的 URL 补上后缀不然本地打开时浏览器可能把它当纯文本--no-parent禁止回溯到上级目录防止顺着链接跑出了目标站点范围。初看会觉得参数多但真正跑一次就明白少一个--page-requisites就是一堆裂图少一个--convert-links就是页面点不动。用 wget 做主力还有一个实际好处它几乎在所有 Linux 发行版和 macOS 上默认存在到了新机器不用装图形环境就能跑。2.2 图形工具兜底HTTrack 与 Cyotek 的适用场景命令行上手有门槛遇到不会用终端的同事或碰到需要一边抓一边观察的任务图形工具更合适。HTTrack 是最经典的整站镜像工具支持项目化管理每次抓取生成一个工程目录里面有抓取日志、错误列表和已下载文件树中途断了还可以续抓。另一个常见选择是 Cyotek WebCopy。它把抓取过程拆成“输入地址 → 扫描站点地图 → 勾选文件类型 → 开始下载”四个步骤左侧是站点结构右侧是文件队列处理中小型站点的体验比 HTTrack 更直观。它比较有特色的地方是支持“深度优先级”规则你可以指定某些目录先抓、某些目录跳过。这类图形工具比较适合三种情况一次性的站点备份、目标站点文件类型很杂、操作者不熟悉命令行。它们有断点续传但代价是线程调度不如 wget 可控抓大站时内存占用偏高。2.3 需要绕开的做法别把普通爬虫脚本当镜像器不少教程喜欢展示一段 Python 爬虫“遍历页面 → 解析链接 → 保存 HTML”看起来很通用但实际上它缺少镜像器必备的两层能力抓取页面依赖资源以及改写站内链接。只抓 HTML 的爬虫最后得到的目录虽然文件不少但浏览器打开全是裸页面。我用过一个很典型的错误方案用 requests BeautifulSoup 循环抓链接只保存了解析出来的文本和 HTML。结果要回放页面时发现 CSS 全在远程图片还是远程 URL离线状态下打开就是满是 404 的残废页面。这就是“爬虫”和“镜像器”的差别。工具静态资源补齐链接重写断点续传上手难度适用场景wget 镜像模式支持支持支持需参数中批量、可脚本化、定时增量HTTrack支持支持支持低单次完整备份、可视化Cyotek WebCopy支持支持支持低中小站点、按目录定制自写普通爬虫一般不处理一般不处理无高只做数据抽取不适合整站镜像结论是整站下载的首选工具不是爬虫框架而是专门做镜像的工具。如果任务可以接受命令行我一般会优先 wget如果需要给非技术背景的人交付再考虑 HTTrack。3. 实操用镜像脚本把目标站拉成本地目录3.1 环境准备与约定检查开始之前要在目标站点上确认两件事一是站点是否允许非人工抓取二是是否通过 robots 协议声明了禁止抓取的路径。这里说的“允许”不是我替你做法律判断而是实际开发中要先看对方站点的 robots.txt避免把对方服务器压垮也避免把不该拉的内容拉下来。确认环境上 wget 可用用wget --version看一眼版本。老版本对--adjust-extension和--page-requisites的支持有差异遇到参数报错先升一下工具再排查。同时准备一个干净的输出目录比如./site-mirror避免把已有文件和新鲜下载的内容混在一起。3.2 跑通一版基础镜像第一次跑镜像不要急着上各种高级参数先执行基础命令目标是生成一个可以双击打开的本地副本。用下面的命令wget --mirror \ --page-requisites \ --convert-links \ --adjust-extension \ --restrict-file-namesunix \ --no-parent \ -P ./site-mirror \ https://example.com/--restrict-file-namesunix会把文件名里的特殊字符转成 Unix 安全形式这在 Windows 上也能减少路径报错-P指定本地保存目录。命令跑完先不要急着打包我们要做一次“打开验证”。3.3 静态资源与链接重写验证镜像完成只是第一步真正判断成功的是验证结果。我一般会先看文件总数再单独统计图片、CSS、JS 的数量最后抽查几个页面的源码确认链接已经被改写成本地路径。find ./site-mirror -type f | wc -l find ./site-mirror -type f | grep -E \.(css|js|png|jpg|svg|woff2?)$ | wc -l grep -r https://example.com ./site-mirror --include*.html | head -5这里设计的逻辑是第一条命令确认页面 HTML 抓全了第二条命令确认静态资源没有丢第三条命令检查 HTML 里是否还残留远程链接。如果第三条有输出说明--convert-links没完全生效常见原因是 wget 版本太老或者目标页面里有通过 JavaScript 动态拼出来的 URL。静态资源的统计能暴露最隐蔽的问题如果 CSS 数量远低于站点正常值多半是页面里的样式表走了 CDN而这个 CDN 域名被镜像范围排除了。这时候不修改参数硬打包等于交付一个“半成品镜像”。3.4 限制抓取范围域名白名单与排除规则跑通基础版之后再处理最棘手的问题限定抓取边界。目标站内部可能嵌入了第三方统计脚本、外链图片、CDN 资源如果不做限制wget 会把能解析到的外部域名全部拉一遍磁盘直接爆掉。我给自己的归档任务准备了一个带白名单的完整脚本模板wget --mirror \ --page-requisites \ --convert-links \ --adjust-extension \ --no-parent \ --domainsexample.com \ --exclude-domainsfonts.googleapis.com,analytics.google.com \ --random-wait0.5 \ --wait1 \ -P ./site-mirror \ -o ./mirror.log \ https://example.com/--domainsexample.com是白名单只允许抓取该域名下的内容--exclude-domains是黑名单用来排除外部的字体和统计服务--random-wait0.5和--wait1是每两个请求之间随机等待 0.5 到 1 秒降低对目标服务器的压力-o mirror.log把日志写到文件方便失败时回溯。这个模板是血泪换来的早期我图省事只加--no-parent结果目标站一个页面嵌了六个外域资源镜像跑到一半把磁盘塞满最后清理起来比抓取还痛苦。白名单的意义不仅是省空间更是保证镜像目录“自洽”——所有资源都在本地不依赖外部域名。4. 图形工具补盲把目录抓取交给界面操作4.1 HTTrack 操作流程与项目设置有人不喜欢终端HTTrack 是很好的备选。使用流程一般是三步新建项目填项目名和本地存放路径在“网址”栏加入目标站根地址在选项里把“最大递归深度”设置为 3 层或 5 层其余默认。这里要重点调两个配置。一是“外部链接”选项默认会抓取外部域名建议改成“拒绝外部链接”这和 wget 的--domains白名单是同一个道理二是“更新规则”里保留“继续抓取”的增量模式这样第一次抓完以后下次启动可以直接续传。HTTrack 的资料是工程化的每个项目目录下有hts-cache和backup子目录不要手动删否则续传校验会报错。4.2 Cyotek WebCopy 设置深度和边界的步骤Cyotek WebCopy 是另一种操作习惯输入地址后先点“扫描”建立站点地图再检查左侧文件树接着在“规则”里设置文件类型过滤和目录过滤最后启动抓取。实际操作中最容易忽略的是“外部域”开关。Cyotek 默认允许跨域抓取如果站点上挂了外部统计脚本它会尝试把统计域名也拉下来。我通常在“外部域”设置里选择“不抓取外部域”。另外它支持按 URL 匹配规则跳过路径比如/api/和/wp-admin/这类没必要归档的目录可以一次配好。4.3 图形工具与命令行怎么搭配使用这两类工具不是二选一可以组合。我常用的分工是命令行脚本负责“定期跑镜像”的批量任务图形工具负责“临时帮同事看一眼站点结构”的排查任务。命令行输出日志难以直观展示抓取过程图形工具却能实时显示哪些文件失败、哪些文件正在下载。遇到复杂站点时先用 Cyotek 扫描出站点地图看清站点路径层级再把关键路径写进 wget 的--include-directories参数里这样既能利用图形工具的探路能力又能保留命令行的高效执行。没有哪个工具能通吃所有场景能灵活切换才算真正掌握整站下载。5. 避坑镜像下载常见问题与排查5.1 现象静态资源一大片 404镜像跑完打开页面发现图片全裂CSS 也没加载。看日志会发现大量.css、.js、.png返回 404。原因目标站做了防盗链或 User-Agent 校验wget 默认的 UA 被服务端拒绝另一类原因是资源走了带签名的 CDN直连 URL 全部过期。解决为 wget 手动附加浏览器 UA 和 Referer。wget --mirror \ --user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36 \ --refererhttps://example.com/ \ ...加完这两个参数大部分静态资源 404 能直接消失。如果还不行把日志里失败文件的 URL 拿出来单看确认是不是防盗链采用了带时效签名的方式。5.2 现象磁盘被塞满目录越抓越深镜像跑到一半磁盘空间告急目录层级越来越深甚至出现无限循环。原因目标站点包含无限分页、日历翻页或者站内搜索入口wget 顺着“下一页”的链接一路抓下去。更常见的是没有限制外部域名一次性拉入了多个 CDN 的完整静态资源池。解决收紧抓取边界。wget --mirror \ --no-parent \ --domainsexample.com \ --exclude-domainscdn.example.net,static.example.net \ --quota500m \ -P ./site-mirror \ https://example.com/--quota500m给整次下载设一个总量上限到量自动停止这是最粗暴但有效的保险。磁盘快满时先看日志里的“Downloaded: 1.2G”再决定是加白名单还是加配额。5.3 现象页面能打开但样式错乱镜像目录里的 HTML 文件都在本地双击打开后字体和布局全乱后台看代码发现 CSS 路径指向了线上域名。原因页面里的样式表是通过脚本动态注入的wget 在抓取时只解析了静态 HTML 里的link标签没识别到 JS 运行时写入的样式。另一类是服务端做了 URL 重写路径带参数wget 保存后的文件名没有对应扩展名。解决增加文件扩展名处理把生成的 HTML 名称统一成.html。wget --mirror \ --adjust-extension \ --convert-links \ -e robotsoff \ ...--adjust-extension负责给无扩展名的 URL 补后缀--convert-links负责把动态写入的链接尽量改写成相对路径。如果样式依然乱需要检查是否抓到了渲染前的页面这种情况只能转用无头浏览器抓渲染后结果。5.4 现象抓下来只有登录壳没有内容镜像里的首页是一个登录框内页全部跳回登录页看起来像抓了个空壳站点。原因目标站需要登录态匿名请求拿不到内容页的真实 HTML。wget 抓取时未携带任何会话 Cookie所以每次都收到重定向。解决先手动登录把 Cookie 导出成 Netscape 格式再让 wget 加载会话信息。wget --mirror \ --load-cookiescookies.txt \ --keep-session-cookies \ ...这里的cookies.txt可以从浏览器扩展导出也可以从开发者工具的请求头里手动整理。注意这种方式只适合你自己拥有账号的站点用别人账号去拉内容是不合适的。5.5 现象图片走懒加载落地页面全是占位图页面文字正常但图片区域空着一大片日志里也没有图片的下载记录。原因现代站点普遍使用懒加载图片地址写在 JS 的>wget --mirror \ --include-directories/uploads,/assets \ --domainsexample.com \ ...懒加载坑最折磨人因为它不是全局失败而是“看起来成功、实际上残废”。遇到这类站点我一般先截取页面上的真实图片 URL反推资源路径结构再决定镜像策略。6. 进阶增量更新与离线站点部署6.1 增量更新让镜像只补变化不重跑站点内容会持续更新第一次抓完以后后面每次只拉新增和变化的文件可以大幅节省时间和带宽。wget 的镜像模式自带时间戳对比实际上只要在基础命令里加-N或者直接保留--mirror它就会自动跳过未变化文件。我一般会把增量归档写成两个命令第一次全量抓取用基础镜像参数后续更新用带-N的短命令。wget --mirror \ --no-parent \ --domainsexample.com \ -N \ -P ./site-mirror \ https://example.com/-N让 wget 对比服务器文件和本地文件的修改时间本地比服务器新就跳过。用这个命令跑的续抓任务输出日志里大部分是“File ... already there”只有真正变化的内容会产生下载记录。6.2 把镜像部署成本地可浏览的离线站点镜像目录直接双击 HTML 文件能用但遇到带 fetch 请求或跨域加载的页面就会受限。更稳妥的做法是在本地启动一个静态服务器把整个site-mirror目录作为站点根路径。python3 -m http.server 8080 --directory ./site-mirror启动后浏览器访问http://localhost:8080就能用 HTTP 协议访问镜像站页面上所有相对路径都能正常工作。也可以配置轻量级静态服务器只要把 root 指到site-mirror目录即可。这样做的好处是镜像目录里的内容完全通过本地服务访问不会再依赖外网。6.3 归档习惯日志与清单一起封装镜像和增量都完成以后我会坚持做一个动作保留一份 mirror.log并给目录生成一个文件清单。文件清单的用途是交付后核对接收方只要跑一遍清单校验就能确认文件是否完整。cd ./site-mirror find . -type f -exec md5sum {} \; ../manifest.txt这个过程把整个镜像目录的每个文件指纹记录下来。之后再跑增量、再打包都以这份 manifest 作为基准。翻车了一次之后我养成了这个习惯只要做整站归档就必须保留抓取日志和文件清单缺一样都视为失败。希望这些踩过的坑和验证步骤能帮你在做同样的事情时少走几步弯路。本文还有配套的精品资源点击获取 
长河君 · 2026/10/20 16:29:42 · 阅读 1.2k 整站下载器实战：用wget镜像网站、离线归档与避坑指南
简介这是一款功能实用的桌面端网站整站下载工具可帮助站长、前端开发者或离线学习者在本地批量抓取网页、图片、样式表、脚本等静态资源实现整站镜像与离线备份。支持ASP、JSP、PHP等常见动态站点并自带附加数据码辅助验证确保资源下载完整、可直接使用。压缩包为RAR格式体积约540KB属于轻量级实用工具便于携带与分享包内文件总数与类型明细暂未提供实际内容以解压后为准。已有2183人学习/下载评论区反馈可作为进一步参考。通过该工具读者可快速将目标网站的静态页面、资源文件完整迁移到本地省去自行编写爬虫脚本的精力用于离线查看、站点备份或二次开发部署。1. 网站整站下载器把整站资源拉回本地不是再写一个爬虫网站整站下载器听起来很玄但它要解决的点特别具体你需要在本地完整保留一个站点的页面、样式、脚本和图片而不是只存下一段看得见却打不开网页源码。我见过不少开发者为了给内部项目留资料用浏览器“另存为”手动存了几百个页面结果CSS和JS全裂离线打开就是一堆残废文件。也有人临时写爬虫只抓HTML不抓资源最后拿到一个不是你想象的镜像目录。整站下载器的核心是在递归抓取的同时做三件事保留目录结构、补齐页面依赖、重写站内链接。适合做离线资料归档、站点改版前留底、把公开文档镜像到内网。前提只有一个只抓你有权使用的站点。这类资源包含命令行脚本、参数模板和避坑清单下面直接讲怎么落地。2. 选型命令行镜像和图形工具怎么挑才不亏2.1 命令行主力递归镜像与带宽控制处理“整站下载”第一反应是写爬虫但正规军常用的是 wget 的镜像模式。它能把一个域名下的页面层级式抓下来自动处理页面里的相对路径和绝对路径最后生成一个可以在本地浏览的目录副本。我在实际用它之前一直以为镜像就是递归加个循环后来才明白关键在参数组合。最基本的完整镜像命令是wget --mirror \ --page-requisites \ --convert-links \ --adjust-extension \ --restrict-file-namesunix \ --no-parent \ -P ./site-mirror \ https://example.com/这个命令里每个参数都不是摆设。--mirror等价于“无限递归 时间戳对比 保留远程文件时间”是整站下载的地基--page-requisites会把页面渲染需要的 CSS、JS、图片全部拉到本地没有它离线页面会失去样式--convert-links负责把 HTML 里指向远程地址的链接改写成本地相对链接这是“离线可浏览”的关键--adjust-extension会为不带 .html 后缀的 URL 补上后缀不然本地打开时浏览器可能把它当纯文本--no-parent禁止回溯到上级目录防止顺着链接跑出了目标站点范围。初看会觉得参数多但真正跑一次就明白少一个--page-requisites就是一堆裂图少一个--convert-links就是页面点不动。用 wget 做主力还有一个实际好处它几乎在所有 Linux 发行版和 macOS 上默认存在到了新机器不用装图形环境就能跑。2.2 图形工具兜底HTTrack 与 Cyotek 的适用场景命令行上手有门槛遇到不会用终端的同事或碰到需要一边抓一边观察的任务图形工具更合适。HTTrack 是最经典的整站镜像工具支持项目化管理每次抓取生成一个工程目录里面有抓取日志、错误列表和已下载文件树中途断了还可以续抓。另一个常见选择是 Cyotek WebCopy。它把抓取过程拆成“输入地址 → 扫描站点地图 → 勾选文件类型 → 开始下载”四个步骤左侧是站点结构右侧是文件队列处理中小型站点的体验比 HTTrack 更直观。它比较有特色的地方是支持“深度优先级”规则你可以指定某些目录先抓、某些目录跳过。这类图形工具比较适合三种情况一次性的站点备份、目标站点文件类型很杂、操作者不熟悉命令行。它们有断点续传但代价是线程调度不如 wget 可控抓大站时内存占用偏高。2.3 需要绕开的做法别把普通爬虫脚本当镜像器不少教程喜欢展示一段 Python 爬虫“遍历页面 → 解析链接 → 保存 HTML”看起来很通用但实际上它缺少镜像器必备的两层能力抓取页面依赖资源以及改写站内链接。只抓 HTML 的爬虫最后得到的目录虽然文件不少但浏览器打开全是裸页面。我用过一个很典型的错误方案用 requests BeautifulSoup 循环抓链接只保存了解析出来的文本和 HTML。结果要回放页面时发现 CSS 全在远程图片还是远程 URL离线状态下打开就是满是 404 的残废页面。这就是“爬虫”和“镜像器”的差别。工具静态资源补齐链接重写断点续传上手难度适用场景wget 镜像模式支持支持支持需参数中批量、可脚本化、定时增量HTTrack支持支持支持低单次完整备份、可视化Cyotek WebCopy支持支持支持低中小站点、按目录定制自写普通爬虫一般不处理一般不处理无高只做数据抽取不适合整站镜像结论是整站下载的首选工具不是爬虫框架而是专门做镜像的工具。如果任务可以接受命令行我一般会优先 wget如果需要给非技术背景的人交付再考虑 HTTrack。3. 实操用镜像脚本把目标站拉成本地目录3.1 环境准备与约定检查开始之前要在目标站点上确认两件事一是站点是否允许非人工抓取二是是否通过 robots 协议声明了禁止抓取的路径。这里说的“允许”不是我替你做法律判断而是实际开发中要先看对方站点的 robots.txt避免把对方服务器压垮也避免把不该拉的内容拉下来。确认环境上 wget 可用用wget --version看一眼版本。老版本对--adjust-extension和--page-requisites的支持有差异遇到参数报错先升一下工具再排查。同时准备一个干净的输出目录比如./site-mirror避免把已有文件和新鲜下载的内容混在一起。3.2 跑通一版基础镜像第一次跑镜像不要急着上各种高级参数先执行基础命令目标是生成一个可以双击打开的本地副本。用下面的命令wget --mirror \ --page-requisites \ --convert-links \ --adjust-extension \ --restrict-file-namesunix \ --no-parent \ -P ./site-mirror \ https://example.com/--restrict-file-namesunix会把文件名里的特殊字符转成 Unix 安全形式这在 Windows 上也能减少路径报错-P指定本地保存目录。命令跑完先不要急着打包我们要做一次“打开验证”。3.3 静态资源与链接重写验证镜像完成只是第一步真正判断成功的是验证结果。我一般会先看文件总数再单独统计图片、CSS、JS 的数量最后抽查几个页面的源码确认链接已经被改写成本地路径。find ./site-mirror -type f | wc -l find ./site-mirror -type f | grep -E \.(css|js|png|jpg|svg|woff2?)$ | wc -l grep -r https://example.com ./site-mirror --include*.html | head -5这里设计的逻辑是第一条命令确认页面 HTML 抓全了第二条命令确认静态资源没有丢第三条命令检查 HTML 里是否还残留远程链接。如果第三条有输出说明--convert-links没完全生效常见原因是 wget 版本太老或者目标页面里有通过 JavaScript 动态拼出来的 URL。静态资源的统计能暴露最隐蔽的问题如果 CSS 数量远低于站点正常值多半是页面里的样式表走了 CDN而这个 CDN 域名被镜像范围排除了。这时候不修改参数硬打包等于交付一个“半成品镜像”。3.4 限制抓取范围域名白名单与排除规则跑通基础版之后再处理最棘手的问题限定抓取边界。目标站内部可能嵌入了第三方统计脚本、外链图片、CDN 资源如果不做限制wget 会把能解析到的外部域名全部拉一遍磁盘直接爆掉。我给自己的归档任务准备了一个带白名单的完整脚本模板wget --mirror \ --page-requisites \ --convert-links \ --adjust-extension \ --no-parent \ --domainsexample.com \ --exclude-domainsfonts.googleapis.com,analytics.google.com \ --random-wait0.5 \ --wait1 \ -P ./site-mirror \ -o ./mirror.log \ https://example.com/--domainsexample.com是白名单只允许抓取该域名下的内容--exclude-domains是黑名单用来排除外部的字体和统计服务--random-wait0.5和--wait1是每两个请求之间随机等待 0.5 到 1 秒降低对目标服务器的压力-o mirror.log把日志写到文件方便失败时回溯。这个模板是血泪换来的早期我图省事只加--no-parent结果目标站一个页面嵌了六个外域资源镜像跑到一半把磁盘塞满最后清理起来比抓取还痛苦。白名单的意义不仅是省空间更是保证镜像目录“自洽”——所有资源都在本地不依赖外部域名。4. 图形工具补盲把目录抓取交给界面操作4.1 HTTrack 操作流程与项目设置有人不喜欢终端HTTrack 是很好的备选。使用流程一般是三步新建项目填项目名和本地存放路径在“网址”栏加入目标站根地址在选项里把“最大递归深度”设置为 3 层或 5 层其余默认。这里要重点调两个配置。一是“外部链接”选项默认会抓取外部域名建议改成“拒绝外部链接”这和 wget 的--domains白名单是同一个道理二是“更新规则”里保留“继续抓取”的增量模式这样第一次抓完以后下次启动可以直接续传。HTTrack 的资料是工程化的每个项目目录下有hts-cache和backup子目录不要手动删否则续传校验会报错。4.2 Cyotek WebCopy 设置深度和边界的步骤Cyotek WebCopy 是另一种操作习惯输入地址后先点“扫描”建立站点地图再检查左侧文件树接着在“规则”里设置文件类型过滤和目录过滤最后启动抓取。实际操作中最容易忽略的是“外部域”开关。Cyotek 默认允许跨域抓取如果站点上挂了外部统计脚本它会尝试把统计域名也拉下来。我通常在“外部域”设置里选择“不抓取外部域”。另外它支持按 URL 匹配规则跳过路径比如/api/和/wp-admin/这类没必要归档的目录可以一次配好。4.3 图形工具与命令行怎么搭配使用这两类工具不是二选一可以组合。我常用的分工是命令行脚本负责“定期跑镜像”的批量任务图形工具负责“临时帮同事看一眼站点结构”的排查任务。命令行输出日志难以直观展示抓取过程图形工具却能实时显示哪些文件失败、哪些文件正在下载。遇到复杂站点时先用 Cyotek 扫描出站点地图看清站点路径层级再把关键路径写进 wget 的--include-directories参数里这样既能利用图形工具的探路能力又能保留命令行的高效执行。没有哪个工具能通吃所有场景能灵活切换才算真正掌握整站下载。5. 避坑镜像下载常见问题与排查5.1 现象静态资源一大片 404镜像跑完打开页面发现图片全裂CSS 也没加载。看日志会发现大量.css、.js、.png返回 404。原因目标站做了防盗链或 User-Agent 校验wget 默认的 UA 被服务端拒绝另一类原因是资源走了带签名的 CDN直连 URL 全部过期。解决为 wget 手动附加浏览器 UA 和 Referer。wget --mirror \ --user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36 \ --refererhttps://example.com/ \ ...加完这两个参数大部分静态资源 404 能直接消失。如果还不行把日志里失败文件的 URL 拿出来单看确认是不是防盗链采用了带时效签名的方式。5.2 现象磁盘被塞满目录越抓越深镜像跑到一半磁盘空间告急目录层级越来越深甚至出现无限循环。原因目标站点包含无限分页、日历翻页或者站内搜索入口wget 顺着“下一页”的链接一路抓下去。更常见的是没有限制外部域名一次性拉入了多个 CDN 的完整静态资源池。解决收紧抓取边界。wget --mirror \ --no-parent \ --domainsexample.com \ --exclude-domainscdn.example.net,static.example.net \ --quota500m \ -P ./site-mirror \ https://example.com/--quota500m给整次下载设一个总量上限到量自动停止这是最粗暴但有效的保险。磁盘快满时先看日志里的“Downloaded: 1.2G”再决定是加白名单还是加配额。5.3 现象页面能打开但样式错乱镜像目录里的 HTML 文件都在本地双击打开后字体和布局全乱后台看代码发现 CSS 路径指向了线上域名。原因页面里的样式表是通过脚本动态注入的wget 在抓取时只解析了静态 HTML 里的link标签没识别到 JS 运行时写入的样式。另一类是服务端做了 URL 重写路径带参数wget 保存后的文件名没有对应扩展名。解决增加文件扩展名处理把生成的 HTML 名称统一成.html。wget --mirror \ --adjust-extension \ --convert-links \ -e robotsoff \ ...--adjust-extension负责给无扩展名的 URL 补后缀--convert-links负责把动态写入的链接尽量改写成相对路径。如果样式依然乱需要检查是否抓到了渲染前的页面这种情况只能转用无头浏览器抓渲染后结果。5.4 现象抓下来只有登录壳没有内容镜像里的首页是一个登录框内页全部跳回登录页看起来像抓了个空壳站点。原因目标站需要登录态匿名请求拿不到内容页的真实 HTML。wget 抓取时未携带任何会话 Cookie所以每次都收到重定向。解决先手动登录把 Cookie 导出成 Netscape 格式再让 wget 加载会话信息。wget --mirror \ --load-cookiescookies.txt \ --keep-session-cookies \ ...这里的cookies.txt可以从浏览器扩展导出也可以从开发者工具的请求头里手动整理。注意这种方式只适合你自己拥有账号的站点用别人账号去拉内容是不合适的。5.5 现象图片走懒加载落地页面全是占位图页面文字正常但图片区域空着一大片日志里也没有图片的下载记录。原因现代站点普遍使用懒加载图片地址写在 JS 的>wget --mirror \ --include-directories/uploads,/assets \ --domainsexample.com \ ...懒加载坑最折磨人因为它不是全局失败而是“看起来成功、实际上残废”。遇到这类站点我一般先截取页面上的真实图片 URL反推资源路径结构再决定镜像策略。6. 进阶增量更新与离线站点部署6.1 增量更新让镜像只补变化不重跑站点内容会持续更新第一次抓完以后后面每次只拉新增和变化的文件可以大幅节省时间和带宽。wget 的镜像模式自带时间戳对比实际上只要在基础命令里加-N或者直接保留--mirror它就会自动跳过未变化文件。我一般会把增量归档写成两个命令第一次全量抓取用基础镜像参数后续更新用带-N的短命令。wget --mirror \ --no-parent \ --domainsexample.com \ -N \ -P ./site-mirror \ https://example.com/-N让 wget 对比服务器文件和本地文件的修改时间本地比服务器新就跳过。用这个命令跑的续抓任务输出日志里大部分是“File ... already there”只有真正变化的内容会产生下载记录。6.2 把镜像部署成本地可浏览的离线站点镜像目录直接双击 HTML 文件能用但遇到带 fetch 请求或跨域加载的页面就会受限。更稳妥的做法是在本地启动一个静态服务器把整个site-mirror目录作为站点根路径。python3 -m http.server 8080 --directory ./site-mirror启动后浏览器访问http://localhost:8080就能用 HTTP 协议访问镜像站页面上所有相对路径都能正常工作。也可以配置轻量级静态服务器只要把 root 指到site-mirror目录即可。这样做的好处是镜像目录里的内容完全通过本地服务访问不会再依赖外网。6.3 归档习惯日志与清单一起封装镜像和增量都完成以后我会坚持做一个动作保留一份 mirror.log并给目录生成一个文件清单。文件清单的用途是交付后核对接收方只要跑一遍清单校验就能确认文件是否完整。cd ./site-mirror find . -type f -exec md5sum {} \; ../manifest.txt这个过程把整个镜像目录的每个文件指纹记录下来。之后再跑增量、再打包都以这份 manifest 作为基准。翻车了一次之后我养成了这个习惯只要做整站归档就必须保留抓取日志和文件清单缺一样都视为失败。希望这些踩过的坑和验证步骤能帮你在做同样的事情时少走几步弯路。本文还有配套的精品资源点击获取