简介dede蜘蛛爬行插件面向使用DEDECMS搭建网站的管理员与SEO初学者用于模拟搜索引擎蜘蛛抓取站点排查收录、死链和内链结构等问题。包内共38个文件以27个PHP程序文件为核心配合5个GIF图标、2个JS脚本、2个CSS样式、1个SQL数据库脚本及1个TXT说明文件压缩包约36KB其中PHP承担爬虫模拟与后台逻辑SQL用于记录数据表结构前端资源支撑后台界面展示。已有376人学习下载。插件可模拟百度、谷歌、360等爬虫记录抓取日志并分析404错误、加载缓慢页面还提供死链检测、内链权重传递检查、重复URL规范化及HTML代码优化建议帮助读者从抓取轨迹中定位网站结构与链接缺陷并据此整理可执行的SEO优化清单适合需要提升收录量与搜索排名的中小站长参考。1. 一个插件治不了收录先看清 dede 蜘蛛日志到底缺了什么后台“蜘蛛来访”页面永远是首页刷屏日志表里几千条记录点进去全是/、/index.html而真正的内容页一条没有——很多 dede 站点装蜘蛛爬行插件装完就是这个结果。这类插件关键词里常被搜成 dede 插件本质上是三件事的组合把搜索引擎蜘蛛对站点的访问请求按 UA 归类后落库、按栏目规则生成 sitemap 供抓取、把新发布的 URL 按配额推给搜索入口。它不提高权重也不改内容质量它只做一件事把“蜘蛛来过没来、来了抓了什么、抓了哪一步断掉”这件事从玄学变成可查的数据。适合手上有 dede 系老站、栏目多、收录长期停滞、又没有全站日志分析条件的运营和开发如果你站点本身并发就吃紧、数据库还是共享实例那要先看完第 4 章的频控参数再决定挂不挂。2. 钩子挂在哪dede 内核三个挂载点的选型与代价插件的第一性问题不是功能是“在哪一行代码上动手”。选错挂载点后面所有参数调优都是白费力气有的方案根本收不到蜘蛛请求有的方案会让全站每次请求都多跑一遍数据库还有的方案在升级内核时被整目录覆盖。下面把三种挂法摊开讲包括它们各自的实际开销和适用边界。2.1 三种挂法common 钩子、plus 独立入口、后台模块common 钩子指的是在include/common.inc.php的末尾追加一行include把自定义的采集文件挂进全站请求链路。dede 的绝大部分前台页面栏目页、内容页、搜索页、plus 下的脚本都会经过这个文件所以蜘蛛无论抓哪个 URL 都会触发一次判断。这是覆盖率最高的一种挂法也是唯一能真实还原“蜘蛛抓了什么”的方案。代价是每次请求多一次文件引入和一次 UA 字符串比对量级在几十微秒对正常站点无感但如果你的钩子文件里顺手写了数据库查询而不做前置判断那就变成全站每次请求一次 SQL这是最常见的翻车点。plus 独立入口指的是在plus/目录下放一个spider_log.php之类的脚本靠 URL 直接访问触发。它的优点是零侵入、随删随卸、不影响内核缺点是蜘蛛不会主动来访问这个 URL除非你在模板里挂了引用——而蜘蛛不执行 JS、不加载img所以这条路对“记录蜘蛛行为”基本无效。它能胜任的是另一类工作生成 sitemap、手动触发一次全量统计、给后台提供一个 JSON 接口。认清它“只能被人工或定时任务触发”这个定位就不会把它当成日志采集入口。后台模块是在dede/目录下新增页面并注册到菜单表用于人工查看报表、清空日志、导出 CSV。它不参与采集只参与消费。很多人把采集逻辑也塞进后台模块结果蜘蛛永远触发不到日志一直是空的还以为是插件坏了。挂法覆盖率单次请求开销升级风险适合承担common 钩子全站前台一次 include 一次 UA 比对中需在升级后补回一行蜘蛛日志采集plus 独立入口仅被访问时一次完整内核加载低独立文件sitemap 生成、报表接口后台模块仅人工一次完整内核加载中菜单注册需重做日志查看、清理、导出提示把采集和消费分开挂是这套插件能长期活下去的前提。采集放钩子消费放 plus 和后台任何一侧出问题都不会拖垮另一侧。2.2 目录结构与文件职责一份能跑的组合通常长这样include/spider_hook.php放采集逻辑plus/spider_sitemap.php负责生成 sitemap 分片plus/spider_report.php输出近 7 天的蜘蛛分布 JSONdede/spider_admin.php是后台列表页日志表统一用#__spider_log#__是 dede 的表前缀占位符实际执行前由内核替换。这套划分的好处是每个文件的依赖都很浅钩子文件只依赖$dsql和$_SERVERsitemap 只依赖$dsql和$cfg_basehost报表只读表不写表。要注意include/目录在 dede 的升级包里是会被整体覆盖的高危区。所以采集文件尽量命名成带前缀的独立文件比如spider_hook.php不要直接改common.inc.php的正文只在文件末尾追加一行升级完内核后用grep -n spider_hook include/common.inc.php检查那一行还在不在不在就补回去。这个动作花十秒能省掉一次“升级后日志突然归零”的排查。另外日志表一定要跟业务表分开放。有些老站为了省事把日志写进#__archives的扩展字段这是纯粹的灾难内容表膨胀后列表页查询变慢后台编辑卡顿最后只能重建表。日志就该有独立表、独立索引、独立清理策略。2.3 为什么选「common 轻钩子 plus 独立入口」组合选型理由归结成三条。第一覆盖率优先于优雅。蜘蛛爬行插件的数据价值在于“全量”只覆盖一部分 URL 的日志会给出错误结论——比如你只采了栏目页就会误判“蜘蛛不抓内容页”然后去做一堆无用功。第二前置判断要极短。钩子文件的第一段代码必须是 UA 快速匹配非蜘蛛直接return绝不能在判断之前做任何数据库操作、文件写入、DNS 反查。第三副作用要可回滚。采集只写自己的表不改缓存、不改模板、不写data/下的公共缓存文件出问题时删掉那一行 include 就彻底干净。常见的误用是把“主动推送”也塞进钩子。推送是外发 HTTP 请求耗时不可控一旦目标接口超时前台页面就跟着卡住。正确做法是采集时只落库并标记pushed0由plus/下的定时脚本批量取未推送的记录去发。这样即使推送接口挂了站点也不受影响。3. 从上传到落库把爬行链路跑通的最小闭环这一章是从零到“日志表里出现第一条真实记录”的完整路径。按顺序做完这四步你会得到一张能查的表、一个不影响性能的钩子和一份能被抓取的 sitemap。每一步都给出可直接抄的代码和参数说明跑不通的时候优先回头核对第 3.1 节的前置条件。3.1 前置检查PHP 版本、目录权限、表前缀先确认三件事任何一件不对后面的代码都会以奇怪的方式失败。PHP 版本建议 7.0 以上dede 系老站在 5.6 上也能跑但 5.6 的mysqli与字符集处理在部分环境会有告警include/与plus/目录需要可读日志表所在库需要INSERT权限表前缀必须确认清楚后台“系统设置 → 数据库备份”里能看到通常是dede_也有站点改成了dd_或带随机串的前缀。确认表前缀之后所有 SQL 里的#__都由内核的$dsql自动替换成真实前缀手写 SQL 时不要自己拼dede_——一旦站点前缀改过手拼的那条就会报表不存在。# 1) 确认 PHP 版本与扩展 php -v php -m | grep -Ei mysqli|pdo_mysql|mbstring # 2) 确认目录可读、日志目录可写 ls -ld include plus data # data/ 下建议单独建一个目录放插件临时文件 mkdir -p data/spider chmod 755 data/spider # 3) 确认表前缀登录数据库后执行 # SHOW TABLES LIKE %arctype;上面三条命令分别解决三个问题PHP 扩展缺失会导致内核连不上库data/spider是留给 sitemap 分片和 UA 缓存文件的落盘位置不放公共缓存目录是为了避免被 dede 的缓存清理逻辑误删SHOW TABLES LIKE %arctype是用来反推前缀的看到xxx_arctype就知道前缀是xxx_。3.2 建表日志表与索引设计日志表的设计决定了三个月后这张表是 20 万行还是 2000 万行。核心是三个字段url_md5用于去重URL 可能超过 255 字符直接用 URL 建索引会超长且低效、spider用于按蜘蛛维度统计、createtime用于时间窗口查询。索引不要贪多两个联合索引足够覆盖 90% 的查询场景。CREATE TABLE IF NOT EXISTS #__spider_log ( id int(10) unsigned NOT NULL AUTO_INCREMENT, spider varchar(20) NOT NULL DEFAULT COMMENT 蜘蛛代号如 baidu/google/bing, url varchar(255) NOT NULL DEFAULT COMMENT 被抓取的地址去掉域名后的路径, url_md5 char(32) NOT NULL DEFAULT COMMENT url 的 md5用于去重比对, ip varchar(46) NOT NULL DEFAULT COMMENT 来访 IP兼容 IPv6 长度, status smallint(6) NOT NULL DEFAULT 0 COMMENT HTTP 状态码200/304/404, cost int(6) NOT NULL DEFAULT 0 COMMENT 本次请求耗时单位毫秒, pushed tinyint(1) NOT NULL DEFAULT 0 COMMENT 是否已进入待推送队列, createtime int(10) unsigned NOT NULL DEFAULT 0 COMMENT 抓取时间戳, PRIMARY KEY (id), KEY idx_md5_time (url_md5,createtime), KEY idx_spider_time (spider,createtime), KEY idx_pushed (pushed,createtime) ) ENGINEMyISAM DEFAULT CHARSETutf8;字段含义和取舍url只存路径不存完整域名是为了多域名站点合并统计时不用做字符串截取status在钩子里取http_response_code()能直接暴露“蜘蛛抓到 404”这类问题cost用microtime(true)差值算单位毫秒用来发现“某些页面慢到蜘蛛放弃”pushed是给第 4 章推送队列用的标记位。引擎用 MyISAM 是为了兼容部分老站在 MySQL 5.5 上的默认配置如果你的环境是 5.6 以上且已经统一 InnoDB直接改成ENGINEInnoDB更稳支持行锁写入不阻塞读。CHARSETutf8不要改成utf8mb4之外的值URL 里带中文参数的情况不少。注意表建好后先别急着接入钩子手工INSERT一条测试数据再执行一次带url_md5条件的SELECT确认索引真的走了EXPLAIN看key列。老站上遇到过索引建了但字段类型不匹配导致全表扫的情况表现就是后台打开日志页转圈十秒以上。3.3 钩子文件UA 识别、去重、写入钩子文件的执行顺序必须是“判断 → 去重 → 写入”三步都不能反。判断在最前面非蜘蛛直接返回去重靠一条带时间窗口的SELECT写入用INSERT并捕获异常任何异常都不能向上抛否则会影响正常用户的页面输出。?php // include/spider_hook.php —— 蜘蛛访问采集钩子 // 该文件由 include/common.inc.php 末尾引入必须保持极低开销 // ---------- 1. UA 快速识别 ---------- $uaMap array( baiduspider baidu, googlebot google, bingbot bing, bytespider bytespider, sogou web spider sogou, 360spider 360, yisouspider yisou, yahoo! yahoo, ); $ua isset($_SERVER[HTTP_USER_AGENT]) ? strtolower($_SERVER[HTTP_USER_AGENT]) : ; if ($ua ) { return; // 空 UA 直接放行不采集 } $spider ; foreach ($uaMap as $needle $tag) { if (strpos($ua, $needle) ! false) { $spider $tag; break; } } if ($spider ) { return; // 非蜘蛛立即退出后续代码一行都不执行 } // ---------- 2. 去重窗口同一 URL 同一蜘蛛 30 分钟内只记一次 ---------- $url isset($_SERVER[REQUEST_URI]) ? $_SERVER[REQUEST_URI] : /; $urlMd5 md5($url); $now time(); $window 1800; // 秒可按第 4 章调 $row $dsql-GetOne(SELECT id FROM #__spider_log WHERE url_md5{$urlMd5} AND spider{$spider} AND createtime . ($now - $window) . LIMIT 1); if (!empty($row)) { return; // 窗口内已记录跳过 } // ---------- 3. 写入异常一律吞掉 ---------- $ip isset($_SERVER[REMOTE_ADDR]) ? $_SERVER[REMOTE_ADDR] : ; $cost isset($GLOBALS[__spider_start]) ? intval((microtime(true) - $GLOBALS[__spider_start]) * 1000) : 0; $status function_exists(http_response_code) ? intval(http_response_code()) : 0; $sql INSERT INTO #__spider_log (spider,url,url_md5,ip,status,cost,pushed,createtime) VALUES ({$spider},.addslashes($url).,{$urlMd5}, .addslashes($ip).,{$status},{$cost},0,{$now}); try { $dsql-ExecuteNoneQuery($sql); } catch (Exception $e) { // 采集失败不影响页面输出可写文件日志排查 file_put_contents(DEDEDATA./spider/error.log, date(Y-m-d H:i:s). .$e-getMessage().PHP_EOL, FILE_APPEND); }逻辑说明分三段。第一段是识别用strpos而不是正则是因为正则在这条每秒可能跑上百次的路径上开销明显更大return而非exit是为了不打断内核后续执行。UA 列表里把bytespider放在中间位置是因为它的 UA 里也含spider字样如果先匹配泛化的spider会误归类。第二段是去重url_md5与spider两字段联合过滤再加时间窗口避免同一页面被反复写入。窗口大小是这台机器上的核心参数——设太小比如 60 秒日志量暴涨设太大比如 24 小时会漏掉蜘蛛的二次抓取。30 分钟是个平衡点适合日抓取量在几千次的站点大站可以压到 10 分钟。第三段是写入addslashes处理 URL 里的单引号try/catch兜住表不存在、字段超长等异常。$GLOBALS[__spider_start]需要在common.inc.php的最前面赋值用来算耗时不赋值也不会报错cost就是 0。DEDEDATA是 dede 内核定义的data/绝对路径常量直接用就行。3.4 接入 common.inc.php 与 sitemap 生成入口接入只有一行但位置很关键必须放在$dsql初始化之后、页面输出之前。dede 的common.inc.php通常在初始化完数据库连接和配置后才有$dsql对象所以推荐追加到文件末尾。// include/common.inc.php 末尾追加升级内核后需重新检查此行是否存在 $GLOBALS[__spider_start] microtime(true); if (!defined(SPIDER_HOOK_OFF)) { include_once(DEDEINC./spider_hook.php); }SPIDER_HOOK_OFF常量是给自己留的后悔药某些脚本比如后台批量导入、定时任务不希望被采集在入口处define(SPIDER_HOOK_OFF, true);就能临时关掉不用改文件。sitemap 走独立入口由定时任务或人工触发代码核心是从内容表按发布时间倒序取 URL 并按 50000 条一片切分。?php // plus/spider_sitemap.php —— 生成 sitemap 索引与分片 require_once(dirname(__FILE__)./../include/common.inc.php); header(Content-Type: application/xml; charsetutf-8); $limit 50000; // 单片 URL 上限遵循 sitemap 协议惯例 $page isset($_GET[page]) ? max(1, intval($_GET[page])) : 1; $offset ($page - 1) * $limit; $base rtrim($cfg_basehost, /); $dsql-Execute(sm, SELECT aid,typeid,senddate,title,ismake,filename FROM #__archives WHERE arcrank -1 ORDER BY senddate DESC LIMIT {$offset},{$limit}); $items array(); while ($arc $dsql-GetArray(sm)) { // 常见做法是调用内核的 GetFileUrl() 按栏目规则拼静态地址 // 参数顺序各版本略有差异先用一条记录打印核对再批量跑 $url GetFileUrl($arc[aid], $arc[typeid], $arc[senddate], $arc[title], $arc[ismake], 0, $GLOBALS[cfg_df_namerule], , 0, $arc[filename], 0, $base, /); $items[] array(loc $url, lastmod date(Y-m-d, $arc[senddate])); } echo ?xml version1.0 encodingUTF-8?.PHP_EOL; echo urlset xmlnshttp://www.sitemaps.org/schemas/sitemap/0.9.PHP_EOL; foreach ($items as $it) { echo urlloc.htmlspecialchars($it[loc], ENT_QUOTES)./loc . lastmod.$it[lastmod]./lastmod/url.PHP_EOL; } echo /urlset;参数说明$limit不要超过 50000单文件过大会导致部分抓取端直接放弃arcrank -1过滤掉未审核内容避免把草稿推给蜘蛛GetFileUrl()是 dede 内核的地址生成函数属于“必须核对着用”的那类接口——不同版本参数顺序有差别先用一条aid打印输出确认无误再批量跑这是踩过坑之后养成的习惯。索引文件sitemap.xml里列出全部分片地址page从 1 递增直到返回空集为止。定时任务可以用 curl 逐个触发也可以直接命令行跑。# 每天凌晨重建索引与首批分片 0 3 * * * cd /path/to/site php -r $p1; while(true){ $xml file_get_contents(http://127.0.0.1/plus/spider_sitemap.php?page.$p); if(strpos($xml,url)false) break; $p; } /path/to/site/data/spider/cron.log 21注意这里用127.0.0.1而不是公网域名避免定时任务绕出去一圈再回来也避免被 CDN 缓存拦截。循环终止条件是返回内容里不含url比读 HTTP 头更稳因为部分环境会对空结果返回 200。4. 参数调优去重窗口、频控阈值与推送配额的取值依据插件跑起来之后90% 的问题会变成“日志增长过快”“推送被限”“某些栏目一条日志都没有”。这三个现象背后是同一类原因参数是抄来的不是算出来的。这一章把几个关键参数的实际影响拆开讲给出可操作的取值方法和验证手段。4.1 去重窗口与日志保留把增长速度压到可预期先算一笔账。假设站点有 5 万条内容页一个中等活跃度的蜘蛛一天抓 3000 次如果去重窗口是 0每条都记一个月就是 9 万行如果站点同时被 5 个蜘蛛抓就是 45 万行。这个量级本身不可怕可怕的是没有清理策略两年后表里堆着千万行后台一打开列表页就SELECT * ORDER BY createtime DESC索引失效、数据库连接占满。去重窗口的取值方法是看目标蜘蛛对你的平均重访间隔。做法很简单建表后先让钩子以“窗口 60 秒”跑三天然后按 URL 聚合统计相邻两次抓取的时间差-- 统计同一 URL 同一蜘蛛相邻抓取间隔的分布分钟 SELECT spider, ROUND(AVG(gap)/60, 1) AS avg_min, COUNT(*) AS samples FROM ( SELECT spider, url_md5, createtime - LAG(createtime) OVER (PARTITION BY spider, url_md5 ORDER BY createtime) AS gap FROM #__spider_log WHERE createtime UNIX_TIMESTAMP(NOW()) - 3*86400 ) t WHERE gap IS NOT NULL AND gap 86400 GROUP BY spider;这条 SQL 用了窗口函数MySQL 8.0 才支持5.7 环境把子查询改成自连接即可。跑出来的avg_min就是该蜘蛛的平均重访间隔去重窗口取它的 1/2 到 1 倍比较合理。低于 1/2 会产生大量重复记录高于 1 倍会漏掉二次抓取的信号——而“同一个 URL 短时间内被反复抓”恰恰是最有价值的信息说明这个页面在被重新评估。日志保留天数建议 30 到 90 天。理由不是存储成本而是查询成本后台报表按天聚合、按蜘蛛聚合数据量超过三个月后即使有索引GROUP BY DATE(FROM_UNIXTIME(createtime))这类函数索引失效的查询也会变慢。清理用一条带LIMIT的删除避免一次性大事务锁表-- 分批清理 90 天前的记录每批 2000 行可放进定时任务循环执行 DELETE FROM #__spider_log WHERE createtime UNIX_TIMESTAMP(NOW()) - 90*86400 ORDER BY id ASC LIMIT 2000;注意千万不要用TRUNCATE做日常清理。它会重置自增 ID 并拿表锁在日志写入频繁的站点上会直接阻塞前台请求表现就是“半夜跑完清理任务早上站点打不开”。4.2 频控阈值挡住伪造 UA 的刷量只靠 UA 字符串判断蜘蛛等于把日志的准确性交给来访者自觉。实测中伪造 UA 的请求占比不低尤其是做竞品分析或采集的脚本会直接抄一份蜘蛛 UA。结果是日志里某个“蜘蛛”一天抓了十万次你据此判断“抓取旺盛”实际全是垃圾数据。频控的做法是加一层 IP 维度的每分钟上限。钩子在去重之前先读一个文件缓存里的计数器不用数据库避免写放大超过阈值直接返回。// include/spider_hook.php 中接在 UA 识别之后、去重之前 $ip isset($_SERVER[REMOTE_ADDR]) ? $_SERVER[REMOTE_ADDR] : ; $cacheDir DEDEDATA./spider/ipcache; if (!is_dir($cacheDir)) { mkdir($cacheDir, 0755, true); } $ipKey $cacheDir./.md5($ip)..txt; $minute floor(time() / 60); $quota 30; // 单 IP 每分钟最多记 30 条按站点体量调 $bucket array(m $minute, n 0); if (is_file($ipKey)) { $bucket json_decode(file_get_contents($ipKey), true); if (!is_array($bucket) || !isset($bucket[m])) { $bucket array(m $minute, n 0); } } if ($bucket[m] ! $minute) { $bucket array(m $minute, n 0); // 跨分钟重置 } if ($bucket[n] $quota) { return; // 超阈值本分钟不再记录 } $bucket[n]; file_put_contents($ipKey, json_encode($bucket), LOCK_EX);参数选择上$quota要跟“单个 IP 背后可能有多少真实蜘蛛”匹配。搜索引擎的抓取通常来自少数几个出口 IP把配额压到 30 次/分钟对于中小站点足够如果你站点内容量在十万级以上可以放宽到 100。判断阈值是否合适的依据是跑一周后统计“被频控拦下的 IP”有多少个、这些 IP 的请求路径是否集中在少数 URL 上——集中度高基本可以确认是刷量。另一层校验是反向解析。gethostbyaddr()在部分环境会很慢尤其是没有本地 DNS 缓存时所以必须加缓存且只在“该 IP 首次出现”时解析一次// 仅在需要严格校验时启用普通站点用 UA 频控已经够 $hostKey $cacheDir./host_.md5($ip)..txt; if (!is_file($hostKey)) { $host gethostbyaddr($ip); file_put_contents($hostKey, $host ?: -, LOCK_EX); } else { $host file_get_contents($hostKey); } // 例行校验解析结果应包含 spider 相关的域名关键字具体规则自行维护这层校验的代价是需要维护一份“哪些反解结果可信”的规则表维护成本不低。我的建议是中小站点做到 UA 频控就够等日志里出现明显的异常量级再上反解不要一上来就把链路做复杂。4.3 推送配额与 sitemap 更新节奏主动推送最容易翻车的地方是“一次推全量”。历史 URL 有几万条脚本一次性发出去接口当天就把你限流之后几天的新内容也推不上去。正确的做法是把推送做成队列钩子采集时只标记pushed0定时脚本每次取固定条数发送成功改pushed1失败保留并记下返回码。?php // plus/spider_push.php —— 由定时任务触发每次只处理一批 require_once(dirname(__FILE__)./../include/common.inc.php); $batch 50; // 单次推送条数按接口配额调 $dsql-Execute(q, SELECT id,url FROM #__spider_log WHERE pushed0 AND status200 ORDER BY id ASC LIMIT {$batch}); $ids array(); $urls array(); while ($r $dsql-GetArray(q)) { $ids[] $r[id]; $urls[] rtrim($cfg_basehost, /) . $r[url]; } if (empty($urls)) { exit(nothing to push); } // 接口地址与凭证按实际平台填写这里只展示请求结构 $payload implode(\n, $urls); $ch curl_init(); curl_setopt_array($ch, array( CURLOPT_URL http://127.0.0.1/push-endpoint, CURLOPT_POST true, CURLOPT_POSTFIELDS $payload, CURLOPT_RETURNTRANSFER true, CURLOPT_TIMEOUT 5, // 必须设超时否则会挂住定时任务 )); $resp curl_exec($ch); $code curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); // 只有明确成功才标记失败保留待下次重试 if ($code 200) { $idStr implode(,, $ids); $dsql-ExecuteNoneQuery(UPDATE #__spider_log SET pushed1 WHERE id IN ({$idStr})); }$batch的取值依据是接口的日配额除以预期执行次数。如果配额是每天 1000 条、脚本每 10 分钟跑一次那单批取 7 条就够取 50 会在半小时内把配额打光。CURLOPT_TIMEOUT必须设见过太多定时任务因为没设超时卡在一个不响应的接口上最后 cron 堆了上百个进程机器直接被打满。sitemap 的更新节奏和推送不同sitemap 是给蜘蛛“发现”用的推送是给蜘蛛“优先抓”用的。内容更新频繁的站点sitemap 每天重建一次即可稳定的企业站一周一次也够。重建频率过高没有收益反而会让蜘蛛反复抓同一个 sitemap 文件浪费抓取预算。5. 避坑排查五条让日志表撑爆、sitemap 报错的血泪记录以下五条都是上线后真实会碰到的按“现象 → 原因 → 解决”写。排查顺序建议从下往上先确认入口还在再看数据是否写入最后看输出是否被污染。5.1 日志表一个月涨到 800 万行后台打开转圈现象后台日志列表页加载超过 15 秒数据库 CPU 打满前台页面也开始变慢。原因两个问题叠加。一是去重窗口设成了 0每条都记二是清理任务从来没有配过。更要命的是url字段是varchar(255)且没有单独索引后台列表页按url LIKE %关键词%搜索时全表扫描。解决先把去重窗口设成 1800 秒再把清理任务挂到 cron 每天跑一次分批删除搜索需求改成按url_md5精确匹配或者只允许按spider 时间范围过滤。改完之后用EXPLAIN确认idx_spider_time被用上。血泪经验是日志表从建表那天起就要写清理策略不要指望“以后再说”。5.2 sitemap 打开报 XML 解析错误但内容看着没问题现象浏览器打开sitemap.xml提示“第 1 行第 1 列错误”查看源码发现?xml前面有空白或者一串 HTML。原因三种可能。一是common.inc.php或它引入的某个文件在?php之前有空格或 BOM被原样输出二是内核开启了页面缓存或 gzip把输出缓冲里的内容提前吐出来了三是插件文件用了?结尾并多了一个换行符。解决在 sitemap 脚本开头加ob_start()输出前ob_clean()所有 PHP 文件去掉结尾的?用xxd sitemap.xml | head -1检查文件头有没有efbbbfBOM 标记有就用sed -i 1s/^\xEF\xBB\xBF//清掉。这个坑我踩过两次第二次是因为编辑器“保存时自动加 BOM”的默认设置没关。5.3 某些栏目一条日志都没有其他栏目正常现象后台按typeid聚合发现某个栏目的内容页抓取记录为 0但栏目列表页有记录。原因该栏目的伪静态规则没配对内容页实际返回 404蜘蛛抓到一次就不再来了或者该栏目内容页的 URL 生成走了另一套规则比如带?aid的动态地址跟 sitemap 里给出的静态地址不一致蜘蛛抓的是 sitemap 里的地址命中不了。解决在钩子里把status记全然后跑一条查询找出返回非 200 的路径分布再用curl -I手工验证几个该栏目的 URL。修完伪静态规则后把 sitemap 重新生成一遍并用后台的“URL 一致性检查”比对 sitemap 里的地址与实际可访问地址是否一致。这个检查值得做成固定动作。5.4 后台目录改名后插件入口 404现象为了安全把dede/改成了别的名字之后插件的后台页面打不开但前台采集还正常。原因插件文件里硬编码了/dede/spider_admin.php这样的路径改名后全部失效。dede 的后台目录名在配置里有对应变量硬编码等于给自己埋雷。解决所有内部跳转改用$cfg_adminurl或配置项拼装不要写死目录名plus/下的脚本引用后台时同理。改完之后全局grep -rn dede/ plus/ include/spider_hook.php一遍把可疑的硬编码都清掉。5.5 采集正常但报表数据对不上蜘蛛数量少了一半现象后台报表显示某天只有 3 种蜘蛛但服务器访问日志里明明有 6 种。原因UA 映射表里只写了 8 个常见条目且匹配用的是strpos($ua, $needle)精确子串。有些蜘蛛的 UA 写法在不同版本间有差异大小写、空格、附加标记没命中就直接return了日志里自然没有。解决把匹配改成先strtolower再匹配代码里已经做了并且把 UA 映射表做成可配置的数组放在单独文件里新增蜘蛛不用改主逻辑。另外在钩子里加一行“未命中 UA 的采样记录”只记前 200 个字符到临时文件跑三天看看漏了哪些——这个采样文件是我每次上线新站点必看的比猜有用得多。6. 进阶用法把蜘蛛日志反过来喂给内容排期日志采到一定量之后它就不只是“监控”而是内容决策的输入。我常用的一个分析是把“蜘蛛抓取频次”和“页面实际产出”放在一起看抓得多但排名不动的页面往往是内容同质化或者内链结构有问题抓得少但转化好的页面值得加内链把抓取预算引过去。具体做法是拉一张按栏目聚合的对比表字段包括近 7 天抓取次数、被抓页面数、平均响应耗时、404 次数。SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(url, /, 2), /, -1) AS cat, COUNT(*) AS hits, COUNT(DISTINCT url_md5) AS pages, ROUND(AVG(cost), 0) AS avg_cost_ms, SUM(status 404) AS not_found FROM #__spider_log WHERE createtime UNIX_TIMESTAMP(NOW()) - 7*86400 GROUP BY cat HAVING hits 50 ORDER BY hits DESC;SUBSTRING_INDEX这两层嵌套是按 URL 的第一级目录切栏目如果你的站点 URL 结构不是/栏目/内容.html要按实际规则调整。跑出来的表里avg_cost_ms超过 800 的栏目优先做缓存或查询优化——蜘蛛的耐心有限慢页面被抓几次之后抓取频次会明显下降。not_found大于 0 的栏目要立刻查死链这类错误会直接消耗抓取预算。另一个可用的信号是“抓取但不入库”。把 sitemap 里的 URL 集合与日志里的 URL 集合做差集能找出“提交了但从没被抓”的页面这类页面通常是链接深度太深或者入口太少解决办法是在栏目页加显式的列表入口而不是等蜘蛛自己发现。观察到的形态大概率原因优先动作抓取频次高、404 多死链或伪静态规则错配查status分布修规则后重提 sitemap抓取频次低、页面多入口太深、内链稀疏加栏目列表入口缩短点击深度抓取正常、耗时偏高查询慢或模板渲染重加缓存压avg_cost_ms到 500 以内单一 IP 高频、路径集中伪造 UA 刷量收紧频控阈值加反解校验这套分析我一般隔周跑一次二十分钟能出结论。从那以后我每次给站点上线这类插件都先跑三天的“影子模式”——只记日志不接推送、不改 sitemap先用数据确认钩子挂对了、UA 识别准了、去重窗口合理了再开推送和 sitemap 生成。跳过这一步直接全量上线大概率要在第二天早上处理一张撑爆的表。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/29 14:05:08 · 阅读 1.2k DedeCMS蜘蛛日志采集与sitemap推送调优
简介dede蜘蛛爬行插件面向使用DEDECMS搭建网站的管理员与SEO初学者用于模拟搜索引擎蜘蛛抓取站点排查收录、死链和内链结构等问题。包内共38个文件以27个PHP程序文件为核心配合5个GIF图标、2个JS脚本、2个CSS样式、1个SQL数据库脚本及1个TXT说明文件压缩包约36KB其中PHP承担爬虫模拟与后台逻辑SQL用于记录数据表结构前端资源支撑后台界面展示。已有376人学习下载。插件可模拟百度、谷歌、360等爬虫记录抓取日志并分析404错误、加载缓慢页面还提供死链检测、内链权重传递检查、重复URL规范化及HTML代码优化建议帮助读者从抓取轨迹中定位网站结构与链接缺陷并据此整理可执行的SEO优化清单适合需要提升收录量与搜索排名的中小站长参考。1. 一个插件治不了收录先看清 dede 蜘蛛日志到底缺了什么后台“蜘蛛来访”页面永远是首页刷屏日志表里几千条记录点进去全是/、/index.html而真正的内容页一条没有——很多 dede 站点装蜘蛛爬行插件装完就是这个结果。这类插件关键词里常被搜成 dede 插件本质上是三件事的组合把搜索引擎蜘蛛对站点的访问请求按 UA 归类后落库、按栏目规则生成 sitemap 供抓取、把新发布的 URL 按配额推给搜索入口。它不提高权重也不改内容质量它只做一件事把“蜘蛛来过没来、来了抓了什么、抓了哪一步断掉”这件事从玄学变成可查的数据。适合手上有 dede 系老站、栏目多、收录长期停滞、又没有全站日志分析条件的运营和开发如果你站点本身并发就吃紧、数据库还是共享实例那要先看完第 4 章的频控参数再决定挂不挂。2. 钩子挂在哪dede 内核三个挂载点的选型与代价插件的第一性问题不是功能是“在哪一行代码上动手”。选错挂载点后面所有参数调优都是白费力气有的方案根本收不到蜘蛛请求有的方案会让全站每次请求都多跑一遍数据库还有的方案在升级内核时被整目录覆盖。下面把三种挂法摊开讲包括它们各自的实际开销和适用边界。2.1 三种挂法common 钩子、plus 独立入口、后台模块common 钩子指的是在include/common.inc.php的末尾追加一行include把自定义的采集文件挂进全站请求链路。dede 的绝大部分前台页面栏目页、内容页、搜索页、plus 下的脚本都会经过这个文件所以蜘蛛无论抓哪个 URL 都会触发一次判断。这是覆盖率最高的一种挂法也是唯一能真实还原“蜘蛛抓了什么”的方案。代价是每次请求多一次文件引入和一次 UA 字符串比对量级在几十微秒对正常站点无感但如果你的钩子文件里顺手写了数据库查询而不做前置判断那就变成全站每次请求一次 SQL这是最常见的翻车点。plus 独立入口指的是在plus/目录下放一个spider_log.php之类的脚本靠 URL 直接访问触发。它的优点是零侵入、随删随卸、不影响内核缺点是蜘蛛不会主动来访问这个 URL除非你在模板里挂了引用——而蜘蛛不执行 JS、不加载img所以这条路对“记录蜘蛛行为”基本无效。它能胜任的是另一类工作生成 sitemap、手动触发一次全量统计、给后台提供一个 JSON 接口。认清它“只能被人工或定时任务触发”这个定位就不会把它当成日志采集入口。后台模块是在dede/目录下新增页面并注册到菜单表用于人工查看报表、清空日志、导出 CSV。它不参与采集只参与消费。很多人把采集逻辑也塞进后台模块结果蜘蛛永远触发不到日志一直是空的还以为是插件坏了。挂法覆盖率单次请求开销升级风险适合承担common 钩子全站前台一次 include 一次 UA 比对中需在升级后补回一行蜘蛛日志采集plus 独立入口仅被访问时一次完整内核加载低独立文件sitemap 生成、报表接口后台模块仅人工一次完整内核加载中菜单注册需重做日志查看、清理、导出提示把采集和消费分开挂是这套插件能长期活下去的前提。采集放钩子消费放 plus 和后台任何一侧出问题都不会拖垮另一侧。2.2 目录结构与文件职责一份能跑的组合通常长这样include/spider_hook.php放采集逻辑plus/spider_sitemap.php负责生成 sitemap 分片plus/spider_report.php输出近 7 天的蜘蛛分布 JSONdede/spider_admin.php是后台列表页日志表统一用#__spider_log#__是 dede 的表前缀占位符实际执行前由内核替换。这套划分的好处是每个文件的依赖都很浅钩子文件只依赖$dsql和$_SERVERsitemap 只依赖$dsql和$cfg_basehost报表只读表不写表。要注意include/目录在 dede 的升级包里是会被整体覆盖的高危区。所以采集文件尽量命名成带前缀的独立文件比如spider_hook.php不要直接改common.inc.php的正文只在文件末尾追加一行升级完内核后用grep -n spider_hook include/common.inc.php检查那一行还在不在不在就补回去。这个动作花十秒能省掉一次“升级后日志突然归零”的排查。另外日志表一定要跟业务表分开放。有些老站为了省事把日志写进#__archives的扩展字段这是纯粹的灾难内容表膨胀后列表页查询变慢后台编辑卡顿最后只能重建表。日志就该有独立表、独立索引、独立清理策略。2.3 为什么选「common 轻钩子 plus 独立入口」组合选型理由归结成三条。第一覆盖率优先于优雅。蜘蛛爬行插件的数据价值在于“全量”只覆盖一部分 URL 的日志会给出错误结论——比如你只采了栏目页就会误判“蜘蛛不抓内容页”然后去做一堆无用功。第二前置判断要极短。钩子文件的第一段代码必须是 UA 快速匹配非蜘蛛直接return绝不能在判断之前做任何数据库操作、文件写入、DNS 反查。第三副作用要可回滚。采集只写自己的表不改缓存、不改模板、不写data/下的公共缓存文件出问题时删掉那一行 include 就彻底干净。常见的误用是把“主动推送”也塞进钩子。推送是外发 HTTP 请求耗时不可控一旦目标接口超时前台页面就跟着卡住。正确做法是采集时只落库并标记pushed0由plus/下的定时脚本批量取未推送的记录去发。这样即使推送接口挂了站点也不受影响。3. 从上传到落库把爬行链路跑通的最小闭环这一章是从零到“日志表里出现第一条真实记录”的完整路径。按顺序做完这四步你会得到一张能查的表、一个不影响性能的钩子和一份能被抓取的 sitemap。每一步都给出可直接抄的代码和参数说明跑不通的时候优先回头核对第 3.1 节的前置条件。3.1 前置检查PHP 版本、目录权限、表前缀先确认三件事任何一件不对后面的代码都会以奇怪的方式失败。PHP 版本建议 7.0 以上dede 系老站在 5.6 上也能跑但 5.6 的mysqli与字符集处理在部分环境会有告警include/与plus/目录需要可读日志表所在库需要INSERT权限表前缀必须确认清楚后台“系统设置 → 数据库备份”里能看到通常是dede_也有站点改成了dd_或带随机串的前缀。确认表前缀之后所有 SQL 里的#__都由内核的$dsql自动替换成真实前缀手写 SQL 时不要自己拼dede_——一旦站点前缀改过手拼的那条就会报表不存在。# 1) 确认 PHP 版本与扩展 php -v php -m | grep -Ei mysqli|pdo_mysql|mbstring # 2) 确认目录可读、日志目录可写 ls -ld include plus data # data/ 下建议单独建一个目录放插件临时文件 mkdir -p data/spider chmod 755 data/spider # 3) 确认表前缀登录数据库后执行 # SHOW TABLES LIKE %arctype;上面三条命令分别解决三个问题PHP 扩展缺失会导致内核连不上库data/spider是留给 sitemap 分片和 UA 缓存文件的落盘位置不放公共缓存目录是为了避免被 dede 的缓存清理逻辑误删SHOW TABLES LIKE %arctype是用来反推前缀的看到xxx_arctype就知道前缀是xxx_。3.2 建表日志表与索引设计日志表的设计决定了三个月后这张表是 20 万行还是 2000 万行。核心是三个字段url_md5用于去重URL 可能超过 255 字符直接用 URL 建索引会超长且低效、spider用于按蜘蛛维度统计、createtime用于时间窗口查询。索引不要贪多两个联合索引足够覆盖 90% 的查询场景。CREATE TABLE IF NOT EXISTS #__spider_log ( id int(10) unsigned NOT NULL AUTO_INCREMENT, spider varchar(20) NOT NULL DEFAULT COMMENT 蜘蛛代号如 baidu/google/bing, url varchar(255) NOT NULL DEFAULT COMMENT 被抓取的地址去掉域名后的路径, url_md5 char(32) NOT NULL DEFAULT COMMENT url 的 md5用于去重比对, ip varchar(46) NOT NULL DEFAULT COMMENT 来访 IP兼容 IPv6 长度, status smallint(6) NOT NULL DEFAULT 0 COMMENT HTTP 状态码200/304/404, cost int(6) NOT NULL DEFAULT 0 COMMENT 本次请求耗时单位毫秒, pushed tinyint(1) NOT NULL DEFAULT 0 COMMENT 是否已进入待推送队列, createtime int(10) unsigned NOT NULL DEFAULT 0 COMMENT 抓取时间戳, PRIMARY KEY (id), KEY idx_md5_time (url_md5,createtime), KEY idx_spider_time (spider,createtime), KEY idx_pushed (pushed,createtime) ) ENGINEMyISAM DEFAULT CHARSETutf8;字段含义和取舍url只存路径不存完整域名是为了多域名站点合并统计时不用做字符串截取status在钩子里取http_response_code()能直接暴露“蜘蛛抓到 404”这类问题cost用microtime(true)差值算单位毫秒用来发现“某些页面慢到蜘蛛放弃”pushed是给第 4 章推送队列用的标记位。引擎用 MyISAM 是为了兼容部分老站在 MySQL 5.5 上的默认配置如果你的环境是 5.6 以上且已经统一 InnoDB直接改成ENGINEInnoDB更稳支持行锁写入不阻塞读。CHARSETutf8不要改成utf8mb4之外的值URL 里带中文参数的情况不少。注意表建好后先别急着接入钩子手工INSERT一条测试数据再执行一次带url_md5条件的SELECT确认索引真的走了EXPLAIN看key列。老站上遇到过索引建了但字段类型不匹配导致全表扫的情况表现就是后台打开日志页转圈十秒以上。3.3 钩子文件UA 识别、去重、写入钩子文件的执行顺序必须是“判断 → 去重 → 写入”三步都不能反。判断在最前面非蜘蛛直接返回去重靠一条带时间窗口的SELECT写入用INSERT并捕获异常任何异常都不能向上抛否则会影响正常用户的页面输出。?php // include/spider_hook.php —— 蜘蛛访问采集钩子 // 该文件由 include/common.inc.php 末尾引入必须保持极低开销 // ---------- 1. UA 快速识别 ---------- $uaMap array( baiduspider baidu, googlebot google, bingbot bing, bytespider bytespider, sogou web spider sogou, 360spider 360, yisouspider yisou, yahoo! yahoo, ); $ua isset($_SERVER[HTTP_USER_AGENT]) ? strtolower($_SERVER[HTTP_USER_AGENT]) : ; if ($ua ) { return; // 空 UA 直接放行不采集 } $spider ; foreach ($uaMap as $needle $tag) { if (strpos($ua, $needle) ! false) { $spider $tag; break; } } if ($spider ) { return; // 非蜘蛛立即退出后续代码一行都不执行 } // ---------- 2. 去重窗口同一 URL 同一蜘蛛 30 分钟内只记一次 ---------- $url isset($_SERVER[REQUEST_URI]) ? $_SERVER[REQUEST_URI] : /; $urlMd5 md5($url); $now time(); $window 1800; // 秒可按第 4 章调 $row $dsql-GetOne(SELECT id FROM #__spider_log WHERE url_md5{$urlMd5} AND spider{$spider} AND createtime . ($now - $window) . LIMIT 1); if (!empty($row)) { return; // 窗口内已记录跳过 } // ---------- 3. 写入异常一律吞掉 ---------- $ip isset($_SERVER[REMOTE_ADDR]) ? $_SERVER[REMOTE_ADDR] : ; $cost isset($GLOBALS[__spider_start]) ? intval((microtime(true) - $GLOBALS[__spider_start]) * 1000) : 0; $status function_exists(http_response_code) ? intval(http_response_code()) : 0; $sql INSERT INTO #__spider_log (spider,url,url_md5,ip,status,cost,pushed,createtime) VALUES ({$spider},.addslashes($url).,{$urlMd5}, .addslashes($ip).,{$status},{$cost},0,{$now}); try { $dsql-ExecuteNoneQuery($sql); } catch (Exception $e) { // 采集失败不影响页面输出可写文件日志排查 file_put_contents(DEDEDATA./spider/error.log, date(Y-m-d H:i:s). .$e-getMessage().PHP_EOL, FILE_APPEND); }逻辑说明分三段。第一段是识别用strpos而不是正则是因为正则在这条每秒可能跑上百次的路径上开销明显更大return而非exit是为了不打断内核后续执行。UA 列表里把bytespider放在中间位置是因为它的 UA 里也含spider字样如果先匹配泛化的spider会误归类。第二段是去重url_md5与spider两字段联合过滤再加时间窗口避免同一页面被反复写入。窗口大小是这台机器上的核心参数——设太小比如 60 秒日志量暴涨设太大比如 24 小时会漏掉蜘蛛的二次抓取。30 分钟是个平衡点适合日抓取量在几千次的站点大站可以压到 10 分钟。第三段是写入addslashes处理 URL 里的单引号try/catch兜住表不存在、字段超长等异常。$GLOBALS[__spider_start]需要在common.inc.php的最前面赋值用来算耗时不赋值也不会报错cost就是 0。DEDEDATA是 dede 内核定义的data/绝对路径常量直接用就行。3.4 接入 common.inc.php 与 sitemap 生成入口接入只有一行但位置很关键必须放在$dsql初始化之后、页面输出之前。dede 的common.inc.php通常在初始化完数据库连接和配置后才有$dsql对象所以推荐追加到文件末尾。// include/common.inc.php 末尾追加升级内核后需重新检查此行是否存在 $GLOBALS[__spider_start] microtime(true); if (!defined(SPIDER_HOOK_OFF)) { include_once(DEDEINC./spider_hook.php); }SPIDER_HOOK_OFF常量是给自己留的后悔药某些脚本比如后台批量导入、定时任务不希望被采集在入口处define(SPIDER_HOOK_OFF, true);就能临时关掉不用改文件。sitemap 走独立入口由定时任务或人工触发代码核心是从内容表按发布时间倒序取 URL 并按 50000 条一片切分。?php // plus/spider_sitemap.php —— 生成 sitemap 索引与分片 require_once(dirname(__FILE__)./../include/common.inc.php); header(Content-Type: application/xml; charsetutf-8); $limit 50000; // 单片 URL 上限遵循 sitemap 协议惯例 $page isset($_GET[page]) ? max(1, intval($_GET[page])) : 1; $offset ($page - 1) * $limit; $base rtrim($cfg_basehost, /); $dsql-Execute(sm, SELECT aid,typeid,senddate,title,ismake,filename FROM #__archives WHERE arcrank -1 ORDER BY senddate DESC LIMIT {$offset},{$limit}); $items array(); while ($arc $dsql-GetArray(sm)) { // 常见做法是调用内核的 GetFileUrl() 按栏目规则拼静态地址 // 参数顺序各版本略有差异先用一条记录打印核对再批量跑 $url GetFileUrl($arc[aid], $arc[typeid], $arc[senddate], $arc[title], $arc[ismake], 0, $GLOBALS[cfg_df_namerule], , 0, $arc[filename], 0, $base, /); $items[] array(loc $url, lastmod date(Y-m-d, $arc[senddate])); } echo ?xml version1.0 encodingUTF-8?.PHP_EOL; echo urlset xmlnshttp://www.sitemaps.org/schemas/sitemap/0.9.PHP_EOL; foreach ($items as $it) { echo urlloc.htmlspecialchars($it[loc], ENT_QUOTES)./loc . lastmod.$it[lastmod]./lastmod/url.PHP_EOL; } echo /urlset;参数说明$limit不要超过 50000单文件过大会导致部分抓取端直接放弃arcrank -1过滤掉未审核内容避免把草稿推给蜘蛛GetFileUrl()是 dede 内核的地址生成函数属于“必须核对着用”的那类接口——不同版本参数顺序有差别先用一条aid打印输出确认无误再批量跑这是踩过坑之后养成的习惯。索引文件sitemap.xml里列出全部分片地址page从 1 递增直到返回空集为止。定时任务可以用 curl 逐个触发也可以直接命令行跑。# 每天凌晨重建索引与首批分片 0 3 * * * cd /path/to/site php -r $p1; while(true){ $xml file_get_contents(http://127.0.0.1/plus/spider_sitemap.php?page.$p); if(strpos($xml,url)false) break; $p; } /path/to/site/data/spider/cron.log 21注意这里用127.0.0.1而不是公网域名避免定时任务绕出去一圈再回来也避免被 CDN 缓存拦截。循环终止条件是返回内容里不含url比读 HTTP 头更稳因为部分环境会对空结果返回 200。4. 参数调优去重窗口、频控阈值与推送配额的取值依据插件跑起来之后90% 的问题会变成“日志增长过快”“推送被限”“某些栏目一条日志都没有”。这三个现象背后是同一类原因参数是抄来的不是算出来的。这一章把几个关键参数的实际影响拆开讲给出可操作的取值方法和验证手段。4.1 去重窗口与日志保留把增长速度压到可预期先算一笔账。假设站点有 5 万条内容页一个中等活跃度的蜘蛛一天抓 3000 次如果去重窗口是 0每条都记一个月就是 9 万行如果站点同时被 5 个蜘蛛抓就是 45 万行。这个量级本身不可怕可怕的是没有清理策略两年后表里堆着千万行后台一打开列表页就SELECT * ORDER BY createtime DESC索引失效、数据库连接占满。去重窗口的取值方法是看目标蜘蛛对你的平均重访间隔。做法很简单建表后先让钩子以“窗口 60 秒”跑三天然后按 URL 聚合统计相邻两次抓取的时间差-- 统计同一 URL 同一蜘蛛相邻抓取间隔的分布分钟 SELECT spider, ROUND(AVG(gap)/60, 1) AS avg_min, COUNT(*) AS samples FROM ( SELECT spider, url_md5, createtime - LAG(createtime) OVER (PARTITION BY spider, url_md5 ORDER BY createtime) AS gap FROM #__spider_log WHERE createtime UNIX_TIMESTAMP(NOW()) - 3*86400 ) t WHERE gap IS NOT NULL AND gap 86400 GROUP BY spider;这条 SQL 用了窗口函数MySQL 8.0 才支持5.7 环境把子查询改成自连接即可。跑出来的avg_min就是该蜘蛛的平均重访间隔去重窗口取它的 1/2 到 1 倍比较合理。低于 1/2 会产生大量重复记录高于 1 倍会漏掉二次抓取的信号——而“同一个 URL 短时间内被反复抓”恰恰是最有价值的信息说明这个页面在被重新评估。日志保留天数建议 30 到 90 天。理由不是存储成本而是查询成本后台报表按天聚合、按蜘蛛聚合数据量超过三个月后即使有索引GROUP BY DATE(FROM_UNIXTIME(createtime))这类函数索引失效的查询也会变慢。清理用一条带LIMIT的删除避免一次性大事务锁表-- 分批清理 90 天前的记录每批 2000 行可放进定时任务循环执行 DELETE FROM #__spider_log WHERE createtime UNIX_TIMESTAMP(NOW()) - 90*86400 ORDER BY id ASC LIMIT 2000;注意千万不要用TRUNCATE做日常清理。它会重置自增 ID 并拿表锁在日志写入频繁的站点上会直接阻塞前台请求表现就是“半夜跑完清理任务早上站点打不开”。4.2 频控阈值挡住伪造 UA 的刷量只靠 UA 字符串判断蜘蛛等于把日志的准确性交给来访者自觉。实测中伪造 UA 的请求占比不低尤其是做竞品分析或采集的脚本会直接抄一份蜘蛛 UA。结果是日志里某个“蜘蛛”一天抓了十万次你据此判断“抓取旺盛”实际全是垃圾数据。频控的做法是加一层 IP 维度的每分钟上限。钩子在去重之前先读一个文件缓存里的计数器不用数据库避免写放大超过阈值直接返回。// include/spider_hook.php 中接在 UA 识别之后、去重之前 $ip isset($_SERVER[REMOTE_ADDR]) ? $_SERVER[REMOTE_ADDR] : ; $cacheDir DEDEDATA./spider/ipcache; if (!is_dir($cacheDir)) { mkdir($cacheDir, 0755, true); } $ipKey $cacheDir./.md5($ip)..txt; $minute floor(time() / 60); $quota 30; // 单 IP 每分钟最多记 30 条按站点体量调 $bucket array(m $minute, n 0); if (is_file($ipKey)) { $bucket json_decode(file_get_contents($ipKey), true); if (!is_array($bucket) || !isset($bucket[m])) { $bucket array(m $minute, n 0); } } if ($bucket[m] ! $minute) { $bucket array(m $minute, n 0); // 跨分钟重置 } if ($bucket[n] $quota) { return; // 超阈值本分钟不再记录 } $bucket[n]; file_put_contents($ipKey, json_encode($bucket), LOCK_EX);参数选择上$quota要跟“单个 IP 背后可能有多少真实蜘蛛”匹配。搜索引擎的抓取通常来自少数几个出口 IP把配额压到 30 次/分钟对于中小站点足够如果你站点内容量在十万级以上可以放宽到 100。判断阈值是否合适的依据是跑一周后统计“被频控拦下的 IP”有多少个、这些 IP 的请求路径是否集中在少数 URL 上——集中度高基本可以确认是刷量。另一层校验是反向解析。gethostbyaddr()在部分环境会很慢尤其是没有本地 DNS 缓存时所以必须加缓存且只在“该 IP 首次出现”时解析一次// 仅在需要严格校验时启用普通站点用 UA 频控已经够 $hostKey $cacheDir./host_.md5($ip)..txt; if (!is_file($hostKey)) { $host gethostbyaddr($ip); file_put_contents($hostKey, $host ?: -, LOCK_EX); } else { $host file_get_contents($hostKey); } // 例行校验解析结果应包含 spider 相关的域名关键字具体规则自行维护这层校验的代价是需要维护一份“哪些反解结果可信”的规则表维护成本不低。我的建议是中小站点做到 UA 频控就够等日志里出现明显的异常量级再上反解不要一上来就把链路做复杂。4.3 推送配额与 sitemap 更新节奏主动推送最容易翻车的地方是“一次推全量”。历史 URL 有几万条脚本一次性发出去接口当天就把你限流之后几天的新内容也推不上去。正确的做法是把推送做成队列钩子采集时只标记pushed0定时脚本每次取固定条数发送成功改pushed1失败保留并记下返回码。?php // plus/spider_push.php —— 由定时任务触发每次只处理一批 require_once(dirname(__FILE__)./../include/common.inc.php); $batch 50; // 单次推送条数按接口配额调 $dsql-Execute(q, SELECT id,url FROM #__spider_log WHERE pushed0 AND status200 ORDER BY id ASC LIMIT {$batch}); $ids array(); $urls array(); while ($r $dsql-GetArray(q)) { $ids[] $r[id]; $urls[] rtrim($cfg_basehost, /) . $r[url]; } if (empty($urls)) { exit(nothing to push); } // 接口地址与凭证按实际平台填写这里只展示请求结构 $payload implode(\n, $urls); $ch curl_init(); curl_setopt_array($ch, array( CURLOPT_URL http://127.0.0.1/push-endpoint, CURLOPT_POST true, CURLOPT_POSTFIELDS $payload, CURLOPT_RETURNTRANSFER true, CURLOPT_TIMEOUT 5, // 必须设超时否则会挂住定时任务 )); $resp curl_exec($ch); $code curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); // 只有明确成功才标记失败保留待下次重试 if ($code 200) { $idStr implode(,, $ids); $dsql-ExecuteNoneQuery(UPDATE #__spider_log SET pushed1 WHERE id IN ({$idStr})); }$batch的取值依据是接口的日配额除以预期执行次数。如果配额是每天 1000 条、脚本每 10 分钟跑一次那单批取 7 条就够取 50 会在半小时内把配额打光。CURLOPT_TIMEOUT必须设见过太多定时任务因为没设超时卡在一个不响应的接口上最后 cron 堆了上百个进程机器直接被打满。sitemap 的更新节奏和推送不同sitemap 是给蜘蛛“发现”用的推送是给蜘蛛“优先抓”用的。内容更新频繁的站点sitemap 每天重建一次即可稳定的企业站一周一次也够。重建频率过高没有收益反而会让蜘蛛反复抓同一个 sitemap 文件浪费抓取预算。5. 避坑排查五条让日志表撑爆、sitemap 报错的血泪记录以下五条都是上线后真实会碰到的按“现象 → 原因 → 解决”写。排查顺序建议从下往上先确认入口还在再看数据是否写入最后看输出是否被污染。5.1 日志表一个月涨到 800 万行后台打开转圈现象后台日志列表页加载超过 15 秒数据库 CPU 打满前台页面也开始变慢。原因两个问题叠加。一是去重窗口设成了 0每条都记二是清理任务从来没有配过。更要命的是url字段是varchar(255)且没有单独索引后台列表页按url LIKE %关键词%搜索时全表扫描。解决先把去重窗口设成 1800 秒再把清理任务挂到 cron 每天跑一次分批删除搜索需求改成按url_md5精确匹配或者只允许按spider 时间范围过滤。改完之后用EXPLAIN确认idx_spider_time被用上。血泪经验是日志表从建表那天起就要写清理策略不要指望“以后再说”。5.2 sitemap 打开报 XML 解析错误但内容看着没问题现象浏览器打开sitemap.xml提示“第 1 行第 1 列错误”查看源码发现?xml前面有空白或者一串 HTML。原因三种可能。一是common.inc.php或它引入的某个文件在?php之前有空格或 BOM被原样输出二是内核开启了页面缓存或 gzip把输出缓冲里的内容提前吐出来了三是插件文件用了?结尾并多了一个换行符。解决在 sitemap 脚本开头加ob_start()输出前ob_clean()所有 PHP 文件去掉结尾的?用xxd sitemap.xml | head -1检查文件头有没有efbbbfBOM 标记有就用sed -i 1s/^\xEF\xBB\xBF//清掉。这个坑我踩过两次第二次是因为编辑器“保存时自动加 BOM”的默认设置没关。5.3 某些栏目一条日志都没有其他栏目正常现象后台按typeid聚合发现某个栏目的内容页抓取记录为 0但栏目列表页有记录。原因该栏目的伪静态规则没配对内容页实际返回 404蜘蛛抓到一次就不再来了或者该栏目内容页的 URL 生成走了另一套规则比如带?aid的动态地址跟 sitemap 里给出的静态地址不一致蜘蛛抓的是 sitemap 里的地址命中不了。解决在钩子里把status记全然后跑一条查询找出返回非 200 的路径分布再用curl -I手工验证几个该栏目的 URL。修完伪静态规则后把 sitemap 重新生成一遍并用后台的“URL 一致性检查”比对 sitemap 里的地址与实际可访问地址是否一致。这个检查值得做成固定动作。5.4 后台目录改名后插件入口 404现象为了安全把dede/改成了别的名字之后插件的后台页面打不开但前台采集还正常。原因插件文件里硬编码了/dede/spider_admin.php这样的路径改名后全部失效。dede 的后台目录名在配置里有对应变量硬编码等于给自己埋雷。解决所有内部跳转改用$cfg_adminurl或配置项拼装不要写死目录名plus/下的脚本引用后台时同理。改完之后全局grep -rn dede/ plus/ include/spider_hook.php一遍把可疑的硬编码都清掉。5.5 采集正常但报表数据对不上蜘蛛数量少了一半现象后台报表显示某天只有 3 种蜘蛛但服务器访问日志里明明有 6 种。原因UA 映射表里只写了 8 个常见条目且匹配用的是strpos($ua, $needle)精确子串。有些蜘蛛的 UA 写法在不同版本间有差异大小写、空格、附加标记没命中就直接return了日志里自然没有。解决把匹配改成先strtolower再匹配代码里已经做了并且把 UA 映射表做成可配置的数组放在单独文件里新增蜘蛛不用改主逻辑。另外在钩子里加一行“未命中 UA 的采样记录”只记前 200 个字符到临时文件跑三天看看漏了哪些——这个采样文件是我每次上线新站点必看的比猜有用得多。6. 进阶用法把蜘蛛日志反过来喂给内容排期日志采到一定量之后它就不只是“监控”而是内容决策的输入。我常用的一个分析是把“蜘蛛抓取频次”和“页面实际产出”放在一起看抓得多但排名不动的页面往往是内容同质化或者内链结构有问题抓得少但转化好的页面值得加内链把抓取预算引过去。具体做法是拉一张按栏目聚合的对比表字段包括近 7 天抓取次数、被抓页面数、平均响应耗时、404 次数。SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(url, /, 2), /, -1) AS cat, COUNT(*) AS hits, COUNT(DISTINCT url_md5) AS pages, ROUND(AVG(cost), 0) AS avg_cost_ms, SUM(status 404) AS not_found FROM #__spider_log WHERE createtime UNIX_TIMESTAMP(NOW()) - 7*86400 GROUP BY cat HAVING hits 50 ORDER BY hits DESC;SUBSTRING_INDEX这两层嵌套是按 URL 的第一级目录切栏目如果你的站点 URL 结构不是/栏目/内容.html要按实际规则调整。跑出来的表里avg_cost_ms超过 800 的栏目优先做缓存或查询优化——蜘蛛的耐心有限慢页面被抓几次之后抓取频次会明显下降。not_found大于 0 的栏目要立刻查死链这类错误会直接消耗抓取预算。另一个可用的信号是“抓取但不入库”。把 sitemap 里的 URL 集合与日志里的 URL 集合做差集能找出“提交了但从没被抓”的页面这类页面通常是链接深度太深或者入口太少解决办法是在栏目页加显式的列表入口而不是等蜘蛛自己发现。观察到的形态大概率原因优先动作抓取频次高、404 多死链或伪静态规则错配查status分布修规则后重提 sitemap抓取频次低、页面多入口太深、内链稀疏加栏目列表入口缩短点击深度抓取正常、耗时偏高查询慢或模板渲染重加缓存压avg_cost_ms到 500 以内单一 IP 高频、路径集中伪造 UA 刷量收紧频控阈值加反解校验这套分析我一般隔周跑一次二十分钟能出结论。从那以后我每次给站点上线这类插件都先跑三天的“影子模式”——只记日志不接推送、不改 sitemap先用数据确认钩子挂对了、UA 识别准了、去重窗口合理了再开推送和 sitemap 生成。跳过这一步直接全量上线大概率要在第二天早上处理一张撑爆的表。希望帮到你。本文还有配套的精品资源点击获取