1. 项目缘起与整体设计思路1.1 为什么选择 Selenium 而不是纯 HTTP 请求做数据采集这行的朋友都有一个共识抓静态页面用 Jsoup 或 HttpClient 就够了又快又省资源。但豆瓣读书这个站点有个特点——它的书籍列表页和详情页大量依赖 JavaScript 动态渲染尤其是分页加载、评分区域、标签云这些模块直接发 HTTP 请求拿到的 HTML 里往往是空的或者不完整的。我最初也试过用 Jsoup 直接解析结果发现拿到的评分数据全是占位符标签信息也缺失严重。所以最终选型锁定在 Selenium 上。Selenium 的本质是驱动一个真实浏览器去加载页面等 JavaScript 执行完毕后再从渲染好的 DOM 里提取数据。这就好比你派了一个“机器人”替你打开浏览器、滚动页面、点击翻页然后把看到的内容抄下来。虽然速度比纯 HTTP 慢但胜在稳定、所见即所得。技术栈组合是这样的组件选型作用语言Java 11主开发语言生态成熟浏览器驱动Selenium WebDriver 4.x控制浏览器行为浏览器Chrome / Chromium实际渲染引擎驱动管理WebDriverManager自动匹配驱动版本HTML 解析Jsoup对渲染后的页面做二次解析数据存储文件 / 数据库按需选择 CSV、JSON 或 MySQL1.2 整体架构拆解整个采集流程我把它拆成四层每层职责单一方便排查问题驱动层负责创建、配置、销毁 WebDriver 实例管理浏览器启动参数。采集层负责打开目标 URL、等待元素加载、翻页、滚动等交互动作。解析层从渲染完成的页面源码中提取书名、作者、评分、简介、标签等字段。存储层把结构化数据写入文件或数据库同时做去重和异常记录。这样分层的好处是如果哪天豆瓣改了页面结构我只需要动解析层如果浏览器驱动升级出问题只查驱动层。各层之间通过 POJO 对象传递数据耦合度低。1.3 目标数据字段定义在动手写代码之前先明确要抓什么。豆瓣读书详情页信息量很大我筛选了以下核心字段书名title作者author出版社publisher出版日期publishDate价格price评分rating评价人数ratingCount内容简介intro标签列表tags书籍详情页 URLurl这些字段基本覆盖了一本书的核心元信息后续做数据分析、推荐系统、书单整理都够用了。2. 环境搭建与核心依赖配置2.1 Java 项目初始化与依赖引入我用 Maven 来管理依赖pom.xml 里核心就三个包selenium-java、webdrivermanager、jsoup。版本选择上有个经验Selenium 4.x 相比 3.x 在 API 上有较大变化网上很多老教程还是 3.x 的写法直接抄会编译不过。建议锁定 4.15 以上的稳定版。dependencies dependency groupIdorg.seleniumhq.selenium/groupId artifactIdselenium-java/artifactId version4.15.0/version /dependency dependency groupIdio.github.bonigarcia/groupId artifactIdwebdrivermanager/artifactId version5.6.2/version /dependency dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.17.1/version /dependency /dependenciesWebDriverManager 这个库值得单独说一下。以前用 Selenium 最头疼的就是浏览器和驱动版本对不上Chrome 一自动更新脚本就跑不起来了。WebDriverManager 会自动检测本地浏览器版本下载匹配的驱动省去了手动维护驱动的麻烦。2.2 Chrome 启动参数调优默认启动的 Chrome 是个带界面的完整浏览器采集时既占资源又容易被检测。我一般会加一组启动参数来优化ChromeOptions options new ChromeOptions(); options.addArguments(--headlessnew); options.addArguments(--disable-gpu); options.addArguments(--no-sandbox); options.addArguments(--disable-dev-shm-usage); options.addArguments(--window-size1920,1080); options.addArguments(--user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36); options.addArguments(--disable-blink-featuresAutomationControlled); options.setExperimentalOption(excludeSwitches, new String[]{enable-automation});逐个解释这些参数的作用--headlessnew无头模式不弹出浏览器窗口资源占用大幅降低。注意 Selenium 4.x 推荐用new形式老的--headless在新版 Chrome 里行为有差异。--disable-gpu禁用 GPU 加速在服务器环境里避免显卡相关报错。--no-sandbox容器环境里必须加否则 Chrome 可能启动失败。--disable-dev-shm-usage避免共享内存不足导致页面崩溃这个在 Docker 里尤其重要。--window-size固定窗口尺寸保证响应式布局下元素位置一致。--user-agent伪装成正常浏览器 UA降低被识别为自动化的概率。--disable-blink-featuresAutomationControlled去掉 navigator.webdriver 标志这是最基础的反检测手段。注意无头模式下某些页面渲染结果和带界面模式略有差异如果发现数据抓不全可以先切回带界面模式调试确认选择器没问题后再切无头。2.3 驱动初始化与全局管理WebDriver 是个重资源对象频繁创建销毁开销很大。我的做法是在整个采集任务开始时创建一个实例任务结束后统一关闭中间复用。public class DriverFactory { private static WebDriver driver; public static WebDriver getDriver() { if (driver null) { WebDriverManager.chromedriver().setup(); ChromeOptions options buildOptions(); driver new ChromeDriver(options); driver.manage().timeouts().pageLoadTimeout(Duration.ofSeconds(30)); driver.manage().timeouts().implicitlyWait(Duration.ofSeconds(5)); } return driver; } public static void quit() { if (driver ! null) { driver.quit(); driver null; } } }这里有个坑要提醒implicitlyWait是全局隐式等待设太长会让每个找不到的元素都白等好几秒拖慢整体速度。我一般设 5 秒具体元素的等待用显式等待来处理。3. 页面采集与数据解析实操3.1 目标页面结构分析动手写代码前一定要先用浏览器开发者工具把页面结构摸清楚。豆瓣读书的书籍列表页比如按标签分类的页面结构大致是这样的每本书是一个li元素class 里带subject-item里面包含封面图、书名链接、出版信息、评分、简介等子元素。详情页的结构又不一样书名在span[propertyv:itemreviewed]评分在strong[propertyv:average]作者和出版社信息在一个div[idinfo]里简介在div[idintro]相关的区块。我的习惯是先把这些选择器记在纸上或者注释里写代码时直接对照避免边写边找。3.2 列表页翻页采集逻辑豆瓣读书列表页的分页是通过 URL 参数控制的格式类似?start0、?start20、?start40每页 20 条。所以翻页不需要真的去点“下一页”按钮直接构造 URL 更稳定。public ListString collectBookUrls(String baseUrl, int maxPages) { ListString urls new ArrayList(); WebDriver driver DriverFactory.getDriver(); for (int page 0; page maxPages; page) { int start page * 20; String pageUrl baseUrl ?start start; driver.get(pageUrl); WebDriverWait wait new WebDriverWait(driver, Duration.ofSeconds(10)); wait.until(ExpectedConditions.presenceOfElementLocated( By.cssSelector(li.subject-item))); ListWebElement items driver.findElements( By.cssSelector(li.subject-item h2 a)); for (WebElement item : items) { String href item.getAttribute(href); if (href ! null !href.isEmpty()) { urls.add(href); } } sleepRandom(1500, 3000); } return urls; }这里有几个关键点显式等待用WebDriverWait等li.subject-item出现确保页面渲染完成再提取比死等固定秒数靠谱。随机延时sleepRandom是我封装的方法在 1.5 到 3 秒之间随机停顿。固定间隔的请求模式太机械随机化更接近真人浏览节奏。URL 去重实际项目里我会用 Set 来存 URL避免同一本书被重复采集。3.3 详情页字段提取详情页的解析我分两步走先用 Selenium 拿到渲染后的完整页面源码再交给 Jsoup 做精细解析。这样做的好处是 Jsoup 的选择器语法比 Selenium 的 By 更灵活处理嵌套结构更顺手。public Book parseDetailPage(String url) { WebDriver driver DriverFactory.getDriver(); driver.get(url); WebDriverWait wait new WebDriverWait(driver, Duration.ofSeconds(10)); wait.until(ExpectedConditions.presenceOfElementLocated( By.cssSelector(span[propertyv:itemreviewed]))); String html driver.getPageSource(); Document doc Jsoup.parse(html); Book book new Book(); book.setUrl(url); book.setTitle(textOrEmpty(doc.selectFirst(span[propertyv:itemreviewed]))); book.setRating(textOrEmpty(doc.selectFirst(strong[propertyv:average]))); book.setRatingCount(textOrEmpty(doc.selectFirst(span[propertyv:votes]))); book.setIntro(extractIntro(doc)); book.setTags(extractTags(doc)); parseInfoBlock(doc, book); return book; }parseInfoBlock是处理作者、出版社、出版日期这些信息的。豆瓣把这些信息塞在一个div[idinfo]里格式是作者: xxx这样的文本行需要用正则或者字符串分割来提取。private void parseInfoBlock(Document doc, Book book) { Element info doc.selectFirst(div#info); if (info null) return; String text info.text(); book.setAuthor(matchPattern(text, 作者[:]\\s*([^\\s]))); book.setPublisher(matchPattern(text, 出版社[:]\\s*([^\\s]))); book.setPublishDate(matchPattern(text, 出版年[:]\\s*([\\d\\-]))); book.setPrice(matchPattern(text, 定价[:]\\s*([\\d.]))); }实操心得豆瓣的 info 区块里作者可能有多个用[^\s]只能匹配第一个。如果需要完整作者列表建议按行分割后逐行判断遇到“作者”开头的行就把后面的内容全部取出来。3.4 简介与标签的容错处理简介和标签是最容易出问题的两个字段。简介有时候是折叠的需要点击“展开”才能看到全文标签有时候为空直接取会抛异常。简介的处理策略是先尝试取完整简介元素取不到就取短简介再取不到就返回空字符串。标签则用select拿到所有a标签的文本拼成逗号分隔的字符串。private String extractIntro(Document doc) { Element full doc.selectFirst(div#intro[class*full]); if (full ! null) return full.text(); Element shortIntro doc.selectFirst(div#intro); return shortIntro ! null ? shortIntro.text() : ; } private String extractTags(Document doc) { Elements tagElements doc.select(div#db-tags-section a); return tagElements.stream() .map(Element::text) .filter(s - !s.isEmpty()) .collect(Collectors.joining(,)); }4. 反爬应对与稳定性优化4.1 请求频率控制策略这是采集项目里最核心的一环。豆瓣对高频访问是有风控的连续快速请求很容易触发验证码或者直接返回 403。我的经验是单次请求间隔不低于 1.5 秒建议 2 到 4 秒随机。每采集 50 到 100 条插入一次 10 到 30 秒的长休息。避免在整点、凌晨等异常时段集中采集模拟正常用户活跃时间。private void sleepRandom(int minMs, int maxMs) { try { int sleep minMs new Random().nextInt(maxMs - minMs); Thread.sleep(sleep); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } }4.2 异常重试与断点续采网络请求失败是常态关键是要有重试机制。我给每个 URL 的采集包了一层重试逻辑最多重试 3 次每次失败后等待时间翻倍。public Book fetchWithRetry(String url, int maxRetry) { for (int i 0; i maxRetry; i) { try { return parseDetailPage(url); } catch (Exception e) { System.err.println(采集失败第 (i 1) 次重试: url); sleepRandom(2000 * (i 1), 4000 * (i 1)); } } return null; }断点续采的思路是每采集完一条就把 URL 写入一个已完成列表文件程序启动时先读取这个文件跳过已完成的 URL。这样即使中途崩溃重启后也不用从头再来。4.3 常见反爬信号识别在采集过程中如果出现以下情况说明可能已经被风控了现象可能原因应对措施页面返回 403IP 被限流降低频率暂停一段时间出现验证码页面行为被判定为异常切换无头模式为带界面手动处理元素定位失败页面结构变化或被重定向检查当前 URL 和页面源码数据为空页面未完全加载增加显式等待时间注意遇到验证码不要硬刚暂停采集是最明智的选择。继续高频请求只会让限制升级。5. 数据存储与后续处理5.1 结构化数据落盘采集到的 Book 对象我一般先存成 JSON 文件方便查看和调试。数据量大了之后再考虑入库。public void saveToJson(ListBook books, String filePath) { ObjectMapper mapper new ObjectMapper(); try { mapper.writerWithDefaultPrettyPrinter() .writeValue(new File(filePath), books); } catch (IOException e) { e.printStackTrace(); } }如果要用 CSV注意简介字段里可能有逗号和换行需要做转义处理否则表格会错乱。我踩过这个坑后来统一用 JSON 就没这问题了。5.2 数据去重与清洗去重主要按书籍 URL 来因为同一本书可能有多个版本但 URL 是唯一的。清洗方面评分字段可能带“评价人数不足”这样的文字需要转成数字或者标记为无效。private String cleanRating(String raw) { if (raw null || raw.isEmpty()) return 0; try { return String.valueOf(Double.parseDouble(raw.trim())); } catch (NumberFormatException e) { return 0; } }5.3 采集结果的简单分析数据拿到手后我习惯做几个基础统计来验证采集质量总条数、有评分的比例、平均评分、标签出现频率 Top 10。这些统计能快速暴露采集是否完整。public void printStats(ListBook books) { long rated books.stream() .filter(b - !0.equals(b.getRating())) .count(); double avg books.stream() .mapToDouble(b - parseDouble(b.getRating())) .filter(v - v 0) .average().orElse(0); System.out.println(总数: books.size()); System.out.println(有评分: rated); System.out.println(平均分: String.format(%.2f, avg)); }6. 踩坑记录与问题排查实录6.1 元素定位失败的排查思路元素定位失败是最高频的问题排查顺序我总结成三步确认页面是否加载完成在报错前打印driver.getCurrentUrl()和driver.getPageSource().length()如果源码长度很短说明页面根本没加载出来。确认选择器是否正确把driver.getPageSource()存成 HTML 文件用浏览器打开手动验证选择器。确认是否在 iframe 里有些内容嵌套在 iframe 中需要先driver.switchTo().frame()才能定位。6.2 无头模式下的渲染差异我遇到过一次诡异的情况带界面模式能抓到评分无头模式抓不到。后来发现是评分区域有个懒加载逻辑无头模式下视口尺寸不对导致没触发。解决办法是显式设置--window-size1920,1080并且在采集前先driver.executeScript(window.scrollTo(0, document.body.scrollHeight))滚动到底部触发加载。6.3 内存泄漏与资源释放长时间运行的采集程序如果不注意资源释放Chrome 进程会越积越多最后把内存吃满。我的做法是每采集 200 条重启一次 WebDriver。在 finally 块里确保driver.quit()被调用。用driver.manage().deleteAllCookies()定期清理会话。try { // 采集逻辑 } finally { if (count % 200 0) { DriverFactory.quit(); } }6.4 常见问题速查表问题排查方向解决方案启动报驱动版本不匹配WebDriverManager 未生效手动指定驱动路径或升级库版本页面一直加载不完网络慢或资源阻塞设置 pageLoadStrategy 为 eager中文乱码编码不一致统一用 UTF-8Jsoup 解析时指定编码采集速度越来越慢内存泄漏定期重启 driver清理缓存部分字段为空页面结构变化更新选择器增加容错分支最后分享一个我自己的习惯每次采集任务开始前先用 5 条数据做一次“冒烟测试”确认所有字段都能正常提取再放开全量采集。这个习惯帮我省了无数次跑了一半才发现字段全空的尴尬。 
长河君 · 2026/10/14 1:28:23 · 阅读 1.2k Java Selenium 爬取豆瓣读书：动态渲染采集与反爬实战
1. 项目缘起与整体设计思路1.1 为什么选择 Selenium 而不是纯 HTTP 请求做数据采集这行的朋友都有一个共识抓静态页面用 Jsoup 或 HttpClient 就够了又快又省资源。但豆瓣读书这个站点有个特点——它的书籍列表页和详情页大量依赖 JavaScript 动态渲染尤其是分页加载、评分区域、标签云这些模块直接发 HTTP 请求拿到的 HTML 里往往是空的或者不完整的。我最初也试过用 Jsoup 直接解析结果发现拿到的评分数据全是占位符标签信息也缺失严重。所以最终选型锁定在 Selenium 上。Selenium 的本质是驱动一个真实浏览器去加载页面等 JavaScript 执行完毕后再从渲染好的 DOM 里提取数据。这就好比你派了一个“机器人”替你打开浏览器、滚动页面、点击翻页然后把看到的内容抄下来。虽然速度比纯 HTTP 慢但胜在稳定、所见即所得。技术栈组合是这样的组件选型作用语言Java 11主开发语言生态成熟浏览器驱动Selenium WebDriver 4.x控制浏览器行为浏览器Chrome / Chromium实际渲染引擎驱动管理WebDriverManager自动匹配驱动版本HTML 解析Jsoup对渲染后的页面做二次解析数据存储文件 / 数据库按需选择 CSV、JSON 或 MySQL1.2 整体架构拆解整个采集流程我把它拆成四层每层职责单一方便排查问题驱动层负责创建、配置、销毁 WebDriver 实例管理浏览器启动参数。采集层负责打开目标 URL、等待元素加载、翻页、滚动等交互动作。解析层从渲染完成的页面源码中提取书名、作者、评分、简介、标签等字段。存储层把结构化数据写入文件或数据库同时做去重和异常记录。这样分层的好处是如果哪天豆瓣改了页面结构我只需要动解析层如果浏览器驱动升级出问题只查驱动层。各层之间通过 POJO 对象传递数据耦合度低。1.3 目标数据字段定义在动手写代码之前先明确要抓什么。豆瓣读书详情页信息量很大我筛选了以下核心字段书名title作者author出版社publisher出版日期publishDate价格price评分rating评价人数ratingCount内容简介intro标签列表tags书籍详情页 URLurl这些字段基本覆盖了一本书的核心元信息后续做数据分析、推荐系统、书单整理都够用了。2. 环境搭建与核心依赖配置2.1 Java 项目初始化与依赖引入我用 Maven 来管理依赖pom.xml 里核心就三个包selenium-java、webdrivermanager、jsoup。版本选择上有个经验Selenium 4.x 相比 3.x 在 API 上有较大变化网上很多老教程还是 3.x 的写法直接抄会编译不过。建议锁定 4.15 以上的稳定版。dependencies dependency groupIdorg.seleniumhq.selenium/groupId artifactIdselenium-java/artifactId version4.15.0/version /dependency dependency groupIdio.github.bonigarcia/groupId artifactIdwebdrivermanager/artifactId version5.6.2/version /dependency dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.17.1/version /dependency /dependenciesWebDriverManager 这个库值得单独说一下。以前用 Selenium 最头疼的就是浏览器和驱动版本对不上Chrome 一自动更新脚本就跑不起来了。WebDriverManager 会自动检测本地浏览器版本下载匹配的驱动省去了手动维护驱动的麻烦。2.2 Chrome 启动参数调优默认启动的 Chrome 是个带界面的完整浏览器采集时既占资源又容易被检测。我一般会加一组启动参数来优化ChromeOptions options new ChromeOptions(); options.addArguments(--headlessnew); options.addArguments(--disable-gpu); options.addArguments(--no-sandbox); options.addArguments(--disable-dev-shm-usage); options.addArguments(--window-size1920,1080); options.addArguments(--user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36); options.addArguments(--disable-blink-featuresAutomationControlled); options.setExperimentalOption(excludeSwitches, new String[]{enable-automation});逐个解释这些参数的作用--headlessnew无头模式不弹出浏览器窗口资源占用大幅降低。注意 Selenium 4.x 推荐用new形式老的--headless在新版 Chrome 里行为有差异。--disable-gpu禁用 GPU 加速在服务器环境里避免显卡相关报错。--no-sandbox容器环境里必须加否则 Chrome 可能启动失败。--disable-dev-shm-usage避免共享内存不足导致页面崩溃这个在 Docker 里尤其重要。--window-size固定窗口尺寸保证响应式布局下元素位置一致。--user-agent伪装成正常浏览器 UA降低被识别为自动化的概率。--disable-blink-featuresAutomationControlled去掉 navigator.webdriver 标志这是最基础的反检测手段。注意无头模式下某些页面渲染结果和带界面模式略有差异如果发现数据抓不全可以先切回带界面模式调试确认选择器没问题后再切无头。2.3 驱动初始化与全局管理WebDriver 是个重资源对象频繁创建销毁开销很大。我的做法是在整个采集任务开始时创建一个实例任务结束后统一关闭中间复用。public class DriverFactory { private static WebDriver driver; public static WebDriver getDriver() { if (driver null) { WebDriverManager.chromedriver().setup(); ChromeOptions options buildOptions(); driver new ChromeDriver(options); driver.manage().timeouts().pageLoadTimeout(Duration.ofSeconds(30)); driver.manage().timeouts().implicitlyWait(Duration.ofSeconds(5)); } return driver; } public static void quit() { if (driver ! null) { driver.quit(); driver null; } } }这里有个坑要提醒implicitlyWait是全局隐式等待设太长会让每个找不到的元素都白等好几秒拖慢整体速度。我一般设 5 秒具体元素的等待用显式等待来处理。3. 页面采集与数据解析实操3.1 目标页面结构分析动手写代码前一定要先用浏览器开发者工具把页面结构摸清楚。豆瓣读书的书籍列表页比如按标签分类的页面结构大致是这样的每本书是一个li元素class 里带subject-item里面包含封面图、书名链接、出版信息、评分、简介等子元素。详情页的结构又不一样书名在span[propertyv:itemreviewed]评分在strong[propertyv:average]作者和出版社信息在一个div[idinfo]里简介在div[idintro]相关的区块。我的习惯是先把这些选择器记在纸上或者注释里写代码时直接对照避免边写边找。3.2 列表页翻页采集逻辑豆瓣读书列表页的分页是通过 URL 参数控制的格式类似?start0、?start20、?start40每页 20 条。所以翻页不需要真的去点“下一页”按钮直接构造 URL 更稳定。public ListString collectBookUrls(String baseUrl, int maxPages) { ListString urls new ArrayList(); WebDriver driver DriverFactory.getDriver(); for (int page 0; page maxPages; page) { int start page * 20; String pageUrl baseUrl ?start start; driver.get(pageUrl); WebDriverWait wait new WebDriverWait(driver, Duration.ofSeconds(10)); wait.until(ExpectedConditions.presenceOfElementLocated( By.cssSelector(li.subject-item))); ListWebElement items driver.findElements( By.cssSelector(li.subject-item h2 a)); for (WebElement item : items) { String href item.getAttribute(href); if (href ! null !href.isEmpty()) { urls.add(href); } } sleepRandom(1500, 3000); } return urls; }这里有几个关键点显式等待用WebDriverWait等li.subject-item出现确保页面渲染完成再提取比死等固定秒数靠谱。随机延时sleepRandom是我封装的方法在 1.5 到 3 秒之间随机停顿。固定间隔的请求模式太机械随机化更接近真人浏览节奏。URL 去重实际项目里我会用 Set 来存 URL避免同一本书被重复采集。3.3 详情页字段提取详情页的解析我分两步走先用 Selenium 拿到渲染后的完整页面源码再交给 Jsoup 做精细解析。这样做的好处是 Jsoup 的选择器语法比 Selenium 的 By 更灵活处理嵌套结构更顺手。public Book parseDetailPage(String url) { WebDriver driver DriverFactory.getDriver(); driver.get(url); WebDriverWait wait new WebDriverWait(driver, Duration.ofSeconds(10)); wait.until(ExpectedConditions.presenceOfElementLocated( By.cssSelector(span[propertyv:itemreviewed]))); String html driver.getPageSource(); Document doc Jsoup.parse(html); Book book new Book(); book.setUrl(url); book.setTitle(textOrEmpty(doc.selectFirst(span[propertyv:itemreviewed]))); book.setRating(textOrEmpty(doc.selectFirst(strong[propertyv:average]))); book.setRatingCount(textOrEmpty(doc.selectFirst(span[propertyv:votes]))); book.setIntro(extractIntro(doc)); book.setTags(extractTags(doc)); parseInfoBlock(doc, book); return book; }parseInfoBlock是处理作者、出版社、出版日期这些信息的。豆瓣把这些信息塞在一个div[idinfo]里格式是作者: xxx这样的文本行需要用正则或者字符串分割来提取。private void parseInfoBlock(Document doc, Book book) { Element info doc.selectFirst(div#info); if (info null) return; String text info.text(); book.setAuthor(matchPattern(text, 作者[:]\\s*([^\\s]))); book.setPublisher(matchPattern(text, 出版社[:]\\s*([^\\s]))); book.setPublishDate(matchPattern(text, 出版年[:]\\s*([\\d\\-]))); book.setPrice(matchPattern(text, 定价[:]\\s*([\\d.]))); }实操心得豆瓣的 info 区块里作者可能有多个用[^\s]只能匹配第一个。如果需要完整作者列表建议按行分割后逐行判断遇到“作者”开头的行就把后面的内容全部取出来。3.4 简介与标签的容错处理简介和标签是最容易出问题的两个字段。简介有时候是折叠的需要点击“展开”才能看到全文标签有时候为空直接取会抛异常。简介的处理策略是先尝试取完整简介元素取不到就取短简介再取不到就返回空字符串。标签则用select拿到所有a标签的文本拼成逗号分隔的字符串。private String extractIntro(Document doc) { Element full doc.selectFirst(div#intro[class*full]); if (full ! null) return full.text(); Element shortIntro doc.selectFirst(div#intro); return shortIntro ! null ? shortIntro.text() : ; } private String extractTags(Document doc) { Elements tagElements doc.select(div#db-tags-section a); return tagElements.stream() .map(Element::text) .filter(s - !s.isEmpty()) .collect(Collectors.joining(,)); }4. 反爬应对与稳定性优化4.1 请求频率控制策略这是采集项目里最核心的一环。豆瓣对高频访问是有风控的连续快速请求很容易触发验证码或者直接返回 403。我的经验是单次请求间隔不低于 1.5 秒建议 2 到 4 秒随机。每采集 50 到 100 条插入一次 10 到 30 秒的长休息。避免在整点、凌晨等异常时段集中采集模拟正常用户活跃时间。private void sleepRandom(int minMs, int maxMs) { try { int sleep minMs new Random().nextInt(maxMs - minMs); Thread.sleep(sleep); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } }4.2 异常重试与断点续采网络请求失败是常态关键是要有重试机制。我给每个 URL 的采集包了一层重试逻辑最多重试 3 次每次失败后等待时间翻倍。public Book fetchWithRetry(String url, int maxRetry) { for (int i 0; i maxRetry; i) { try { return parseDetailPage(url); } catch (Exception e) { System.err.println(采集失败第 (i 1) 次重试: url); sleepRandom(2000 * (i 1), 4000 * (i 1)); } } return null; }断点续采的思路是每采集完一条就把 URL 写入一个已完成列表文件程序启动时先读取这个文件跳过已完成的 URL。这样即使中途崩溃重启后也不用从头再来。4.3 常见反爬信号识别在采集过程中如果出现以下情况说明可能已经被风控了现象可能原因应对措施页面返回 403IP 被限流降低频率暂停一段时间出现验证码页面行为被判定为异常切换无头模式为带界面手动处理元素定位失败页面结构变化或被重定向检查当前 URL 和页面源码数据为空页面未完全加载增加显式等待时间注意遇到验证码不要硬刚暂停采集是最明智的选择。继续高频请求只会让限制升级。5. 数据存储与后续处理5.1 结构化数据落盘采集到的 Book 对象我一般先存成 JSON 文件方便查看和调试。数据量大了之后再考虑入库。public void saveToJson(ListBook books, String filePath) { ObjectMapper mapper new ObjectMapper(); try { mapper.writerWithDefaultPrettyPrinter() .writeValue(new File(filePath), books); } catch (IOException e) { e.printStackTrace(); } }如果要用 CSV注意简介字段里可能有逗号和换行需要做转义处理否则表格会错乱。我踩过这个坑后来统一用 JSON 就没这问题了。5.2 数据去重与清洗去重主要按书籍 URL 来因为同一本书可能有多个版本但 URL 是唯一的。清洗方面评分字段可能带“评价人数不足”这样的文字需要转成数字或者标记为无效。private String cleanRating(String raw) { if (raw null || raw.isEmpty()) return 0; try { return String.valueOf(Double.parseDouble(raw.trim())); } catch (NumberFormatException e) { return 0; } }5.3 采集结果的简单分析数据拿到手后我习惯做几个基础统计来验证采集质量总条数、有评分的比例、平均评分、标签出现频率 Top 10。这些统计能快速暴露采集是否完整。public void printStats(ListBook books) { long rated books.stream() .filter(b - !0.equals(b.getRating())) .count(); double avg books.stream() .mapToDouble(b - parseDouble(b.getRating())) .filter(v - v 0) .average().orElse(0); System.out.println(总数: books.size()); System.out.println(有评分: rated); System.out.println(平均分: String.format(%.2f, avg)); }6. 踩坑记录与问题排查实录6.1 元素定位失败的排查思路元素定位失败是最高频的问题排查顺序我总结成三步确认页面是否加载完成在报错前打印driver.getCurrentUrl()和driver.getPageSource().length()如果源码长度很短说明页面根本没加载出来。确认选择器是否正确把driver.getPageSource()存成 HTML 文件用浏览器打开手动验证选择器。确认是否在 iframe 里有些内容嵌套在 iframe 中需要先driver.switchTo().frame()才能定位。6.2 无头模式下的渲染差异我遇到过一次诡异的情况带界面模式能抓到评分无头模式抓不到。后来发现是评分区域有个懒加载逻辑无头模式下视口尺寸不对导致没触发。解决办法是显式设置--window-size1920,1080并且在采集前先driver.executeScript(window.scrollTo(0, document.body.scrollHeight))滚动到底部触发加载。6.3 内存泄漏与资源释放长时间运行的采集程序如果不注意资源释放Chrome 进程会越积越多最后把内存吃满。我的做法是每采集 200 条重启一次 WebDriver。在 finally 块里确保driver.quit()被调用。用driver.manage().deleteAllCookies()定期清理会话。try { // 采集逻辑 } finally { if (count % 200 0) { DriverFactory.quit(); } }6.4 常见问题速查表问题排查方向解决方案启动报驱动版本不匹配WebDriverManager 未生效手动指定驱动路径或升级库版本页面一直加载不完网络慢或资源阻塞设置 pageLoadStrategy 为 eager中文乱码编码不一致统一用 UTF-8Jsoup 解析时指定编码采集速度越来越慢内存泄漏定期重启 driver清理缓存部分字段为空页面结构变化更新选择器增加容错分支最后分享一个我自己的习惯每次采集任务开始前先用 5 条数据做一次“冒烟测试”确认所有字段都能正常提取再放开全量采集。这个习惯帮我省了无数次跑了一半才发现字段全空的尴尬。