简介本资源是一套面向Java开发者与自动化测试初学者的Selenium爬虫实战教学包聚焦浏览器自动化采集场景解决Chrome版本与驱动器严格匹配难、环境配置易出错、代码调试无参照等典型痛点。资源共56个文件涵盖9个核心Java源码、9个编译后class文件、12个配套JS脚本用于页面交互增强、2个MP4演示视频含完整运行流程与异常处理实录、以及多平台适配的Chrome 118.0.5958.0测试版和Chromedriver 118.0.5958.0驱动包含win/mac/linux全架构zip辅以结构清晰的Selenium学习笔记Markdown与项目工程配置pom.xml、properties、xml等。压缩包整体706.55MB目录按study-selenium、chrome、chromedriver、src、video等模块组织开箱即用。目前已有121人学习下载适合希望从零掌握JavaSelenium动态网页抓取、理解驱动版本协同机制并获得可复现操作范例的实践者。1. 基于 Selenium 的 Java 爬虫实战不是“写个 WebDriver 就能跑”而是把 Chrome 118.0.5958.0 Chromedriver 118 配齐、跑通、不崩在启动页的完整闭环你有没有试过明明 Maven 里加了selenium-java4.11ChromeDriver类也 new 出来了ChromeOptions也 set 了--headlessnew结果一执行driver.get(https://example.com)控制台就卡住三秒然后抛出org.openqa.selenium.SessionNotCreatedException: Could not start a new session翻遍 Stack Overflow答案全是“版本不匹配”——但没人告诉你Chrome 118 和 Chromedriver 118.0.5958.0 这对组合连官方下载页都已下架主流 Maven 仓库根本没收录对应 driver 版本必须手动绑定二进制、绕过自动管理、禁用自动更新、甚至得改启动参数才能活过第一页加载。这份资源不是教你怎么写findElement(By.id())而是把从 Chrome 浏览器二进制落地、到驱动解压校验、再到 Java 工程里System.setProperty()的每一步路径都压平附带实测通过的pom.xml依赖锁、readme.txt里的 7 条启动守则、以及演示视频里那个真实翻车又救回来的TimeoutException场景。适合正在被“浏览器打不开”卡在第一关的 Java 开发者、需要交付稳定自动化脚本的测试工程师以及想拿真实环境练手、拒绝“Hello World 式 Selenium 教程”的在校学生。2. Chrome 118.0.5958.0 与 Chromedriver 118 的绑定逻辑为什么不能靠WebDriverManager自动下载Selenium 4.x 后很多教程默认推荐WebDriverManagerWDM自动拉取驱动。但 WDM 的版本映射表是按 Chrome稳定版Stable Channel构建的而本资源中的118.0.5958.0是 Chrome测试版Beta/Dev Channel的一个特定构建号——它不在 WDM 的chromeversions.json白名单里。强行调用WebDriverManager.chromedriver().setup()会触发 fallback 到旧版驱动如 117.x导致SessionNotCreatedException: chrome not reachable。这不是代码问题是生态断层。真实项目中当你接手一个遗留爬虫系统对方只给你一个chromedriver-win64.zip和一句“用这个版本”你就必须亲手接管整个二进制生命周期。本资源把这套“手动绑定”拆成三步定位、校验、注入。2.1 Chrome 二进制文件的平台化落地与静默安装策略资源包中提供了全平台 Chrome 118.0.5958.0 的预编译包chrome-win32.zip、chrome-win64.zip、chrome-linux64.zip、chrome-mac-x64.zip、chrome-mac-arm64.zip。注意这些不是安装程序.exe/.dmg而是便携版Portable二进制目录。以 Windows 为例解压chrome-win64.zip后得到chrome-win64\chrome.exe这就是可直接执行的主程序。关键点在于它不写注册表、不创建开始菜单、不自动更新——这正是自动化场景需要的确定性。Linux 下需赋予执行权限unzip chrome-linux64.zip chmod x chrome-linux64/chromemacOS 用户需绕过“无法验证开发者”的 Gatekeeper 拦截这是测试版的正常现象xattr -d com.apple.quarantine chrome-mac-x64/Chromium.app # 或针对 ARM 芯片 Mac xattr -d com.apple.quarantine chrome-mac-arm64/Chromium.app提示chrome-win32.zip仅适用于 32 位 JVM现代开发环境几乎不用chrome-win64.zip对应 64 位 JVM是 Windows 主力选择。务必确认你的java -version输出含64-Bit否则会报CreateProcess error193, %1 is not a valid Win32 application。2.2 Chromedriver 118.0.5958.0 的校验与路径注入Chromedriver 必须与 Chrome 主程序精确匹配构建号Build Number而非仅主版本号。118.0.5958.0中的5958.0是构建标识差一位都会失败。资源包中chromedriver-win64.zip解压后为chromedriver.exeLinux 为chromedrivermacOS 为chromedriver无扩展名。校验方式以 Windows 为例# PowerShell 中查看 driver 版本 .\chromedriver.exe --version # 正确输出应为ChromeDriver 118.0.5958.0 (xxxxxx)Java 中必须显式设置系统属性不能依赖PATH环境变量尤其在 CI/CD 容器中不可靠// 在 new ChromeDriver() 之前执行 String chromeDriverPath D:/project/chromedriver-win64/chromedriver.exe; System.setProperty(webdriver.chrome.driver, chromeDriverPath);Maven 工程中建议将 driver 文件放在src/main/resources/drivers/下并用类路径读取URL driverUrl getClass().getClassLoader().getResource(drivers/chromedriver.exe); String driverPath driverUrl.toURI().getPath(); System.setProperty(webdriver.chrome.driver, driverPath);这样打包成 JAR 后仍可定位需配合maven-resources-plugin确保 resources 目录被复制。2.3 ChromeOptions 的最小必要参数集绕过沙箱、禁用 GPU、规避 DevTools 协议冲突Chrome 118 默认启用更严格的沙箱策略而 Selenium 启动时若未显式禁用会在 Linux 容器或某些 Windows 组策略下直接崩溃。ChromeOptions不是越写越多越好而是只保留让进程活下来的参数ChromeOptions options new ChromeOptions(); options.addArguments(--no-sandbox); // 必加禁用沙箱Linux 容器刚需 options.addArguments(--disable-dev-shm-usage); // 必加避免 /dev/shm 空间不足 options.addArguments(--disable-gpu); // 必加禁用 GPU 加速Windows/Linux 通用 options.addArguments(--remote-allow-origins*); // 必加Chrome 111 新增允许远程调试 options.setBinary(D:/project/chrome-win64/chrome.exe); // 必加显式指定 Chrome 二进制路径注意--headlessnew在 Chrome 118 中已稳定但若需截图或 PDF 导出仍建议先用--headlessold测试兼容性--disable-extensions和--disable-plugins属于可选优化项非启动必需。3. Java 工程结构解析从pom.xml锁定依赖到src中的真实爬虫链路本资源的study-selenium是一个标准 Maven 多模块结构但核心在emps模块即emp的复数代表 Employee 数据抓取 Demo。它不是玩具项目而是模拟某企业内网员工信息页的分页爬取登录 → 输入工号 → 解析 HTML 表格 → 提取姓名/部门/职级 → 写入 CSV。所有代码均基于 Java 11 编写无 Spring Boot 依赖纯 JDK Selenium确保最小侵入性。3.1pom.xml的关键依赖与版本锁定策略pom.xml中最易被忽略的是selenium-java与selenium-chrome-driver的版本一致性。本项目使用dependency groupIdorg.seleniumhq.selenium/groupId artifactIdselenium-java/artifactId version4.11.0/version /dependency !-- 显式排除 selenium-chrome-driver 的传递依赖防止版本漂移 -- exclusion groupIdorg.seleniumhq.selenium/groupId artifactIdselenium-chrome-driver/artifactId /exclusion为什么排除因为selenium-java:4.11.0默认依赖selenium-chrome-driver:4.11.0但它内置的 driver 版本是117.0.5938.0与本资源的118.0.5958.0冲突。我们选择完全剥离 driver 的 Maven 管理由工程外挂载二进制。同时添加commons-io用于文件写入junit-jupiter用于测试dependency groupIdcommons-io/groupId artifactIdcommons-io/artifactId version2.11.0/version /dependency dependency groupIdorg.junit.jupiter/groupId artifactIdjunit-jupiter/artifactId version5.9.3/version scopetest/scope /dependency注意target目录被.gitignore排除说明本项目不提交编译产物src/main/resources下的application.properties为空表明无外部配置中心依赖——所有参数硬编码在 Java 类中便于新手理解数据流向。3.2src/main/java中的核心爬虫类EmployeeCrawler.java的四层职责EmployeeCrawler.java是主业务类它不继承任何框架基类完全自主控制 WebDriver 生命周期。其结构体现真实工程思维初始化层构造函数接收ChromeOptions和TimeUnit.SECONDS超时单位支持外部传参定制导航层navigateToLoginPage()方法封装driver.get()driver.findElement().click()并加入FluentWait等待登录按钮可点击交互层inputEmployeeId(String id)使用sendKeys()后显式调用submit()而非依赖回车键规避某些页面 JS 拦截解析层parseEmployeeTable()用findElements(By.xpath(//table/tbody/tr))获取行集合再逐行findElement(By.cssSelector(td:nth-child(2)))提取姓名避免正则解析 HTML玄学操作稳定性差。关键代码段带生产级健壮性public ListEmployee parseEmployeeTable() { WebDriverWait wait new WebDriverWait(driver, Duration.ofSeconds(10)); // 等待表格主体加载完成而非整个页面 wait.until(ExpectedConditions.presenceOfElementLocated(By.xpath(//table[idemp-table]/tbody))); ListWebElement rows driver.findElements(By.xpath(//table[idemp-table]/tbody/tr)); ListEmployee employees new ArrayList(); for (WebElement row : rows) { try { // 每行提取 3 列姓名、部门、职级用 try-catch 防止单行解析失败中断全部 String name row.findElement(By.cssSelector(td:nth-child(1))).getText().trim(); String dept row.findElement(By.cssSelector(td:nth-child(2))).getText().trim(); String level row.findElement(By.cssSelector(td:nth-child(3))).getText().trim(); employees.add(new Employee(name, dept, level)); } catch (NoSuchElementException e) { // 日志记录异常行继续下一行 System.err.println(Skip malformed row: row.getText()); } } return employees; }3.3Selenium学习笔记.md的实战价值不是语法罗列而是 17 个血泪经验这份.md文件不是 API 文档搬运而是某开发者在调试118.0.5958.0时记下的原始日志。例如经验 #5--remote-debugging-port9222与--remote-allow-origins*必须共存现象开启调试端口后driver.get()报net::ERR_CONNECTION_REFUSED原因Chrome 118 默认阻止跨域调试请求解决两个参数缺一不可且--remote-allow-origins*必须在--remote-debugging-port之后。经验 #12Linux 下--no-sandbox不够还需--disable-setuid-sandbox现象容器内启动 Chrome 报Failed to move to new namespace: PID namespaces supported, Network namespace supported, but failed: errno Operation not permitted原因容器默认禁用setuid解决追加--disable-setuid-sandbox。经验 #17driver.quit()有时不释放 Chrome 进程需Runtime.getRuntime().exec(taskkill /F /IM chrome.exe)强杀Windows这是真实存在的资源泄漏尤其在try-catch-finally中quit()被异常跳过时。4. 常见问题排查Chrome 118 Selenium Java 的五个典型翻车现场Selenium 爬虫的失败往往发生在“看不见”的底层进程通信、共享内存、协议握手。以下问题均来自资源包中演示视频.mp4实际录制过程非理论推测。4.1 现象SessionNotCreatedException: Could not start a new session日志末尾显示DevToolsActivePort file doesnt exist原因Chrome 启动后未能成功创建 DevTools 协议端口文件DevToolsActivePort常见于--no-sandbox缺失Linux、--remote-allow-origins*缺失Chrome 111、或 Chrome 二进制路径错误setBinary()指向了文件夹而非.exe。解决检查ChromeOptions.setBinary()是否指向chrome.exeWindows或chromeLinux/macOS而非目录确认--no-sandbox和--remote-allow-origins*均已添加Windows 下用Process Explorer查看chrome.exe进程是否真被拉起有时静默失败。4.2 现象TimeoutException卡在driver.get(https://xxx)30 秒后超时但浏览器窗口已打开并显示白屏原因Chrome 118 默认启用site-per-process模式若目标网站有重定向链如 HTTP → HTTPS → 登录页且其中某跳触发证书错误如自签名证书Chrome 会阻塞在安全警告页Selenium 无法继续。解决添加--ignore-certificate-errors参数若为内网地址追加--unsafely-treat-insecure-origin-as-securehttp://intranet和--user-data-dir/tmp/chrome-user-data避免复用默认 profile终极方案改用driver.navigate().to()替代get()并配合ExpectedConditions.urlContains()等待实际跳转完成。4.3 现象ElementClickInterceptedException元素明明可见却报“被其他元素遮挡”原因Chrome 118 渲染引擎对z-index和transform的计算更严格某些 CSS 动画如opacity: 0 → 1会导致元素在 DOM 中存在但视觉不可点。解决改用JavascriptExecutor执行点击((JavascriptExecutor) driver).executeScript(arguments[0].click();, element);或等待元素不仅可见且isDisplayed()返回true后再操作检查是否有div#overlay类浮层未隐藏需先findElement(By.id(overlay)).click()关闭。4.4 现象Linux 容器中chrome进程启动后立即退出dmesg显示Out of memory: Kill process 12345 (chrome) score 850 or sacrifice child原因Chrome 118 内存占用激增容器内存限制如 Docker-m 512m不足被 OOM Killer 杀死。解决容器内存至少设为1g启动参数追加--memory-limit512单位 MB添加--disable-featuresVizDisplayCompositor降低渲染负载。4.5 现象macOS M1/M2 芯片上chromedriver-mac-arm64.zip解压后执行报Bad CPU type in executable原因JVM 架构与 driver 不匹配。若用 Intel JVMx64运行 ARM64 driver会报此错。解决运行java -version确认 JVM 架构含aarch64为 ARMamd64为 x64ARM64 JVM 必须配chromedriver-mac-arm64.zip若只有 x64 JVM改用chromedriver-mac-x64.zip并确保 Chrome 二进制也是chrome-mac-x64.zip非 ARM 版。5. 进阶技巧用Chrome DevTools ProtocolCDP绕过前端反爬与动态加载瓶颈当目标网站启用navigator.webdriver true检测、或关键数据藏在 XHR 响应里非 HTML 源码传统findElement就失效了。Chrome 118 内置 CDP可通过 Selenium 4.11 的DevTools接口直连实现比JavascriptExecutor更底层的操控。本资源src/test/java中的CdpTest.java演示了三个真实场景。5.1 禁用navigator.webdriver检测注入 CDP 命令覆盖 JS 属性网站常通过if (navigator.webdriver) { alert(bot); }拦截。Selenium 默认启用webdriver标识但 CDP 可在页面加载前注入脚本覆盖DevTools devTools ((HasDevTools) driver).getDevTools(); devTools.createSession(); // 在页面加载前执行覆盖 navigator.webdriver devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty())); devTools.send(Page.addScriptToEvaluateOnNewDocument( Object.defineProperty(navigator, webdriver, {get: () undefined}) ));注意此操作必须在driver.get()之前完成且addScriptToEvaluateOnNewDocument是一次性注入新页面自动生效。5.2 拦截并捕获 XHR 请求获取 JSON API 响应体某页面用fetch(/api/employees)加载数据HTML 中无对应内容。用 CDP 监听网络请求devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty())); devTools.addListener(Network.responseReceived(), response - { if (response.getResponse().getUrl().contains(/api/employees)) { // 获取响应体 Network.GetResponseBodyResponse body devTools.send(Network.getResponseBody( response.getRequestId() )); System.out.println(API Response: body.getBody()); } });5.3 模拟真实用户行为CDP 控制鼠标移动轨迹与按键延迟Actions类的moveToElement()是瞬移易被识别。CDP 可模拟贝塞尔曲线移动devTools.send(Emulation.setTouchEmulationEnabled(true)); // 启用触控模式 devTools.send(Input.synthesizeGestureTap( Input.GestureSourceType.TOUCH, 500, 300, // x, y 坐标 100, // 持续时间 ms 1 // 指尖数量 ));从那以后我每次写爬虫只要涉及反爬检测第一件事就是打开Selenium学习笔记.md查 CDP 相关条目第二件事是chrome://version确认当前 Chrome 构建号第三件事是chromedriver --version校验驱动号——三者必须一字不差。哪怕只是临时调试我也强制走一遍pom.xml依赖检查、ChromeOptions参数核对、System.setProperty路径验证。这套流程不是仪式感是把“版本地狱”压缩成可重复的 checklist。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/22 7:54:33 · 阅读 1.2k Chrome 118 + Selenium Java 爬虫实战：驱动绑定、参数调优与CDP反爬
简介本资源是一套面向Java开发者与自动化测试初学者的Selenium爬虫实战教学包聚焦浏览器自动化采集场景解决Chrome版本与驱动器严格匹配难、环境配置易出错、代码调试无参照等典型痛点。资源共56个文件涵盖9个核心Java源码、9个编译后class文件、12个配套JS脚本用于页面交互增强、2个MP4演示视频含完整运行流程与异常处理实录、以及多平台适配的Chrome 118.0.5958.0测试版和Chromedriver 118.0.5958.0驱动包含win/mac/linux全架构zip辅以结构清晰的Selenium学习笔记Markdown与项目工程配置pom.xml、properties、xml等。压缩包整体706.55MB目录按study-selenium、chrome、chromedriver、src、video等模块组织开箱即用。目前已有121人学习下载适合希望从零掌握JavaSelenium动态网页抓取、理解驱动版本协同机制并获得可复现操作范例的实践者。1. 基于 Selenium 的 Java 爬虫实战不是“写个 WebDriver 就能跑”而是把 Chrome 118.0.5958.0 Chromedriver 118 配齐、跑通、不崩在启动页的完整闭环你有没有试过明明 Maven 里加了selenium-java4.11ChromeDriver类也 new 出来了ChromeOptions也 set 了--headlessnew结果一执行driver.get(https://example.com)控制台就卡住三秒然后抛出org.openqa.selenium.SessionNotCreatedException: Could not start a new session翻遍 Stack Overflow答案全是“版本不匹配”——但没人告诉你Chrome 118 和 Chromedriver 118.0.5958.0 这对组合连官方下载页都已下架主流 Maven 仓库根本没收录对应 driver 版本必须手动绑定二进制、绕过自动管理、禁用自动更新、甚至得改启动参数才能活过第一页加载。这份资源不是教你怎么写findElement(By.id())而是把从 Chrome 浏览器二进制落地、到驱动解压校验、再到 Java 工程里System.setProperty()的每一步路径都压平附带实测通过的pom.xml依赖锁、readme.txt里的 7 条启动守则、以及演示视频里那个真实翻车又救回来的TimeoutException场景。适合正在被“浏览器打不开”卡在第一关的 Java 开发者、需要交付稳定自动化脚本的测试工程师以及想拿真实环境练手、拒绝“Hello World 式 Selenium 教程”的在校学生。2. Chrome 118.0.5958.0 与 Chromedriver 118 的绑定逻辑为什么不能靠WebDriverManager自动下载Selenium 4.x 后很多教程默认推荐WebDriverManagerWDM自动拉取驱动。但 WDM 的版本映射表是按 Chrome稳定版Stable Channel构建的而本资源中的118.0.5958.0是 Chrome测试版Beta/Dev Channel的一个特定构建号——它不在 WDM 的chromeversions.json白名单里。强行调用WebDriverManager.chromedriver().setup()会触发 fallback 到旧版驱动如 117.x导致SessionNotCreatedException: chrome not reachable。这不是代码问题是生态断层。真实项目中当你接手一个遗留爬虫系统对方只给你一个chromedriver-win64.zip和一句“用这个版本”你就必须亲手接管整个二进制生命周期。本资源把这套“手动绑定”拆成三步定位、校验、注入。2.1 Chrome 二进制文件的平台化落地与静默安装策略资源包中提供了全平台 Chrome 118.0.5958.0 的预编译包chrome-win32.zip、chrome-win64.zip、chrome-linux64.zip、chrome-mac-x64.zip、chrome-mac-arm64.zip。注意这些不是安装程序.exe/.dmg而是便携版Portable二进制目录。以 Windows 为例解压chrome-win64.zip后得到chrome-win64\chrome.exe这就是可直接执行的主程序。关键点在于它不写注册表、不创建开始菜单、不自动更新——这正是自动化场景需要的确定性。Linux 下需赋予执行权限unzip chrome-linux64.zip chmod x chrome-linux64/chromemacOS 用户需绕过“无法验证开发者”的 Gatekeeper 拦截这是测试版的正常现象xattr -d com.apple.quarantine chrome-mac-x64/Chromium.app # 或针对 ARM 芯片 Mac xattr -d com.apple.quarantine chrome-mac-arm64/Chromium.app提示chrome-win32.zip仅适用于 32 位 JVM现代开发环境几乎不用chrome-win64.zip对应 64 位 JVM是 Windows 主力选择。务必确认你的java -version输出含64-Bit否则会报CreateProcess error193, %1 is not a valid Win32 application。2.2 Chromedriver 118.0.5958.0 的校验与路径注入Chromedriver 必须与 Chrome 主程序精确匹配构建号Build Number而非仅主版本号。118.0.5958.0中的5958.0是构建标识差一位都会失败。资源包中chromedriver-win64.zip解压后为chromedriver.exeLinux 为chromedrivermacOS 为chromedriver无扩展名。校验方式以 Windows 为例# PowerShell 中查看 driver 版本 .\chromedriver.exe --version # 正确输出应为ChromeDriver 118.0.5958.0 (xxxxxx)Java 中必须显式设置系统属性不能依赖PATH环境变量尤其在 CI/CD 容器中不可靠// 在 new ChromeDriver() 之前执行 String chromeDriverPath D:/project/chromedriver-win64/chromedriver.exe; System.setProperty(webdriver.chrome.driver, chromeDriverPath);Maven 工程中建议将 driver 文件放在src/main/resources/drivers/下并用类路径读取URL driverUrl getClass().getClassLoader().getResource(drivers/chromedriver.exe); String driverPath driverUrl.toURI().getPath(); System.setProperty(webdriver.chrome.driver, driverPath);这样打包成 JAR 后仍可定位需配合maven-resources-plugin确保 resources 目录被复制。2.3 ChromeOptions 的最小必要参数集绕过沙箱、禁用 GPU、规避 DevTools 协议冲突Chrome 118 默认启用更严格的沙箱策略而 Selenium 启动时若未显式禁用会在 Linux 容器或某些 Windows 组策略下直接崩溃。ChromeOptions不是越写越多越好而是只保留让进程活下来的参数ChromeOptions options new ChromeOptions(); options.addArguments(--no-sandbox); // 必加禁用沙箱Linux 容器刚需 options.addArguments(--disable-dev-shm-usage); // 必加避免 /dev/shm 空间不足 options.addArguments(--disable-gpu); // 必加禁用 GPU 加速Windows/Linux 通用 options.addArguments(--remote-allow-origins*); // 必加Chrome 111 新增允许远程调试 options.setBinary(D:/project/chrome-win64/chrome.exe); // 必加显式指定 Chrome 二进制路径注意--headlessnew在 Chrome 118 中已稳定但若需截图或 PDF 导出仍建议先用--headlessold测试兼容性--disable-extensions和--disable-plugins属于可选优化项非启动必需。3. Java 工程结构解析从pom.xml锁定依赖到src中的真实爬虫链路本资源的study-selenium是一个标准 Maven 多模块结构但核心在emps模块即emp的复数代表 Employee 数据抓取 Demo。它不是玩具项目而是模拟某企业内网员工信息页的分页爬取登录 → 输入工号 → 解析 HTML 表格 → 提取姓名/部门/职级 → 写入 CSV。所有代码均基于 Java 11 编写无 Spring Boot 依赖纯 JDK Selenium确保最小侵入性。3.1pom.xml的关键依赖与版本锁定策略pom.xml中最易被忽略的是selenium-java与selenium-chrome-driver的版本一致性。本项目使用dependency groupIdorg.seleniumhq.selenium/groupId artifactIdselenium-java/artifactId version4.11.0/version /dependency !-- 显式排除 selenium-chrome-driver 的传递依赖防止版本漂移 -- exclusion groupIdorg.seleniumhq.selenium/groupId artifactIdselenium-chrome-driver/artifactId /exclusion为什么排除因为selenium-java:4.11.0默认依赖selenium-chrome-driver:4.11.0但它内置的 driver 版本是117.0.5938.0与本资源的118.0.5958.0冲突。我们选择完全剥离 driver 的 Maven 管理由工程外挂载二进制。同时添加commons-io用于文件写入junit-jupiter用于测试dependency groupIdcommons-io/groupId artifactIdcommons-io/artifactId version2.11.0/version /dependency dependency groupIdorg.junit.jupiter/groupId artifactIdjunit-jupiter/artifactId version5.9.3/version scopetest/scope /dependency注意target目录被.gitignore排除说明本项目不提交编译产物src/main/resources下的application.properties为空表明无外部配置中心依赖——所有参数硬编码在 Java 类中便于新手理解数据流向。3.2src/main/java中的核心爬虫类EmployeeCrawler.java的四层职责EmployeeCrawler.java是主业务类它不继承任何框架基类完全自主控制 WebDriver 生命周期。其结构体现真实工程思维初始化层构造函数接收ChromeOptions和TimeUnit.SECONDS超时单位支持外部传参定制导航层navigateToLoginPage()方法封装driver.get()driver.findElement().click()并加入FluentWait等待登录按钮可点击交互层inputEmployeeId(String id)使用sendKeys()后显式调用submit()而非依赖回车键规避某些页面 JS 拦截解析层parseEmployeeTable()用findElements(By.xpath(//table/tbody/tr))获取行集合再逐行findElement(By.cssSelector(td:nth-child(2)))提取姓名避免正则解析 HTML玄学操作稳定性差。关键代码段带生产级健壮性public ListEmployee parseEmployeeTable() { WebDriverWait wait new WebDriverWait(driver, Duration.ofSeconds(10)); // 等待表格主体加载完成而非整个页面 wait.until(ExpectedConditions.presenceOfElementLocated(By.xpath(//table[idemp-table]/tbody))); ListWebElement rows driver.findElements(By.xpath(//table[idemp-table]/tbody/tr)); ListEmployee employees new ArrayList(); for (WebElement row : rows) { try { // 每行提取 3 列姓名、部门、职级用 try-catch 防止单行解析失败中断全部 String name row.findElement(By.cssSelector(td:nth-child(1))).getText().trim(); String dept row.findElement(By.cssSelector(td:nth-child(2))).getText().trim(); String level row.findElement(By.cssSelector(td:nth-child(3))).getText().trim(); employees.add(new Employee(name, dept, level)); } catch (NoSuchElementException e) { // 日志记录异常行继续下一行 System.err.println(Skip malformed row: row.getText()); } } return employees; }3.3Selenium学习笔记.md的实战价值不是语法罗列而是 17 个血泪经验这份.md文件不是 API 文档搬运而是某开发者在调试118.0.5958.0时记下的原始日志。例如经验 #5--remote-debugging-port9222与--remote-allow-origins*必须共存现象开启调试端口后driver.get()报net::ERR_CONNECTION_REFUSED原因Chrome 118 默认阻止跨域调试请求解决两个参数缺一不可且--remote-allow-origins*必须在--remote-debugging-port之后。经验 #12Linux 下--no-sandbox不够还需--disable-setuid-sandbox现象容器内启动 Chrome 报Failed to move to new namespace: PID namespaces supported, Network namespace supported, but failed: errno Operation not permitted原因容器默认禁用setuid解决追加--disable-setuid-sandbox。经验 #17driver.quit()有时不释放 Chrome 进程需Runtime.getRuntime().exec(taskkill /F /IM chrome.exe)强杀Windows这是真实存在的资源泄漏尤其在try-catch-finally中quit()被异常跳过时。4. 常见问题排查Chrome 118 Selenium Java 的五个典型翻车现场Selenium 爬虫的失败往往发生在“看不见”的底层进程通信、共享内存、协议握手。以下问题均来自资源包中演示视频.mp4实际录制过程非理论推测。4.1 现象SessionNotCreatedException: Could not start a new session日志末尾显示DevToolsActivePort file doesnt exist原因Chrome 启动后未能成功创建 DevTools 协议端口文件DevToolsActivePort常见于--no-sandbox缺失Linux、--remote-allow-origins*缺失Chrome 111、或 Chrome 二进制路径错误setBinary()指向了文件夹而非.exe。解决检查ChromeOptions.setBinary()是否指向chrome.exeWindows或chromeLinux/macOS而非目录确认--no-sandbox和--remote-allow-origins*均已添加Windows 下用Process Explorer查看chrome.exe进程是否真被拉起有时静默失败。4.2 现象TimeoutException卡在driver.get(https://xxx)30 秒后超时但浏览器窗口已打开并显示白屏原因Chrome 118 默认启用site-per-process模式若目标网站有重定向链如 HTTP → HTTPS → 登录页且其中某跳触发证书错误如自签名证书Chrome 会阻塞在安全警告页Selenium 无法继续。解决添加--ignore-certificate-errors参数若为内网地址追加--unsafely-treat-insecure-origin-as-securehttp://intranet和--user-data-dir/tmp/chrome-user-data避免复用默认 profile终极方案改用driver.navigate().to()替代get()并配合ExpectedConditions.urlContains()等待实际跳转完成。4.3 现象ElementClickInterceptedException元素明明可见却报“被其他元素遮挡”原因Chrome 118 渲染引擎对z-index和transform的计算更严格某些 CSS 动画如opacity: 0 → 1会导致元素在 DOM 中存在但视觉不可点。解决改用JavascriptExecutor执行点击((JavascriptExecutor) driver).executeScript(arguments[0].click();, element);或等待元素不仅可见且isDisplayed()返回true后再操作检查是否有div#overlay类浮层未隐藏需先findElement(By.id(overlay)).click()关闭。4.4 现象Linux 容器中chrome进程启动后立即退出dmesg显示Out of memory: Kill process 12345 (chrome) score 850 or sacrifice child原因Chrome 118 内存占用激增容器内存限制如 Docker-m 512m不足被 OOM Killer 杀死。解决容器内存至少设为1g启动参数追加--memory-limit512单位 MB添加--disable-featuresVizDisplayCompositor降低渲染负载。4.5 现象macOS M1/M2 芯片上chromedriver-mac-arm64.zip解压后执行报Bad CPU type in executable原因JVM 架构与 driver 不匹配。若用 Intel JVMx64运行 ARM64 driver会报此错。解决运行java -version确认 JVM 架构含aarch64为 ARMamd64为 x64ARM64 JVM 必须配chromedriver-mac-arm64.zip若只有 x64 JVM改用chromedriver-mac-x64.zip并确保 Chrome 二进制也是chrome-mac-x64.zip非 ARM 版。5. 进阶技巧用Chrome DevTools ProtocolCDP绕过前端反爬与动态加载瓶颈当目标网站启用navigator.webdriver true检测、或关键数据藏在 XHR 响应里非 HTML 源码传统findElement就失效了。Chrome 118 内置 CDP可通过 Selenium 4.11 的DevTools接口直连实现比JavascriptExecutor更底层的操控。本资源src/test/java中的CdpTest.java演示了三个真实场景。5.1 禁用navigator.webdriver检测注入 CDP 命令覆盖 JS 属性网站常通过if (navigator.webdriver) { alert(bot); }拦截。Selenium 默认启用webdriver标识但 CDP 可在页面加载前注入脚本覆盖DevTools devTools ((HasDevTools) driver).getDevTools(); devTools.createSession(); // 在页面加载前执行覆盖 navigator.webdriver devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty())); devTools.send(Page.addScriptToEvaluateOnNewDocument( Object.defineProperty(navigator, webdriver, {get: () undefined}) ));注意此操作必须在driver.get()之前完成且addScriptToEvaluateOnNewDocument是一次性注入新页面自动生效。5.2 拦截并捕获 XHR 请求获取 JSON API 响应体某页面用fetch(/api/employees)加载数据HTML 中无对应内容。用 CDP 监听网络请求devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty())); devTools.addListener(Network.responseReceived(), response - { if (response.getResponse().getUrl().contains(/api/employees)) { // 获取响应体 Network.GetResponseBodyResponse body devTools.send(Network.getResponseBody( response.getRequestId() )); System.out.println(API Response: body.getBody()); } });5.3 模拟真实用户行为CDP 控制鼠标移动轨迹与按键延迟Actions类的moveToElement()是瞬移易被识别。CDP 可模拟贝塞尔曲线移动devTools.send(Emulation.setTouchEmulationEnabled(true)); // 启用触控模式 devTools.send(Input.synthesizeGestureTap( Input.GestureSourceType.TOUCH, 500, 300, // x, y 坐标 100, // 持续时间 ms 1 // 指尖数量 ));从那以后我每次写爬虫只要涉及反爬检测第一件事就是打开Selenium学习笔记.md查 CDP 相关条目第二件事是chrome://version确认当前 Chrome 构建号第三件事是chromedriver --version校验驱动号——三者必须一字不差。哪怕只是临时调试我也强制走一遍pom.xml依赖检查、ChromeOptions参数核对、System.setProperty路径验证。这套流程不是仪式感是把“版本地狱”压缩成可重复的 checklist。希望帮到你。本文还有配套的精品资源点击获取