如何使用 Selenium 正确抓取动态网页中的表格数据

本文详解 selenium 抓取动态加载表格时常见的定位失败问题,提供基于显式等待的健壮解决方案,并修正过时 api 用法,确保稳定获取 `

` 中的行数。

在使用 Selenium 提取动态网页(如 AJAX 渲染的表格)时,直接调用 find_element 很容易因元素尚未加载而抛出 NoSuchElementException。原始代码中尝试通过 //*[@id="result"]/table 定位表格,但目标页面实际并不存在 ID 为 "result" 的容器元素——这是导致异常的根本原因。此外,find_elements_by_tag_name() 已在 Selenium 4+ 中被彻底弃用,必须改用 By.TAG_NAME 配合 find_elements()。

更可靠的做法是:跳过无效中间容器,直接定位页面中唯一的

,并配合显式等待确保 DOM 完全就绪。以下是优化后的完整示例:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 启动浏览器(推荐使用 WebDriver Manager 自动管理驱动版本)
driver = webdriver.Chrome()  # 无需手动指定 chromedriver 路径(需安装 webdriver-manager)
url = "https://draft.shgn.com/nfc/public/dp/788/grid"
driver.get(url)

# 显式等待:等待表格的所有行(
)可见(最多 10 秒) wait = WebDriverWait(driver, 10) table_rows = wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "table tr"))) print(f"成功获取 {len(table_rows)} 行数据") # 如需进一步解析,可遍历每行提取单元格文本: # for row in table_rows: # cells = row.find_elements(By.TAG_NAME, "td") # print([cell.text.strip() for cell in cells]) driver.quit() # 推荐使用 quit() 而非 close(),确保会话彻底释放

关键改进点说明:

  • 移除错误定位器:不再依赖不存在的 #result ID,改用语义明确的 table tr CSS 选择器;
  • 强制显式等待:visibility_of_all_elements_located 确保所有
不仅存在,而且可见、可交互;
  • API 兼容性升级:全面采用 Selenium 4 标准写法(By.* + find_elements),避免 DeprecationWarning;
  • 资源安全释放:使用 driver.quit() 关闭整个浏览器实例,防止后台进程残留。
  • ⚠️ 注意事项:

    • 若页面含 iframe,需先 driver.switch_to.frame(...) 切入对应上下文;
    • 遇到反爬机制(如 Cloudflare 拦截),需添加 options.add_argum

      ent("--disable-blink-features=AutomationControlled") 并隐藏 WebDriver 特征;
    • 生产环境建议搭配 webdriver-manager 自动下载匹配版本驱动,避免路径硬编码与版本不兼容问题。

    通过以上调整,即可稳定、高效地从动态网页中提取表格结构化数据。