如何通过Ajax接口提取Europages网站中动态加载的电话号码_技术教程

本文介绍不依赖selenium，仅用requests和beautifulsoup即可获取europages等现代网站中“点击后才显示”的电话号码——关键在于识别并调用其后台ajax接口。

在网页爬虫实践中，许多企业黄页类网站（如 Europages）为防爬或优化首屏加载，会将敏感信息（如电话、邮箱）延迟加载：页面HTML中不直接包含电话号码，而是通过JavaScript触发Ajax请求，从独立API接口动态获取。此时，单纯使用 requests + BeautifulSoup 解析初始HTML必然失败——因为目标数据根本不存在于返回的HTML源码中。

所幸，这类行为通常遵循可预测的模式。以 Europages 为例，观察其公司详情页URL：

https://www.europages.co.uk/ARTISAN-4-SEASON-PROJECTS/00000005443350-781559001.html

其中末尾的 00000005443350-781559001 是唯一标识符（ID）。通过浏览器开发者工具（Network → XHR/Fetch）可发现，点击“显示电话”按钮时，实际发起的是如下请求：

GET https://www.europages.co.uk/ep-api/v2/epages/00000005443350-781559001/phones

该接口返回标准JSON，结构清晰，无需渲染即可直接解析。

以下是完整、健壮的实现方案（含错误处理与结构化提取）：

import re
import requests

def extract_company_id(url):
    """从Europages公司页URL中安全提取ID片段"""
    match = re.search(r'/(\d+-\d+)\.html$', url)
    if not match:
        raise ValueError("无法从URL中解析公司ID")
    return match.group(1)

def fetch_phone_numbers(url):
    """获取指定Europages公司页的电话号码列表"""
    try:
        company_id = extract_company_id(url)
        api_url = f"https://www.europages.co.uk/ep-api/v2/epages/{company_id}/phones"

        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
        }
        response = requests.get(api_url, headers=headers, timeout=10)
        response.raise_for_status()

        data = response.json()
        phones = []
        for category in data.get("phones", []):
            for item in category.get("items", []):
                number = item.get("number", "").strip()
                if number:
                    phones.append(number)
        return phones

    except requests.exceptions.RequestException as e:
        print(f"网络请求失败: {e}")
        return []
    except ValueError as e:
        print(f"URL解析错误: {e}")
        return []
    except Exception as e:
        print(f"解析响应时出错: {e}")
        return []

# 使用示例
url = "https://www.europages.co.uk/ARTISAN-4-SEASON-PROJECTS/00000005443350-781559001.html"
phone_list = fetch_phone_numbers(url)
print("电话号码:", phone_list)
# 输出示例: ['+90 216 XXX XX XX']