Python爬虫如何抓取政府公开数据_Python爬虫获取政府网站开放数据的实战教程_技术教程

首先确认目标网站数据合法性并遵守robots协议，接着分析网页结构定位所需信息；使用Python的requests和BeautifulSoup库发送请求并解析HTML，提取标题、日期、链接等字段；通过设置请求头、延时和异常处理避免反爬；最后将多页数据保存为CSV文件，实现合规高效的数据采集。

政府网站上有很多公开数据，比如政策文件、项目招标、企业注册信息等，这些数据对研究、分析和商业决策很有价值。用Python爬虫抓取这些数据，既合法又有实际意义，前提是遵守网站的robots协议和使用规范。下面是一个实战教程，带你一步步实现如何用Python获取政府网站的开放数据。

确认目标网站与数据合法性

在动手写代码前，先明确你要抓取的是哪个政府网站，例如“国家企业信用信息公示系统”或“中国政府采购网”。查看网站根目录下的robots.txt文件（如：http://xxx.gov.cn/robots.txt），确认是否允许爬虫访问相关页面。

同时注意：

不抓取需要登录或权限认证的数据
避免高频请求，设置合理延时（如time.sleep(1~3)）
尊重版权，仅用于个人学习或合规用途

分析网页结构并定位数据

以“中国政府采购网”为例，假设你想抓取某类采购公告的标题、发布时间和链接。

打开目标列表页，右键“检查”元素，找到包含公告信息的HTML结构。通常这类数据在

或/
中，每条记录有共同的class或标签。示例结构可能如下：

  
    某设备采购项目
    2025-05-01
  

你可以用BeautifulSoup或lxml解析HTML，提取所需字段。
编写爬虫代码示例
以下是一个简单的Python爬虫脚本，使用requests和BeautifulSoup抓取列表页数据：
import requests
from bs4 import BeautifulSoup
import time
import csv
url = "https://www./link/3664940859edd8b28137801625a24524"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
def scrape_page(url):
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'html.parser')
    items = soup.select('.notice-list li')
    data = []
    for item in items:
        link_tag = item.find('a')
        title = link_tag.get_text(strip=True)
        href = link_tag['href']
        full_url = f"http://www.ccgp.gov.cn{href}" if href.startswith('/') else href
        date_tag = item.find('span', class_='date')
        date = date_tag.get_text(strip=True) if date_tag else '未知'

        data.append([title, date, full_url])
    return data
except Exception as e:
    print(f"抓取失败：{e}")
    return []
抓取一页测试
results = scrape_page(url)
保存为CSV
with open('government_data.csv', 'w', encoding='utf-8-sig', newline='') as f:
writer = csv.writer(f)
writer.writerow(['标题', '发布日期', '链接'])
writer.writerows(results)
print("数据已保存到 government_data.csv")
处理分页与反爬策略
政府网站常有分页，可通过观察URL变化模拟翻页，例如：
http://xxx.gov.cn/page/1
http://xxx.gov.cn/page/2
在代码中加入循环即可遍历多页。
如果遇到反爬（如验证码、IP限制）：

添加随机延迟：time.sleep(random.uniform(1, 3))

使用代理IP池（需谨慎选择合规服务）
模拟浏览器行为（可考虑Selenium，但效率较低）

基本上就这些。只要目标网站没有动态加载且未设强反爬，用requests + BeautifulSoup就能搞定大部分政府公开数据抓取任务。关键是耐心分析结构，控制请求频率，确保合规操作。