先使用缓存避免重复请求，再结合代理防止IP封锁。通过requests-cache库缓存页面内容，减少网络开销；利用随机代理池轮换IP，降低被封风险；二者结合可提升爬取效率与稳定性。
在进行大规模网页抓取时，Python爬虫常面临效率低、IP被封、重复请求等问题。通过结合缓存与代理机制，可以显著提升抓取效率并降低目标服务器压力。下面介绍具体实现方法。
使用缓存避免重复请求
缓存的核心思想是将已成功获取的页面内容保存下来，下次请求相同URL时直接读取本地数据，避免网络传
输开销。
推荐使用 requests-cache 库，它能无缝集成到 requests 请求中：
- 安装：pip install requests-cache
- 启用缓存后，所有 GET 请求会自动缓存，默认存储为 sqlite 数据库
- 支持设置过期时间，比如缓存24小时内的响应
示例代码：
import requests import requests_cache启用缓存，缓存文件名为 'web_cache.sqlite'
requests_cache.install_cache('web_cache', expire_after=86400) # 24小时
response = requests.get('https://www./link/b05edd78c294dcf6d960190bf5bde635')
第一次运行走网络，之后从缓存读取
使用代理防止IP封锁
频繁请求同一网站容易触发反爬机制。通过代理轮换IP，可分散请求来源，降低被封风险。
requests 支持通过 proxies 参数设置代理：
- 可使用免费或付费代理服务（如站酷、快代理、ScraperAPI）
- 建议维护一个可用代理池，并定期检测有效性
- 配合随机选择策略，避免长时间使用单一IP
示例代码：
proxies = [
'http://1.1.1.1:8080',
'http://2.2.2.2:3128',
'http://3.3.3.3:1080'
]
import random
proxy = random.choice(proxies)
proxies_dict = {'http': proxy, 'https': proxy}
response = requests.get(url, proxies=proxies_dict, timeout=5)
缓存与代理结合使用策略
将两者结合，既能减少网络请求，又能合理使用代理资源：
- 先查缓存，命中则直接返回结果，节省代理额度
- 未命中时再通过代理发起真实请求，并将结果存入缓存
- 对静态资源（如图片、CSS）更应优先缓存
- 动态内容可设置较短缓存时间或不缓存
实际项目中，可封装一个通用 fetch 函数：
def fetch(url, use_proxy=True):
if requests_cache.get_cache().has_url(url):
return requests.get(url) # 直接从缓存读取
proxies = get_random_proxy() if use_proxy else None
try:
response = requests.get(url, proxies=proxies, timeout=5)
return response
except:
return None基本上就这些。合理使用缓存和代理，不仅能加快爬取速度，还能减少被封IP的概率，让爬虫更稳定高效。
