c++怎么实现简单的爬虫程序_c++ libcurl网页抓取与正则提取【案例】_技术教程

libcurl需设回调函数接收响应体，否则数据丢失；必须配置CURLOPT_WRITEFUNCTION、WRITEDATA、USERAGENT、FOLLOWLOCATION和TIMEOUT；std::regex仅适合提取简单稳定片段，避免循环内重复构造正则对象。

用 libcurl 发起 HTTP 请求获取网页源码

libcurl 是 C++ 做基础爬虫最直接的选择，它不依赖额外解析库，只负责“拿下来”。关键不是调用 curl_easy_perform 就完事，而是必须设置好回调函数接收响应体，否则数据会直接丢弃。

常见错误是忽略 CURLOPT_WRITEFUNCTION 和 CURLOPT_WRITEDATA，导致 curl_easy_perform 返回成功但字符串为空。还要注意默认不跟随重定向，需要显式开启 CURLOPT_FOLLOWLOCATION，否则 302 响应会卡住。

用 std::string 作为 WRITEDATA 指针，配合 lambda 或静态函数写入
务必设置 CURLOPT_USERAGENT，不少网站会拦截空 UA 的请求
超时必须设（CURLOPT_TIMEOUT），否则 DNS 卡住或服务器无响应会导致程序挂起

std::string html;
auto write_callback = [](void* ptr, size_t size, size_t nmemb, void* userp) -> size_t {
    std::string* s = static_cast(userp);
    size_t new_len = size * nmemb;
    s->append(static_cast(ptr), new_len);
    return new_len;
};
CURL* curl = curl_easy_init();
if (curl) {
curl_easy_setopt(curl, CURLOPT_URL, "https://www./link/b05edd78c294dcf6d960190bf5bde635");
curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_callback);
curl_easy_setopt(curl, CURLOPT_WRITEDATA, &html);
curl_easy_setopt(curl, CURLOPT_USERAGENT, "Mozilla/5.0");
curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L);
curl_easy_setopt(curl, CURLOPT_TIMEOUT, 10L);
CURLcode res = curl_easy_perform(curl);
curl_easy_cleanup(curl);
}

用 std::regex 提取网页中的链接或标题

std::regex 在 C++11 后可用，但性能和兼容性有限——它不支持 PCRE 的很多特性（如非贪婪量词 *? 在部分标准库实现中行为异常），且编译正则表达式开销不小。别指望靠它精准解析 HTML 结构，只适合提取简单、格式稳定的片段，比如中的 URL 或 .*? 内容。

容易踩的坑：正则字符串里的反斜杠要双写，比如匹配 "href=\"([^\"]+)\"" 在 C++ 字符串里得写成 "href=\\"([^\\"]+)\\""；另外 std::regex_search 不会自动全局匹配，得用循环 + std::sregex_iterator。

优先用 std::sregex_iterator 遍历所有匹配，而不是反复调用 regex_search
避免在循环内重复构造 std::regex 对象，提取逻辑复杂时建议提前 compile 一次
如果目标字段含换行或属性顺序不固定（如 href 在 class 后面），正则极易失效，此时该换 DOM 解析器

std::regex link_regex("href=\\\"([^\\\"]+)\\\"");
std::string::const_iterator begin = html.cbegin();
std::string::const_iterator end = html.cend();
for (std::sregex_iterator i(begin, end, link_regex); i != std::sregex_iterator(); ++i) {
    std::smatch m = *i;
    std::cout << "Found link: " << m[1].str() << "\n";
}

libcurl + std::regex 组合的实际限制与替代建议

这个组合只适合一次性、低频、结构高度可控的抓取任务。真实网页里 class 名动态生成、JS 渲染内容、HTML 标签嵌套不规范、编码混杂（如 GBK 页面没声明 charset）都会让正则提取失败，而 libcurl 本身不处理编码转换或 DOM 树构建。

遇到中文乱码？先检查响应头 Content-Type，再用 iconv 或 std::codecvt_utf8（已弃用）转码，C++ 标准库对多字节编码支持很弱
想提取表格或列表项？正则很快变得不可维护，应考虑 libxml2 或 htmlcxx 这类轻量解析器
需要登录、处理 Cookie、模拟点击？libcurl 要手动管理 CURLOPT_COOKIEFILE/CURLOPT_COOKIEJAR，远不如 Python 的 requests.Session 直观