C++如何进行UTF-8和GBK编码转换?(代码示例)

C++中UTF-8与GBK转换需依赖系统API或第三方库:Windows用MultiByteToWideChar/WideCharToMultiByte经UTF-16中转,Linux/macOS用iconv,跨平台推荐Boost.Locale;标准C++不内置该功能。

在C++中做UTF-8和GBK编码转换,核心是借助系统API或第三方库完成字节流的重新解释与映射。Windows平台可用MultiByteToWideCharWideCharToMultiByte配合UTF-16中转;Linux/macOS推荐用iconv;跨平台项目可选utf8cppBoost.Locale。纯标准C++不内置编码转换功能。

Windows下用WinAPI双向转换(UTF-8 ↔ GBK)

Windows API以UTF-16(wchar_t)为桥梁:先将源编码转为UTF-16,再转为目标编码。注意CP_UTF8936(GBK代码页)的使用。

示例:UTF-8字符串转GBK

#include 
#include 

std::string utf8_to_gbk(const std::string& utf8_str) {
    if (utf8_str.empty()) return {};

    // UTF-8 → UTF-16
    int wlen = MultiByteToWideChar(CP_UTF8, 0, utf8_str.c_str(), -1, nullptr, 0);
    if (wlen == 0) return {};
    std::wstring wstr(wlen, L'\0');
    MultiByteToWideChar(CP_UTF8, 0, utf8_str.c_str(), -1, &wstr[0], wlen);

    // UTF-16 → GBK (code page 936)
    int len = WideCharToMultiByte(936, 0, wstr.c_str(), -1, nullptr, 0, nullptr, nullptr);
    if (len == 0) return {};
    std::string gbk_str(len, '\0');
    WideCharToMultiByte(936, 0, wstr.c_str(), -1, &gbk_str[0], len, nullptr, nullptr);

    gbk_str.pop_back(); // 去掉末尾的'\0'
    return gbk_str;
}

std::string gbk_to_utf8(const std::string& gbk_str) {
    if (gbk_str.empty()) return {};

    // GBK → UTF-16
    int wlen = MultiByteToWideChar(936, 0, gbk_str.c_str(), -1, nullptr, 0);
    if (wlen == 0) return {};
    std::wstring wstr(wlen, L'\0');
    MultiByteToWideChar(936, 0, gbk_str.c_str(), -1, &wstr[0], wlen);

    // UTF-16 → UTF-8
    int len = WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), -1, nullptr, 0, nullptr, nullptr);
    if (len == 0) return {};
    std::string utf8_str(len, '\0');
    WideCharToMultiByte(CP_UTF8, 0, wstr.c_str(), -1, &utf8_str[0], len, nullptr, nullptr);

    utf8_str.pop_back();
    return utf8_str;
}

Linux/macOS下用iconv转换

iconv是POSIX标准接口,需链接-liconv(macOS可能需额外安装)。支持“UTF-8”和“GBK”(部分系统也认“CP936”或“GB18030”)。

  • 确保iconv_open返回非(iconv_t)(-1),否则编码名不被识别
  • 输入缓冲区要留余量(如+4字节),因UTF-8/GBK单字符最大长度不同
  • 转换后检查iconv返回值是否为0,非0表示错误(如非法序列)

跨平台建议:用Boost.Locale

Boost.Locale封装了底层差异,代码简洁且健壮:

#include 
std::string utf8_to_gbk(const std::string& s) {
    return boost::locale::conv::between(s, "GBK", "UTF-8");
}
std::string gbk_to_utf8(const std::string& s) {
    return boost::locale::conv::between(s, "UTF-8", "GBK");
}

需编译时链接-lboost_locale,并确保系统有对应字符集支持(如glibc含GBK)。

注意事项和常见问题

GBK不是UTF-8的子集,部分GBK字符(如某些生僻汉字、旧版符号)在UTF-8中无对应,反之亦然。转换失败时:

  • WinAPI默认截断非法字节,可设WC_ERR_INVALID_CHARS标志让其报错
  • iconv可设//IGNORE//TRANSLIT后缀处理异常(如"GBK//IGNORE"
  • Boost.Locale默认抛boost::locale::conv::conversion_error,建议捕获处理
  • 字符串末尾的\0需手动清理,避免二进制数据混入

不复杂但容易忽略