在c ++中使用utf8库的UTF 16到UTF8

时间:2014-02-10 13:01:43

标签: c++ utf-8 utf-16

我正在使用this库在C ++中从UTF16转换为UTF8。

该示例建议使用以下方法将utf16转换为utf8:

unsigned short utf16string[] = {0x41, 0x0448, 0x65e5, 0xd834, 0xdd1e};
vector<unsigned char> utf8result;
utf16to8(utf16string, utf16string + 5, back_inserter(utf8result));
assert (utf8result.size() == 10);    

其中utf16to8的定义由:

给出
template <typename u16bit_iterator, typename octet_iterator>
octet_iterator utf16to8 (u16bit_iterator start, u16bit_iterator end, octet_iterator result);

我有一个char数组,其字符为UTF16。如果我不知道我的UTF16字符数组的大小(有效字符数),你能否告诉我是否仍然可以使用这个库?

2 个答案:

答案 0 :(得分:1)

没有。显然,对于存储在未知大小的容器中的数据,您无法做任何有意义的事情。你知道它拥有多少元素。

答案 1 :(得分:0)

供您参考,可能您可以使用C ++ 11中引入的u16string。

#ifdef   WIN32     
#include <codecvt>
#else
#include <uchar.h>
#endif

string toUTF8(const u16string& u16str) {
    string result;

#ifdef   WIN32  
    wstring_convert<codecvt_utf8_utf16<char16_t>, char16_t> convertor;
    result = convertor.to_bytes(u16str);
#else
    mbstate_t mbs;

    mbrlen(NULL, 0, &mbs);   /* initialize mbs */

    int length = 0;
    char buffer [MB_CUR_MAX];

    for (int i= 0; i < u16str.size(); i++){
        length = c16rtomb(buffer, u16str[i], &mbs);

        if ((length == 0) || (length>MB_CUR_MAX)){
            break;
        }

        for (int j = 0; j < length;j++){
            result += buffer[j];
        }
    }
#endif

    return result;
}