简介

Question

编辑我在意识到问题开始之后修改了这个问题。

我正在将C＃应用程序的一部分移植到Linux，我需要获取UTF-16字符串的字节：

string myString = "ABC";
byte[] bytes = Encoding.Unicode.GetBytes(myString);

现在bytes数组是：

"65 00 66 00 67 00" (bytes)

如何在Linux上用C ++实现相同的功能？我将myString定义为std::string，似乎Linux上的std::wstring是4个字节？

Answer 1

你的问题不是很清楚，但我会试着澄清一些困惑。

简介

在C标准'95修订后，C语言集处理状态（以及C ++继承的字符集）。

使用的字符集由当前语言环境
wchar_t用于存储代码点
char用于存储多字节编码形式（例如，约束是基本字符集中的字符必须以一个字节编码）
字符串文字以实现定义的方式编码。如果他们使用基本字符集之外的字符，则不能认为它们在所有语言环境中都有效。

因此，对于16位wchar_t，您仅限于BMP。使用UTF-16的代理是不合规的，但我认为MS和IBM或多或少被迫这样做，因为他们认为Unicode时他们永远是一个16位字符集。延迟Unicode支持的人倾向于使用32位wchar_t。

较新的标准变化不大。主要有UTF-8，UTF-16和UTF-32编码字符串的文字，有16位和32位字符的类型。标准库中很少或没有对Unicode的额外支持。

如何将一个编码转换为另一个

您必须处于使用Unicode的语言环境中。希望

std::locale::global(locale(""));

就足够了。如果没有，您的环境没有正确设置（或设置为另一个字符集，并假设Unicode不是您的用户的服务。）。

C风格

使用wcstomsb和mbstowcs功能。以下是您提出的问题的示例。

std::string narrow(std::wstring const& s)
{
    std::vector<char> result(4*s.size() + 1);
    size_t used = wcstomsb(&result[0], s.data(), result.size());
    assert(used < result.size());
    return result.data();
}

C ++ Style

语言环境的codecvt方面提供了所需的功能。优点是您不必更改使用它的全局语言环境。不方便的是使用更复杂。

#include <locale>
#include <iostream>
#include <string>
#include <vector>
#include <assert.h>
#include <iomanip>

std::string narrow(std::wstring const& s,
                   std::locale loc = std::locale())
{
    std::vector<char> result(4*s.size() + 1);
    wchar_t const* fromNext;
    char* toNext;
    mbstate_t state = {0};
    std::codecvt_base::result convResult
        = std::use_facet<std::codecvt<wchar_t, char, std::mbstate_t> >(loc)
        .out(state,&s[0], &s[s.size()], fromNext,
             &result[0], &result[result.size()], toNext);

    assert(fromNext == &s[s.size()]);
    assert(toNext != &result[result.size()]);
    assert(convResult == std::codecvt_base::ok);
    *toNext = '\0';

    return &result[0];
}

std::wstring widen(std::string const& s,
                   std::locale loc = std::locale())
{
    std::vector<wchar_t> result(s.size() + 1);
    char const* fromNext;
    wchar_t* toNext;
    mbstate_t state = {0};
    std::codecvt_base::result convResult
        = std::use_facet<std::codecvt<wchar_t, char, std::mbstate_t> >(loc)
        .in(state, &s[0], &s[s.size()], fromNext,
            &result[0], &result[result.size()], toNext);

    assert(fromNext == &s[s.size()]);
    assert(toNext != &result[result.size()]);
    assert(convResult == std::codecvt_base::ok);
    *toNext = L'\0';

    return &result[0];
}

你应该通过更好的处理来替换断言。

顺便说一句，这是标准的C ++，并且不假设Unicode除了计算结果大小之外，你可以通过检查convResult来做得更好，这可以表明部分转换。）

Answer 2

最简单的方法是获取一个小型库，例如UTF8 CPP并执行以下操作：

utf8::utf8to16(line.begin(), line.end(), back_inserter(utf16line));

Answer 3

我通常使用Poco C ++库中的UnicodeConverter类。如果您不想要依赖关系，那么您可以查看代码。

在Linux中将std :: string转换为Unicode

3 个答案:

简介

如何将一个编码转换为另一个

C风格

C ++ Style