使用boost :: tokenizer对包装的字符串进行标记

Question

我正在解析自定义元数据文件，其中分隔符是空格' '。元数据文件包含应省略空格分隔符的字符串。因此"\"This Space\""是一个令牌，"This Space"应该是两个令牌。

有一个像here这样的问题，答案是如何在不使用boost::tokenizer的情况下获得结果。这似乎是一个tokeniser的默认任务，我认为这应该可以使用boost::tokenizer。

我写了一个例子来展示我到目前为止所做的事情：

#include <boost/tokenizer.hpp>
#include <vector>
#include <string>
#include <iostream>

using std::string;
using data = std::vector<string>;

data buildExpected()
{
    string s[] = {"This", "is one of", "42", "lines" };
    return data(s, s + 4);
}

data tokenizeLine(string line)
{
    using namespace boost;
    data d;
    char_separator<char> sep("\" ");
    tokenizer<char_separator<char>> tokens(line, sep);
    for (string tok : tokens) d.push_back(tok);
    return d;
}

void logData(string id, data &d)
{
    string line = "(" + id + "):";
    bool more = 0;
    for (auto s : d)
    {
        if (more) line += "; ";
        more = 1;
        line += s;
    }
    std::cout << line << std::endl;
}

void main()
{
    string line = "This \"is one of\" 42 lines";
    data expected = buildExpected();
    data actual = tokenizeLine(line);
    logData("expected", expected);
    logData("actual  ", actual);

}

这是我系统上的输出：

Answer 1

Boost.Tokenizer不处理引号。它的功能非常简单 - 只需在每个分隔符出现时拆分为令牌。你需要自己处理括号。