自然语言处理中的Unigram vs Bigram vs Posgram

时间:2019-03-21 16:05:14

标签: nlp n-gram natural-language-processing

我想知道unigram,bigram和posgram的含义和区别是什么。我已经搜索了Internet,但是找不到完整的答案。任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:4)

“这是一个例句”

Unigram:一次考虑一个单词->“ This”或“ is”或“ an” ...

Bigram(或n-gram):考虑n个单词的组合(bi-> n = 2)->“这是”,“是”,“示例”,“例句”

Posgram(对此不太确定):还要考虑语音上下文的一部分(示例为“名词”,“动词” ...)以预测更多信息。更正式地讲,它减小了从中选择的内容的维数(减少了从名词集合中选择单词,而不是从所有单词中选择更大的集合)。