MITLM平滑

时间:2012-11-15 17:24:18

标签: linux memory smoothing

我在平滑3克计数的大文件时遇到问题。 我使用:estimate-ngram -order 3 -counts allgrams -smoothing FixModKN -wl allgrams.FixModKN.lm命令,我收到此错误:

Saving LM to train.corpus.lm...
estimate-ngram: src/NgramModel.cpp:422: void NgramModel::SaveLM(const 
std::vector<DenseVector<double>, std::allocator<DenseVector<double> > >&, const 
std::vector<DenseVector<double>, std::allocator<DenseVector<double> > >&, ZFile&) 
const: Assertion `(size_t)(ptr - lineBuffer.data()) < lineBuffer.size()' failed.

在我尝试使用4,7GB文件的2克之前,它工作正常。 3克文件大20GB。

我的操作系统是GNU / Linux x86_64,内存为96GB

0 个答案:

没有答案