解决使用Crf ++工具包时出错的问题

时间:2011-12-03 16:57:09

标签: nlp

对所有使用crf ++工具包有经验的人(参见:http://crfpp.sourceforge.net/

请找到尝试执行CRF ++培训计划时弹出的错误消息:

CRF++: Yet Another CRF Tool Kit
Copyright (C) 2005-2009 Taku Kudo, All rights reserved.

encoder.cpp(280) [feature_index.open(templfile, trainfile)] feature_index.cpp(86)     [max_size == size] inconsistent column size: 21 20 train.data

我不确定如何解释错误消息。 我的训练文件中有20个功能,第21个令牌是类值。 我已根据网站上的说明创建了Crf ++模板文件。

4 个答案:

答案 0 :(得分:2)

它看起来像是一个训练数据格式问题,请确保所有句子中的列数一致。

答案 1 :(得分:1)

我今天收到此错误,发现crf++ toolkit只将标签字符(\ t)设置为默认列分隔符,而我的列车数据文件使用一个空格会导致错误。

答案 2 :(得分:0)

要检查的一些要点: 1.检查每个句子后是否有新行 2.检查柱状值是否不包含任何sp

答案 3 :(得分:0)

错误表明行中的列数不同。您的最大列数为21,并且应该在整个培训文件中保持一致,但crf_learn会在train.data培训文件中的某处找到它。所以找到这样的行并删除/修复它。