Asiya是机器翻译评估工具包,用于对机器翻译输出进行评分(http://asiya.lsi.upc.edu/)。它主要用Perl编写。
如何使用Asiya执行BLEU指标?
我已关注youtube介绍视频:https://www.youtube.com/watch?v=rA5De9Z4uWI
并创建了一个配置文件(Asiya.config):
input=raw
srclang=en
srccase=en
trglang=ja
trgcase=ja
src=corpus.tok/test.tok.en
ref=corpus.tok/hyp.tok.ja
sys=corpus.tok/test.tok.ja
some_metrics= BLEU NIST METEOR-ex Ol
我的机器翻译输出文件位于corpus.tok/hyp.tok.ja
,源文件位于corpus.tok/test.tok.en
,参考文件(正确翻译)位于corpus.tok/test.tok.ja
。它们是标记化的纯文本文件,每行都是一个句子。
我跑的时候:
/home/expert/asiya/bin/Asiya.pl -eval single -g all -metric_set some_metrics Asiya.config
我收到了这个错误:
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 784.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 791.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Scoring/ESA.pm line 339.
Use of uninitialized value in concatenation (.) or string at /home/expert/asiya/bin/../lib/IQ/Config.pm line 251.
[ASIYA] directory </tools> does not exist!
tools目录确实作为我运行命令的当前目录中的子目录存在。 出了什么问题?我可以为Asiya工具目录添加参数吗?
如何使用Asiya进行BLEU评估?
如果我不使用Asiya,我怎样才能获得每个句子的BLEU分数和机器翻译输出的系统BLEU分数?
的更多细节