如何在Asiya机器翻译评估工具包中使用基本的BLEU分数?

时间:2015-05-03 06:48:41

标签: perl nlp machine-translation bleu

Asiya是机器翻译评估工具包,用于对机器翻译输出进行评分(http://asiya.lsi.upc.edu/)。它主要用Perl编写。

如何使用Asiya执行BLEU指标?

我已关注youtube介绍视频:https://www.youtube.com/watch?v=rA5De9Z4uWI

并创建了一个配置文件(Asiya.config):

input=raw
srclang=en
srccase=en
trglang=ja
trgcase=ja

src=corpus.tok/test.tok.en
ref=corpus.tok/hyp.tok.ja
sys=corpus.tok/test.tok.ja

some_metrics= BLEU NIST METEOR-ex Ol

我的机器翻译输出文件位于corpus.tok/hyp.tok.ja,源文件位于corpus.tok/test.tok.en,参考文件(正确翻译)位于corpus.tok/test.tok.ja。它们是标记化的纯文本文件,每行都是一个句子。

我跑的时候:

/home/expert/asiya/bin/Asiya.pl -eval single -g all -metric_set some_metrics Asiya.config

我收到了这个错误:

Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 784.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 791.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Scoring/ESA.pm line 339.
Use of uninitialized value in concatenation (.) or string at /home/expert/asiya/bin/../lib/IQ/Config.pm line 251.
[ASIYA] directory </tools> does not exist!

tools目录确实作为我运行命令的当前目录中的子目录存在。 出了什么问题?我可以为Asiya工具目录添加参数吗?

如何使用Asiya进行BLEU评估?

如果我不使用Asiya,我怎样才能获得每个句子的BLEU分数和机器翻译输出的系统BLEU分数?

http://nlp.lsi.upc.edu/redmine/boards/11/topics/138

的更多细节

0 个答案:

没有答案