Question

我正在使用wordnet来计算两个单词之间的相似度。我正在使用edu.mit.jwi_2.1.4.jar和edu.sussex.nlp.jws.beta.11.jar但是当我通过resnik测量计算“apple”和“banana”时，它是8,4。为什么它超过1？



    public class test {
    String dir = "C:/Program Files (x86)/WordNet";
    JWS ws = new JWS(dir,"2.1");
    /**
     * @param args
     */
     public void testResnikSimilarity() {    
        Resnik jcn = ws.getResnik();
         System.out.println("Resnik");
         // all senses
         TreeMap scores1 = jcn.res("apple", "banana", "n"); // all senses
         //TreeMap scores1 = jcn.jcn("apple", 1, "banana", "n");
         // fixed;all
         //TreeMap scores1 = jcn.jcn("apple", "banana", 2, "n");
         // all;fixed
         for(String s : scores1.keySet())
         System.out.println(s + "\t" + scores1.get(s));
         // specific senses
         System.out.println("\nspecific pair\t=\t" + jcn.res("apple", 1, "banana",
         1, "n") + "\n");
         // max.
         System.out.println("\nhighest score\t=\t" + jcn.max("apple", "banana",
         "n") + "\n\n\n");
         }
}

Answer 1

引用NLTK Documentation：

Resnik相似度：返回一个表示两个单词感觉有多相似的分数是，基于最低共同的信息内容（IC） Subsumer（最具体的祖先节点）。请注意，任何相似性使用信息内容的措施，结果取决于语料库用于生成信息内容和细节如何创建信息内容。

我不知道如何在JWS中设置信息内容。在NLTK中，您可以使用Brown Corpus和BNC的数据进行如下操作：

ic = wordnet_ic.ic('ic-brown.dat')
banana.res_similarity(apple, ic=ic)
>>> 8.1703339116227411
ic = wordnet_ic.ic('ic-bnc.dat')
banana.res_similarity(apple, ic=ic)
>>> 7.9753635531935334

有关详细信息，另请参阅此paper。

用wordnet测量相似度？

1 个答案: