是否可以将预先训练的模型加载到spacy中?

时间:2019-04-25 12:58:04

标签: import model nlp spacy

我希望能够使用spacy的全部功能,但是我目前选择的语言尚没有针对spacy的自己的模型。完整功能是指在标记器,解析器和NER之间共享的卷积层。并能够通过扩展词汇表来更新所有这些不同的模型。

我需要我的模型从一开始就进行依赖关系解析和命名实体识别,但是我也可以尝试进行文本分类等。

stanfordNLP中有一些模型可用于依赖项解析。我发现了spacy_stanfordnlp模块。这对于获取标签和可视化依赖模型很有用。有没有办法将此模型(或任何预先训练的模型)导入spacy的管道作为解析器?还是我需要通过使用此解析器的结果作为spacy的标签来完全在spacy方面进行重新训练,并使用spacy进行训练?我想将依赖性分析器转换为spacy,以训练具有特定词汇的NER模型,并在将来执行其他任务。

我尝试了类似的方法,但是没有用

    snlp = stanfordnlp.Pipeline(lang="tr")
    nlp1 = StanfordNLPLanguage(snlp)
    nlp1.to_disk("./stanfordnlp-spacy-model")    
    nlp = spacy.load("./stanfordnlp-spacy-model", snlp=snlp)
    parser = nlp.create_pipe("parser")
    nlp.add_pipe(parser)
    # this doesnt work, with a pytorch model from tr_imst tree bank, which is used by stanfodnlp
    nlp.parser.from_bytes("tr_imst_parser.pt")["model"]

0 个答案:

没有答案
相关问题