Sklearn TFIDF矢量化程序线程安全吗？

Question

我已经构建了一个TfidfVectorizer并将其适合我的数据集

tfidf = TfidfVectorizer(tokenizer=ner_tokenizer, stop_words='english')
tfidf.fit(documents)

我现在想在多个线程中执行tfidf.transform()。这样做安全吗？

Answer 1

据我所知transform只读self但不修改它，所以它应该是线程安全的。

transform()拨打TfidfTransformer.transform()，CountVectorizer.transform()，check_is_fitted()和间接CountVectorizer._validate_vocabulary()，CountVectorizer._check_vocabulary()，CountVectorizer._count_vocab()和{{1}还有一些更深层次的修改。可能还有一些魔力，但我找不到任何东西。