Question

我无法运行文档中所示的FastText量化。具体来说，如备忘单页面底部所示：

https://fasttext.cc/docs/en/cheatsheet.html

当我尝试对训练有素的模型“ model.bin”进行量化时：

./fasttext quantize -output model

以下错误显示在外壳上：

Empty input or output path.

我已经用最新代码（2018年9月14日）和旧代码（2018年6月21日）的版本重现了此问题。由于已记录的命令语法不起作用，因此我尝试添加输入参数：

./fasttext quantize -input [file] -output model

其中[文件]是我的训练数据或训练的模型。不幸的是，这两次尝试都导致了分割错误，并且没有来自FastText的错误消息。

量化FastText模型的正确命令语法是什么？另外，是否可以在一次FastText运行中同时训练和量化模型？

Answer 1

这是quantization-example.sh

中包含的示例

./fasttext quantize -output "${RESULTDIR}/dbpedia" -input "${DATADIR}/dbpedia.train" -qnorm -retrain -epoch 1 -cuto$

Answer 2

Python解决方案：

# Quantize the model with retraining
model.quantize(input=train_data, qnorm=True, retrain=True, cutoff=200000)

# Save quantized model
model.save_model("model_quantized.bin")

Answer 3

我尝试过这种方法：

 ./fasttext quantize -input <training set> -output <model name (no suffix) -[options]

FastText量化文档不正确吗？

3 个答案: