动态RNN：填充词向量

Question

我对填充有点困惑，我的第一个问题是：

• 是否可以将较短的序列填充为非0的值？那么您如何在RNN中处理呢？

• 通常使用0进行填充，请问为什么有特定原因？是否因为它不影响计算而使训练变得容易，或者您仍然需要掩盖损失函数？

• 如果您的句子是由word2vec模型中嵌入的向量组成的，那么填充将用作零向量吗？

在此先感谢任何提示！

Answer 1

您的问题已在How to overcome training example's different lengths when working with Word Embeddings (word2vec)中解决。

有关最小/最大交替填充方法的详细信息，请参见Apply word embeddings to entire document, to get a feature vector。

另请参见：keras.preprocessing.sequence.pad_sequences，它可以使用一个值作为参数。