Question

我正在使用双向RNN为编码器和解码器实现编码器解码器模型。由于我在编码器端初始化了双向RNN，并且与双向RNN相关联的权重和向量已经初始化，因此当我尝试在解码器端初始化另一个实例时，会出现以下错误：

ValueError: Variable bidirectional_rnn/fw/gru_cell/w_ru already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope?

我尝试如下定义自己的name_scope中的每个元素，但无济于事：

def enc(message, weights, biases):
    message = tf.unstack(message, timesteps_enc, 1)
    fw_cell = rnn.GRUBlockCell(num_hidden_enc)
    bw_cell = rnn.GRUBlockCell(num_hidden_enc)
    with tf.name_scope("encoder"):
        outputs, _, _ = rnn.static_bidirectional_rnn(fw_cell, bw_cell, message, dtype=tf.float32)
    return tf.matmul(outputs[-1], weights) + biases


def dec(codeword, weights, biases):
    codeword = tf.expand_dims(codeword, axis=2)
    codeword = tf.unstack(codeword, timesteps_dec, 1)
    fw_cell = rnn.GRUBlockCell(num_hidden_dec)
    bw_cell = rnn.GRUBlockCell(num_hidden_dec)
    with tf.name_scope("decoder"):
        outputs, _, _ = rnn.static_bidirectional_rnn(fw_cell, bw_cell, codeword, dtype=tf.float32)
    return tf.matmul(outputs[-1], weights) + biases

有人可以暗示我在做什么错吗？

Answer 1

只需将其作为答案：

只需尝试将name_scope换成variable_scope。我不确定它是否仍然有效，但是对于旧版本的TF，不鼓励使用name_scope。从变量名bidirectional_rnn/fw/gru_cell/w_ru中，您可以看到未应用范围。

Answer 2

一件事是，您无法在同一范围内创建具有相同名称的变量，因此将name_scope更改为variable_scope会解决问题。

另一件事是，由于解码器RNN不能双向，所以这样的模型不能用作编码器-解码器模型。您确实在训练时就拥有了整个目标序列，但是在推理时，您从左到右生成了目标。这意味着您仅具有前向RNN的左侧上下文，而没有向后RNN的右侧上下文。

张量流中RNN的编码器解码器模型

2 个答案: