递归神经网络（Elman网络）。上下文隐藏/隐藏到上下文层权重需要更新？

Question

我刚刚开始研究递归神经网络。我在Elman的网络上找到了三个信息来源（Elman 1991）。

1. （示例和代码）http://mnemstudio.org/neural-networks-elman.htm

2. （论文）http://www.sysc.pdx.edu/classes/Werbos-Backpropagation%20through%20time.pdf

3. （问与答）Elman and Jordan context values during training for neural network

根据第一个资源，不会更新从隐藏到上下文/上下文到隐藏图层的权重。

从第二个资源，它还将这些更新设置为0，这意味着它不会更新权重。

但是从Stackoverflow上的第三个资源，用户声称“随着训练的进行，上下文神经元神经元值本身不会更新。它们之间的权重和下一层更新< / strong>在训练期间。“

我理解上下文神经元在时间t保存隐藏神经元的值，并将其（与输入神经元一起）馈送到t + 1处的隐藏神经元。但我们是否必须更新两者之间的权重？

Answer 1

我不确定这个问题是否仍然重要，但这是我的解释：

从隐藏图层到上下文图层的权重固定为1.这些权重不会更新。

但是，从上下文层到隐藏层的权重将会更新。除了过去的价值之外，网络还有什么方法可以学习呢？如果它们不会改变，那么用它们初始化它们的正确价值是什么？肯定不是1.

在训练期间，上下文神经元的值将得到更新。不是通过使用某种类型的sigmoid函数，而是通过简单地复制隐藏层的值。