Maxout神经元：maxout函数中的权重是指2个唯一权重集吗？

Question

我不明白maxout是如何工作的，我怀疑它是由于我对线性代数乘法的可视化。基本上，我认为maxout函数有两组权重，两者都经过单独训练，然后只选择一个。但是我怀疑这可能是错的，因为我没有看到在网络的一个前馈运行中可以同时训练两个不同权重的方法。

另外，如果函数中的两个权重w1和w2没有引用两个唯一的权重集，那么可以在maxout函数中输入两个以上的参数，并且只选择max吗？ / p>

这是我读过的maxout函数：

max（（w1.T.dot（X）+ b1），（w2.T.dot（X）+ b2））

我可以使用心理表征来更好地想象这一点吗？

Answer 1

我知道这很晚了，但我还是要回答。 Here可以由maxout网络作者Ian Goodfellow观看视频，here是视频中使用的幻灯片的URL。

下面是Maxout Networks定义的屏幕截图：

Click Here

因此，事实证明您是绝对正确的。对于每个神经元，您将创建两次权重和两次偏差。而且，如果您想要更多，则可以为每个神经元创建n个权重和n个偏差，然后选择最大值，并对层中的所有神经元执行相同的操作。