火炬 - 人们为什么不明确使用激活？

Question

每当我看到在Torch中实现神经网络时，nn，他们只会将模块插在一起。例如，有一个带有LookupTable，Splittable，FasLSTM，Linear，LogSoftMax的音序器模块。 为什么人们之间不使用激活函数，比如tanh / Sigmoid / ReLu？

Answer 1

你有一个例子吗？通常，在层之间使用ReLu或TanH。

你不会在表操作函数之间使用它们，因为它们不是带参数的“真实”神经网络层。