有人知道xavier_normal_和kaiming_normal_之间的区别吗？

Question

像标题。有人知道xavier_normal_和kaiming_normal_之间的区别吗？只有Xavier的论点比kaiming更具说服力。

Answer 1

阅读documentation：

xavier_normal_

  

根据“理解深度前馈神经网络的训练难度”-Glorot，X.＆Bengio，Y.（2010）中描述的方法，使用正态分布为输入张量填充值。

kaiming_normal_

  

根据“深入研究整流器：在ImageNet分类上超越人类水平的性能”中所述的方法，用值填充输入张量-He，K.等。 （2015），使用正态分布。

给定的方程式完全不同。有关更多详细信息，您必须阅读这些论文。