组合卷积神经网络

Question

我正在研究音频分类，并使用频谱图和MFCC图来训练CNN图像分类器。目前，我有两个单独的ConvNet，接受过这些功能的培训，给出了平均（55-60％的准确度）。每个型号都有两个单独的重量文件。 现在，我想结合两个模型，即我想从每个音频文件中提取频谱图和MFCC，并在已经建立的模型上进行测试，以提高准确性。我该怎么办？

Answer 1

结合已经训练好的模型的一种方法是使用公共的完全连接层并训练网络。

您可以将此完全连接的层放置在两个卷积模型的末尾。

因此，输入将输入ConVModel-1和ConvModel-2。您将获得2个输出向量。合并这两个输出向量（连接，平均值等）。现在，将这个新形成的矢量传递给完全连接的层。

您现在可以通过2种方式训练该网络-

1. 仅更新FC层的权重。
2. 更新FC层和两个ConvModel的权重。