Question

我试图用Lasagne训练一个非常简单的神经网络：一个带有一个输出的密集层，没有非线性（所以它只是一个线性回归）。这是我的代码：

#!/usr/bin/env python

import numpy as np
import theano
import theano.tensor as T
import lasagne
import time

def build_mlp(input_var=None):
    l_in = lasagne.layers.InputLayer(shape=(None, 36), input_var=input_var)

    l_out = lasagne.layers.DenseLayer(
        l_in,
        num_units=1)

    return l_out

if __name__ == '__main__':
    start_time = time.time()

    input_var = T.matrix('inputs')
    target_var = T.fvector('targets')
    network = build_mlp(input_var)
    prediction = lasagne.layers.get_output(network)[:, 0]
    loss = lasagne.objectives.aggregate(lasagne.objectives.squared_error(prediction, target_var), mode="sum")
    params = lasagne.layers.get_all_params(network, trainable=True)
    updates = lasagne.updates.nesterov_momentum(loss, params, learning_rate=0.01, momentum=0.01)
    train_fn = theano.function([input_var, target_var], loss, updates=updates, allow_input_downcast=True)

    features = [-0.7275278, -1.2492378, -1.1284761, -1.5771232, -1.6482532, 0.57888401,\
    -0.66000223, 0.89886779, -0.61547941, 1.2937579, -0.74761862, -1.4564357, 1.4365945,\
    -3.2745962, 1.3266684, -3.6136472, 1.5396905, -0.60452163, 1.1510054, -1.0534937,\
    1.0851847, -0.096269868, 0.15175876, -2.0422907, 1.6125549, -1.0562884, 2.9321988,\
    -1.3044566, 2.5821636, -1.2787727, 2.0813208, -0.87762129, 1.493879, -0.60782474, 0.77946049, 0.0]

    print("Network built in " + str(time.time() - start_time) + " sec")

    it_number = 1000

    start_time = time.time()
    for i in xrange(it_number):
        val = lasagne.layers.get_output(network, features).eval()[0][0]
    print("1K outputs: " + str(time.time() - start_time) + " sec")

    p = params[0].eval()

    start_time = time.time()
    for i in xrange(it_number):
        n = np.dot(features, p)
    print("1K dot products: " + str(time.time() - start_time) + " sec")

    print(val)
    print(n)

我还没有在这里训练网络，只是进行1K逃避（使用初始随机权重）来查看获得1K实际网络预测所需的时间。与1K点产品相比，这是一个可怕的减速！

Network built in 8.86999106407 sec
1K outputs: 53.0574831963 sec
1K dot products: 0.00349998474121 sec
0.0
[-3.37383742]

所以我的问题是：为什么需要这么多时间来评估这样简单的网络？

另外，我对预测值感到困惑。如果点积较小为零，网络输出0，否则这两个值是相同的：

Network built in 8.96299982071 sec
1K outputs: 54.2732210159 sec
1K dot products: 0.00287079811096 sec
1.10120121082
[ 1.10120121]

我是否遗漏了关于DenseLayer如何运作的事情？

Answer 1

感谢Jan Schlueter对https://groups.google.com/forum/#!forum/lasagne-users的回答。

在这里，我不仅通过网络完成了1K传递，而且编译了1K个不同的函数，并将它们分别调用一次。而不是在1K不同的表达式上使用eval（）（它们是不同的，因为它们每个都包含一个不同的numpy数组作为常量），我应该编译一个单独的预测函数（类似于train_fn，但返回预测而不是返回丢失和执行更新）并在循环中调用1K次。

关于DenseLayer的问题也解决了：

DenseLayer包含非线性，默认为整流器。整流器将所有小于零的输出设置为零。

似乎所有的烤宽面条问题都更有可能在googlegroups而不是StackOverflow上得到解答。据Jan说，他们更关注邮件列表。

简单的烤宽面条网络输出非常慢

1 个答案: