Question

我开始用张量流编写神经元网络，我的每个示例项目中都有一个问题。

我的损失总是从50或更高的东西开始并且没有减少，或者如果它减少了，它的确如此缓慢，以至于在我所有的时代之后我甚至没有接近可接受的损失率。

已尝试的事情（并且不会对结果产生太大影响）

测试过度拟合，但在以下示例中你可以看到我有15000个训练和15000个测试数据集和类似900神经元的东西
测试了不同的优化器和优化器值
尝试使用testdata作为增加traingdata trainingdata aswell
尝试增加和减少batchsize

的知识创建了网络

但是，让我们看看我的一个测试项目：

我有一个名单列表，并且想要假设性别，所以我的原始数据如下所示：

names=["Maria","Paul","Emilia",...]

genders=["f","m","f",...]

为了将其输入网络，我将名称转换为charCodes数组（期望最大长度为30），将性别转换为位数组

names=[[77.,97. ,114.,105.,97. ,0. ,0.,...]
       [80.,97. ,117.,108.,0.  ,0. ,0.,...]
       [69.,109.,105.,108.,105.,97.,0.,...]]

genders=[[1.,0.]
         [0.,1.]
         [1.,0.]]

我为输出层建立了3个隐藏层[30,20]，[20,10]，[10,10]和[10,2]的网络。所有隐藏层都具有ReLU作为激活功能。输出层具有softmax。

# Input Layer
x = tf.placeholder(tf.float32, shape=[None, 30])
y_ = tf.placeholder(tf.float32, shape=[None, 2])

# Hidden Layers
# H1
W1 = tf.Variable(tf.truncated_normal([30, 20], stddev=0.1))
b1 = tf.Variable(tf.zeros([20]))
y1 = tf.nn.relu(tf.matmul(x, W1) + b1)

# H2
W2 = tf.Variable(tf.truncated_normal([20, 10], stddev=0.1))
b2 = tf.Variable(tf.zeros([10]))
y2 = tf.nn.relu(tf.matmul(y1, W2) + b2)

# H3
W3 = tf.Variable(tf.truncated_normal([10, 10], stddev=0.1))
b3 = tf.Variable(tf.zeros([10]))
y3 = tf.nn.relu(tf.matmul(y2, W3) + b3)

# Output Layer
W = tf.Variable(tf.truncated_normal([10, 2], stddev=0.1))
b = tf.Variable(tf.zeros([2]))
y = tf.nn.softmax(tf.matmul(y3, W) + b)

现在计算损失，准确性和训练操作：

# Loss
cross_entropy = -tf.reduce_sum(y_*tf.log(y))

# Accuracy
is_correct = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(is_correct, tf.float32))

# Training
train_operation = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

我分批训练网络

sess = tf.Session()
sess.run(tf.global_variables_initializer())
for i in range(150):
    bs = 100
    index = i*bs
    inputBatch = inputData[index:index+bs]
    outputBatch = outputData[index:index+bs]

    sess.run(train_operation, feed_dict={x: inputBatch, y_: outputBatch})
    accuracyTrain, lossTrain = sess.run([accuracy, cross_entropy], feed_dict={x: inputBatch, y_: outputBatch})

    if i%(bs/10) == 0:
        print("step %d loss %.2f accuracy %.2f" % (i, lossTrain, accuracyTrain))

我得到以下结果：

step 0 loss 68.96 accuracy 0.55
step 10 loss 69.32 accuracy 0.50
step 20 loss 69.31 accuracy 0.50
step 30 loss 69.31 accuracy 0.50
step 40 loss 69.29 accuracy 0.51
step 50 loss 69.90 accuracy 0.53
step 60 loss 68.92 accuracy 0.55
step 70 loss 68.99 accuracy 0.55
step 80 loss 69.49 accuracy 0.49
step 90 loss 69.25 accuracy 0.52
step 100 loss 69.39 accuracy 0.49
step 110 loss 69.32 accuracy 0.47
step 120 loss 67.17 accuracy 0.61
step 130 loss 69.34 accuracy 0.50
step 140 loss 69.33 accuracy 0.47

我做错了什么？

为什么它从我的项目中的~69开始而不是更低？

非常感谢你们！

Answer 1

每个样本的0.69 nats熵都没有错，作为二元分类的起点。

如果您转换为基数2，0.69/log(2)，您会发现每个样本几乎正好1位，如果您不确定某个样本，这正是您所期望的二元分类。

我通常使用平均损失而不是总和，因此事情对批量大小不太敏感。

你也不应该直接自己计算熵，因为这种方法容易破解。你可能想要tf.nn.sigmoid_cross_entropy_with_logits。

我也喜欢从Adam Optimizer开始，而不是纯粹的渐变下降。

以下是导致此问题出现问题的两个原因：

1）字符代码是有序的，但顺序并不意味着什么。如果输入为单热矢量，则输入将更容易让网络作为输入。所以你的输入将是26x30 = 780元素向量。没有它，网络就不得不浪费大量的能力来学习字母之间的界限。

2）您只有完全连接的图层。这使得它无法学习一个与其名称中的绝对位置无关的事实。 2015年排名前10位的女孩名单中有6位以“a＆＃39;”结尾，而排名前10位的男生名字中有0位。正如目前所描述的那样，您的网络需要重新学习＆＃34;通常它是女孩的名字，如果它结束于＆＃39;＆＃39;＆＃34;＆＃34;每个名称长度独立。使用一些卷积层可以让它在所有名称长度上学习一次事实。

Tensorflow - 损失从高开始并且不会减少

1 个答案: