Question

我正在尝试在Keras中实现自定义损失功能。

首先，我想确保可以从我的自定义函数中调用以前的损失函数。这就是奇怪的东西开始的地方：

model.compile(loss="sparse_categorical_crossentropy", optimizer="adam", metrics=['accuracy'])

按预期工作。

现在在keras.losses中实现“ sparse_categorical_crossentropy”如下：

def sparse_categorical_crossentropy(y_true, y_pred):
    return K.sparse_categorical_crossentropy(y_true, y_pred)

我得出结论，直接传递K.sparse_categorical_crossentropy也应该可行。但是，它会抛出expected activation_6 to have shape (4,) but got array with shape (1,)。

此外，定义如下的自定义损失函数：

def custom_loss(y_true, y_pred):
    return keras.losses.sparse_categorical_crossentropy(y_true, y_pred)

不起作用。在训练过程中减少了损失（看起来是正确的），但准确性却没有提高（但是使用非定制损失函数时，准确性确实提高了）

我不确定发生了什么，也不知道如何正确调试它。任何帮助将不胜感激。

Answer 1

我测试了您在我的代码中所说的，是的，您是正确的。我最初遇到的错误与您遇到的错误相同，但是一旦将指标参数从accuracy更改为sparse_categorical_accuracy，我就开始获得更高的准确性。

这里，要注意的一件事是，当我们告诉keras将accuracy用作metrics时，keras使用默认精度categorical_accuracy。因此，如果我们要实现自己的自定义损失函数，则必须相应地设置metrics参数。

从here中了解keras中的可用度量功能。

案例1：

def sparse_categorical_crossentropy(y_true, y_pred):
    return K.sparse_categorical_crossentropy(y_true, y_pred)

model.compile(optimizer='adam',
              loss=sparse_categorical_crossentropy,
              metrics=['accuracy'])

输出：

ValueError：检查目标时出错：预期density_71具有形状（10，），但数组的形状为（1，）

案例2：

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

输出：

Epoch 1/2
60000/60000 [==============================] - 2s 38us/step - loss: 0.4714 - acc: 0.8668
Epoch 2/2
60000/60000 [==============================] - 1s 22us/step - loss: 0.2227 - acc: 0.9362
10000/10000 [==============================] - 1s 94us/step

案例3：

def custom_sparse_categorical_crossentropy(y_true, y_pred):
    return K.sparse_categorical_crossentropy(y_true, y_pred)

model.compile(optimizer='adam',             
              loss=custom_sparse_categorical_crossentropy, 
              metrics=['accuracy'])

输出：

Epoch 1/2
60000/60000 [==============================] - 2s 41us/step - loss: 0.4558 - acc: 0.1042
Epoch 2/2
60000/60000 [==============================] - 1s 22us/step - loss: 0.2164 - acc: 0.0997
10000/10000 [==============================] - 1s 89us/step

案例4：

def custom_sparse_categorical_crossentropy(y_true, y_pred):
    return K.sparse_categorical_crossentropy(y_true, y_pred)

model.compile(optimizer='adam',
              loss=custom_sparse_categorical_crossentropy,
              metrics=['sparse_categorical_accuracy'])

输出：

Epoch 1/2
60000/60000 [==============================] - 2s 40us/step - loss: 0.4736 - sparse_categorical_accuracy: 0.8673
Epoch 2/2
60000/60000 [==============================] - 1s 23us/step - loss: 0.2222 - sparse_categorical_accuracy: 0.9372
10000/10000 [==============================] - 1s 85us/step

完整代码：

from __future__ import absolute_import, division, print_function
import tensorflow as tf
import keras.backend as K


mnist = tf.keras.datasets.mnist

(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
model = tf.keras.models.Sequential([

tf.keras.layers.Flatten(input_shape=(28, 28)),
tf.keras.layers.Dense(100, activation=tf.nn.relu),
tf.keras.layers.Dropout(0.10),
tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])

def custom_sparse_categorical_crossentropy(y_true, y_pred):
    return K.sparse_categorical_crossentropy(y_true, y_pred)

#def sparse_categorical_accuracy(y_true, y_pred):
#    # reshape in case it's in shape (num_samples, 1) instead of (num_samples,)
#    if K.ndim(y_true) == K.ndim(y_pred):
#        y_true = K.squeeze(y_true, -1)
#    # convert dense predictions to labels
#    y_pred_labels = K.argmax(y_pred, axis=-1)
#    y_pred_labels = K.cast(y_pred_labels, K.floatx())
#    return K.cast(K.equal(y_true, y_pred_labels), K.floatx())

model.compile(optimizer='adam',
          loss=custom_sparse_categorical_crossentropy,
         metrics=['sparse_categorical_accuracy'])

history = model.fit(x_train, y_train, epochs=2, batch_size=200)
model.evaluate(x_test, y_test)

从here检出sparse_categorical_accuracy，从here检出sparse_categorical_crossentropy。

Answer 2

发生的事情是，当您使用accuracy度量标准时，Kera实际上会根据损耗选择不同的精度实现，因为如何计算精度取决于标签和模型的预测：

对于categorical_crossentropy，它使用categorical_accuracy作为准确性指标。
对于binary_crossentropy，它使用binary_accuracy作为准确性指标。
对于sparse_categorical_crossentropy，它使用sparse_categorical_accuracy作为准确性指标。

仅当您使用预定义的损失时，Keras才能执行此操作，否则无法猜测。对于您的自定义损失，您可以直接使用三种精度实现方式之一，例如metrics=['sparse_categorical_accuracy']。

Keras后端功能似乎无法正常工作

2 个答案: