自定义丢失功能实现

时间:2017-03-13 22:49:39

标签: python keras theano

我试图实现自己的新功能。 当我尝试调试它(或在其中打印)时,我发现它只在代码的模型创建部分被调用一次。

如果在拟合模型时无法将代码运行到此函数中,我怎么知道y_pred和y_true包含的内容(形状,数据等等)?

我写了这个损失函数:

def my_loss(y_true, y_pred):
    # run over the sequence, jump by 3
    # calc the label
    # if the label incorrect punish

    y_pred = K.reshape(y_pred, (1, 88, 3))

    y_pred = K.argmax(y_pred, axis=1)

    zero_count = K.sum(K.clip(y_pred, 0, 0))
    one_count = K.sum(K.clip(y_pred, 1, 1))
    two_count = K.sum(K.clip(y_pred, 2, 2))

    zero_punish = 1 - zero_count / K.count_params(y_true)
    one_punish = 1- one_count/ K.count_params(y_true)
    two_punish = 1- two_count/ K.count_params(y_true)

    false_arr = K.not_equal(y_true, y_pred)

    mask0 = K.equal(y_true, K.zeros_like(y_pred))
    mask0_miss = K.dot(false_arr, mask0) * zero_punish

    mask1 = K.equal(y_true, K.ones_like(y_pred))
    mask1_miss = K.dot(false_arr, mask1) * one_punish

    mask2 = K.equal(y_true, K.zeros_like(y_pred)+2)
    mask2_miss = K.dot(false_arr, mask2) * two_punish

    return K.sum(mask0_miss) + K.sum(mask1_miss) + K.sum(mask2_miss)

失败了:

theano.gof.fg.MissingInputError: A variable that is an input to the graph was 
neither provided as an input to the function nor given a value. A chain of 
variables leading from this input to an output is [/dense_1_target, Shape.0]. 
This chain may not be unique
Backtrace when the variable is created:

我该如何解决?

1 个答案:

答案 0 :(得分:2)

你必须明白Theano是一种象征性的语言。例如,当我们在Keras中定义以下损失函数时:

def myLossFn(y_true, y_pred):
    return K.mean(K.abs(y_pred - y_true), axis=-1)

Theano只是在计算图中制作一个符号规则,它会在获得值时执行,即当您使用一些小批量训练模型时。

就您如何调试模型的问题而言,您可以使用theano.function。现在,您想知道您的损失计算是否正确。您执行以下操作。

您可以实现损失函数的python / numpy版本。将两个随机向量传递给numpy-loss-function并得到一个数字。要验证theano是否给出几乎相同的结果,请按以下方式定义:

import theano
from theano import tensor as T
from keras import backend as K

Y_true = T.frow('Y_true')
Y_pred = T.fcol('Y_pred')
out = K.mean(K.abs(Y_pred - Y_true), axis=-1)

f = theano.function([Y_true, Y_pred], out)

# creating some values
y_true = np.random.random((10,))
y_pred = np.random.random((10,))

numpy_loss_result = np.mean(np.abs(y_true-y_pred))
theano_loss_result = f(y_true, y_pred)

# check if both are close enough
print numpy_loss_result-theano_loss_result # should be less than 1e-5

基本上,theano.function是一种放置值并评估这些符号表达式的方法。我希望这会有所帮助。