标签： algorithm tensorflow machine-learning neural-network gradient-descent
在Nesterov动量中，相对于参数的误差函数的Gradient是在与计算成本不同的点计算的-也就是说，模型根据其先前的动量向前跳了一点并计算了梯度在那里进行进一步的计算。我的问题是，如果损失是在当前点计算的，那么在未知损失的情况下如何计算不同点的梯度呢？我读过this answer，该书回答了这个问题，但充其量只能提供一个近似值，但并非在所有情况下都有效。有人可以帮助我解决如何在不损失的情况下在其他点计算梯度的问题，或者是否仅应使用上面提供的近似值？谢谢。