卷积神经网络的在线训练

Question

在this文章中，神经网络经过在线培训 - 在培训期间选择了输入：

  

这可以通过选择硬盘来完成   小批量内的正/负样本。

有人可以详细解释在线培训吗？

Answer 1

在线学习描述了一次训练一个模型输入数据点，或一次训练一个小批量。通常，使用在线学习是因为数据来自流，或者因为数据太大而无法一次性保存在内存中。

一次训练一个示例通常会采取更多步骤来达到与离线训练相同的准确度，因为您无法在每个步骤中针对整个数据集优化损失函数。

然而，您链接的论文使用在线学习几次智能地选择训练样例，以加快模型的收敛速度。他们的方法试图选择当前对模型最难的示例，以便模型可以在每个训练步骤中获得最大的改进。