CNTK学习者的例子

Question

我一直在阅读Microsft的Python CNTK Tutorials for Version 2 Beta 9.0。我没有找到好的文档，其中包含推荐值的示例，可以传递给不同的学习者。我已经能够让以下学习者使用 CNTK 103：B部分 - 使用MNIST的前馈网络：

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, sgd(z.parameters, lr=lr_per_minibatch))

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, adagrad(z.parameters, lr=lr_per_minibatch))

    lr_per_minibatch=learning_rate_schedule(0.05, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, adam_sgd(z.parameters, lr=lr_per_minibatch, momentum=momentum_as_time_constant_schedule(700) ))

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, nesterov(z.parameters, lr=lr_per_minibatch, momentum=momentum_as_time_constant_schedule(700) ))

    lr_per_minibatch=learning_rate_schedule(0.1, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, rmsprop(z.parameters, lr=lr_per_minibatch, gamma=0.90, inc=0.03, dec=0.03, max=0.1, min=0.1 ))

这些工作，但是有没有人有很好的例子来说明每位培训师所获得的参数值？

Answer 1

对于当前的学习者，最佳参数取决于您正在解决的数据和问题。因此很难提供好的建议。一个典型的建议是，如果学习率有效，那么所有较小的学习率都会起作用，但你必须运行更长时间（即对数据进行更多扫描）。