机器学习中超参数和启发式的区别？

Question

机器学习环境中超参数和启发式有什么区别。如果你没有学习参数而是提前做出决定，那么它本质上不是一种启发式的吗？

如果有人能够为每个人提供明确的定义，那么这个比较会很棒！我希望在这种情况下，我不会将苹果与橙子进行比较。

Answer 1

有趣的想法！启发式和超参数之间最明显的区别在于启发式是一种有助于搜索问题的函数，它用于快速权衡不同的解决方案，而超参数在模型中基本上是“硬编码”的，因此无济于事搜索根本。

但是，如果你定义一个只返回常量超参数的启发式函数，那么我们可以说这个启发式函数确实与超参数相同。我们通常不会这样看，因为这样的启发式函数（总是返回常量）无助于搜索最佳参数。