Gradient Desent与Hill Climbing之间的行为差​​异

Question

我试图了解这两种算法之间的区别以及它们在解决问题方面的区别。我看过算法和它们的内部。听取其他已经有过经验的人会很高兴。特别是，我想知道他们在同一个问题上会有不同的表现。

谢谢。

Answer 1

差分

两者之间的主要difference是direction，在这些Hill Climbing中，它们会移动到达当地最小值（或最大值）。

• 在 one element 中，我们仅移动{strong} <{strong> vector space 3D sapce，然后我们计算函数的值并替换它价值提高了。我们继续改变矢量的一个元素，直到我们不能朝着一个方向移动，使得位置改善。在axial direction中，移动可以视为移动到x,y or z axis Gradient Descent中的任何一个。{/ 1}。
• 在 negative gradient 中，我们在当前点minima的方向上采取步骤，以达到3D Space的点（在最大值的情况下为正）。例如，在need not方向axial direction为{{1}}。

Answer 2

除了radbrawler的回答之外，它们在贪婪的方法中是相似的，它们都用于找到局部最小值/最大值。我可以将Gradient descent视为离散Hill爬山技术的连续版本。