有谁可以解释这两者之间的关系？
我知道LK方法用于查找图像与KLT跟踪器的光流，后者检测图像的特征。两者之间有什么关系吗？
LK方法中使用的KLT跟踪算法是否可以找到光流？
答案 0 :(得分：2)
KLT方法由两步组成：
所谓的GoodFeaturesToTrack（GFT）特征检测步骤。它可以检测图像中具有边缘状或纹理丰富结构的位置处的特征。
基于Lucas-Kanade（LK）方法对这些检测到的特征点进行特征跟踪。
LK方法是一种基于光学流的方法，用于计算图像序列中预定位置的运动矢量。
所以KLT包含GFT + LK。 KLT背后的理念是理论上LK精度在图像序列中的边缘状位置更好。这就是GFT。 更有可能获得准确的功能曲目。并且您可以提前减少要跟踪的功能数量降低处理能力。
答案 1 :(得分：1)
Lucas-Kanade（LK）方法是一种图像配准方法，最初是在立体视觉中随应用程序引入的。它用于跟踪，光流和其他类似应用。
KLT具有三个重要方面：
1）它使用兴趣点/特征检测器（如Harris Corner Detector）来检测要跟踪的良好特征。您还可以查看其他检测器（例如FAST）的示例。
2）使用LK方法进行跟踪。该方法最初通过假设帧之间的转换来进行。通过最小化误差函数获得翻译参数。在跟踪的情况下，会将特定帧中的特征与前一帧中的相同特征进行比较。
3）功能的跟踪质量可能会随时间变化。使用假设帧之间的仿射变换的不相似度函数对此进行检查。在这种情况下，将特定帧中的特征与第一帧中的相同特征（不一定是前一帧）进行比较。
根据应用程序的不同，KLT实现可能有所不同。它可以使用其他特征检测器，也可以使用仿射模型进行跟踪。此外，还有卢卡斯-卡纳德算法的更多现代变体，例如逆组合算法。
这里有一些资源可以帮助您了解KLT算法（或逆组合算法）：
[1]布鲁斯·卢卡斯（Bruce D. Lucas）和金刚武（Takeo Kanade）。 An Iterative Image Registration Technique with an Application to Stereo Vision.国际人工智能联合会议，第674-679页，1981年。
[2]卡罗·托马西（Carlo Tomasi）和金刚武（Takeo Kanade）。 Detection and Tracking of Point Features.卡内基梅隆大学技术报告CMU-CS-91-132，1991年4月。
[3]石剑波和卡洛·托马西。 Good Features to Track。 1994年IEEE计算机视觉和模式识别会议，第593-600页。
[4]斯坦·伯奇菲尔德。 Derivation of Kanade-Lucas-Tomasi Tracking Equation.未出版，1997年1月。
[5] KLT: An Implementation of the Kanade-Lucas-Tomasi Feature Tracker
[6] Inverse Compositional Method
[7] Lucas-Kanade 20 Years On: A Unifying Framework
光流始于亮度恒定的假设。想法是使用此假设找出两个翻译参数。但是，由于存在两个未知数，因此需要附加约束。这是在平滑度假设下获得的。但是，可以通过考虑要发现其位移的点周围的3 x 3小窗口来避免这种假设。仅使用亮度常数假设就可以生成由9个方程组成的系统。该系统采用LK方法求解。
以下是与光流相关的一些资源：
[2] Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm.
[3] Two-frame motion estimation based on polynomial expansion。
KLT和Optical Flow均使用LK方法。 KLT依靠特征检测器来检测良好的特征并且稀疏。光流可以是稀疏的或密集的。稀疏版本依赖某种特征检测器，就像KLT一样。甚至密集版本也使用一些采样来降低计算成本。但是，光流没有任何使用相异性来检查某个功能是否值得随时间推移进行跟踪的步骤。同样，KLT的原始概念是与LK方法一起开发的，或者是LK方法的扩展。另一方面，“光流”最初是依靠“微积分”在施加两个约束之后找到解决方案的，并开始采用不同的思想/方法。
KLT和光学流的参数更新方程式（使用Lucas Kande方法）几乎相同。 OpenCV中稀疏的光流实现基于在“光流”资源下列出的第二篇论文。本文使用仿射变换进行跟踪。最初的KLT提出了用于跟踪的翻译模型和用于检查特征质量的仿射模型。