特征检测/提取方法的度量

Question

我想知道我们如何评估特征检测/提取方法（SIFT，SURF，MSER ......）用于物体检测和跟踪，如行人，车道等。是否有标准的比较指标？我曾阅读像http://computer-vision-talks.com/2011/07/comparison-of-the-opencvs-feature-detection-algorithms-ii/这样的博客，例如this等一些研究论文。问题是我学的越多，我就越困惑。

Answer 1

很难估计特征检测器本身，因为特征只是计算工件，而不是您实际在图像中搜索的东西。特征检测器在其预期的上下文之外没有意义，这是您提到的描述符的仿射不变图像部分匹配。

SIFT，SURF，MSER的首次使用是多视图重建和自动3D重建管线。因此，这些特征通常根据它们提供的3D重建或图像部分匹配的质量来评估。粗略地说，你有一对通过已知变换（亲和力或单应性）相关的图像，你可以测量估计的单应性（来自特征检测器）和真实的单应性之间的差异。 这也是你引用的博客文章中使用的方法。

为了评估探测器的实际利益（而不仅仅是其在理想的多视图管线中的精度），增加了一些额外的稳定性测量值（在几何和光度变化下） ：检测到的特征数量是否变化，估计单应性的质量是否变化等等。

偶然地，这些探测器也可能用于物体探测和跟踪（在逐个跟踪的情况下）也可以工作（也不是它们的设计目的）。在这种情况下，他们的表现是从或多或少标准化的图像数据集中进行经典评估，并且通常用精确度（良好答案的概率，与误报率相关联）和召回（在物体上找到物体的概率）表示。当下）。您可以在此主题上阅读Wikipedia。

附录：我不小心意味着什么？

好吧，如上所述，SIFT等设计用于匹配平面和纹理图像部分。这就是为什么你总是看到来自dataset of graffiti的类似图像的例子。

然后以两种不同的方式开发了它们对检测和跟踪的扩展：

• 在进行多视图匹配（使用球形装备）时，Furukawa和Ponce构建了某种3D局部平面物体模型，然后在存在严重遮挡时将它们应用于object detection。这个问题利用了一个有趣的对象通常是局部平面和纹理的事实;
• 其他人通过考虑他们有要跟踪的对象的查询图像，开发出一种不太原始（但在良好条件下仍然有效）的方法。然后通过将模板图像与当前帧匹配（使用SIFT等）来执行各个帧检测。这利用了与SIFT几乎没有错误匹配的事实，通常在一定距离内观察物体（因此通常在图像中几乎是平面的）并且它们被纹理化。请参阅示例this paper。