创建一个特征向量来对空中图像中的片段进行分类

Question

我正在开展一个项目来划分空中图像并对每个细分进行分类。图像非常大并且具有巨大的同质区域，因此我决定使用分割和合并算法进行分割。

（左侧是原始图像，右侧是分段的，其中每个段以RGB平均值Thanks to this answer表示）

对于分类，我想使用SVM分类器（我之前在两个项目中使用过很多）和一个特征向量。 一开始我只想使用五个类：水，植被，建筑面积，沙丘和异常 现在我正在思考我可以在这个特征向量中添加什么：

• 段的平均RGB值
• 纹理特征（但我可以用一个值来表示细分的纹理吗？）
• 源图像中的位置（可能带有表示左，右或中间的值？）
• 段的大小（水段应远大于建筑区域）
• 段的第四个邻域的平均RGB值

所以有人做过这样的事情并且可以给我一些建议我可以在特征向量中添加哪些有用的东西？并且有人可以给我一个建议，我怎样才能正确地表示段中的纹理？

感谢您的帮助。

Answer 1

您也可以使用超像素代替分割和合并算法。有几种快速且易于使用的超像素算法（有些甚至在最近的OpenCV版本中实现）。仅命名一个视图：

• Compact Watershed（见这里：https://www.tu-chemnitz.de/etit/proaut/forschung/rsrc/cws_pSLIC_ICPR.pdf）
• preSLIC和SLIC（请参阅此处：https://www.tu-chemnitz.de/etit/proaut/forschung/rsrc/cws_pSLIC_ICPR.pdf和此处：http://www.kev-smith.com/papers/SLIC_Superpixels.pdf）
• SEEDS（见这里：https://arxiv.org/abs/1309.3848）
• ERGC（见这里：https://sites.google.com/site/pierrebuyssens/code/ergc）

鉴于超像素分割，您可以计算大量功能以对其进行分类：

• 在Automatic Photo Pop-Up表1中，Hoiem等人。除其他外，考虑以下特征：平均RGB颜色，平均HSV颜色，颜色直方图，饱和度直方图，Textons，不同取向的高斯导数滤波器，平均x和y位置，面积，......
• 在Recovering Occlusion Boundaries from a Single Image，Hoiem等人。考虑表1中上面列表的一些附加功能。
• 在SuperParsing: Scalable Nonparametric Image Parsing with Superpixels 中，Tighe等人。另外考虑SIFT直方图，在8 x 8图像上缩小的蒙版，边框形状和颜色缩略图。
• 在Class Segmentation and Object Localization with Superpixel Neighborhoods ，Fulkerson等人。还要考虑邻近超像素的特征。

基于超像素，您仍然可以应用简单的合并方案以减少超像素的数量。通过颜色直方图进行简单合并可能对您的任务非常有用。否则，您还可以在超像素之间使用边缘信息进行合并。

Answer 2

您不需要将自己限制在1个特征向量中。您可以尝试多个特征向量（来自您已有的列表），并将它们提供给基于多核学习（MKL）的分类器。 MKL已经证明可以通过单一功能方法提高性能，我最喜欢的MKL技术之一是VBpMKL。

如果您有时间，我建议您尝试以下一项或多项功能，以捕捉感兴趣的功能：

• Haralick纹理特征
• 直方图定向梯度特征
• Gabor过滤器
• SIFT
• 补丁方式RGB意味着