Question

我试图猜测这是两个3D点云之间的刚性变换矩阵。两点云是那些：

来自kinect（kinect_keypoints）的关键点。
来自3D对象的关键点（框）（object_keypoints）。

我尝试了两种选择：

[1]。实现该算法以发现严格的转换。

**1.Calculate the centroid of each point cloud.**

**2.Center the points according to the centroid.**

**3. Calculate the covariance matrix**
cvSVD( &_H, _W, _U, _V,  CV_SVD_U_T );
cvMatMul( _V,_U, &_R );
**4. Calculate the rotartion matrix using the SVD descomposition of the covariance matrix**

float _Tsrc[16] = { 1.f,0.f,0.f,0.f,
    0.f,1.f,0.f,0.f,
    0.f,0.f,1.f,0.f,
    -_gc_src.x,-_gc_src.y,-_gc_src.z,1.f };  // 1: src points to the origin
float _S[16] = { _scale,0.f,0.f,0.f,
    0.f,_scale,0.f,0.f,
    0.f,0.f,_scale,0.f,
    0.f,0.f,0.f,1.f };  // 2: scale the src points
float _R_src_to_dst[16] = { _Rdata[0],_Rdata[3],_Rdata[6],0.f, 
    _Rdata[1],_Rdata[4],_Rdata[7],0.f,
    _Rdata[2],_Rdata[5],_Rdata[8],0.f,
    0.f,0.f,0.f,1.f }; // 3: rotate the scr points
float _Tdst[16] = { 1.f,0.f,0.f,0.f, 
    0.f,1.f,0.f,0.f, 
    0.f,0.f,1.f,0.f, 
    _gc_dst.x,_gc_dst.y,_gc_dst.z,1.f }; // 4: from scr to dst

// _Tdst * _R_src_to_dst * _S * _Tsrc
mul_transform_mat( _S, _Tsrc, Rt );
mul_transform_mat( _R_src_to_dst, Rt, Rt );
mul_transform_mat( _Tdst, Rt, Rt );

[2]。使用opencv中的estimateAffine3D。

        float _poseTrans[12];
        std::vector<cv::Point3f> first, second;             
        cv::Mat aff(3,4,CV_64F, _poseTrans);
        std::vector<cv::Point3f> first, second; (first-->kineckt_keypoints and second-->object_keypoints)
        cv::estimateAffine3D( first, second, aff, inliers );

        float _poseTrans2[16];

        for (int i=0; i<12; ++i)
        {
            _poseTrans2[i] = _poseTrans[i];
        }

        _poseTrans2[12] = 0.f;
        _poseTrans2[13] = 0.f;
        _poseTrans2[14] = 0.f;
        _poseTrans2[15] = 1.f;

第一个问题是变换不正确，而在第二个问题中，如果将kinect点云与结果矩阵相乘，则某些值是无穷大的。

这些选项中是否有任何解决方案？或者另一种，除了PCL？

提前谢谢你。

Answer 1

编辑：这是一篇旧帖子，但答案可能对某人有用......

您的第一种方法可以在非常特殊的情况下工作（椭球点云或非常细长的形状），但不适合kinect获得的点云。关于你的第二种方法，我不熟悉OpenCV函数estimateAffine3D，但我怀疑它假设两个输入点云对应于相同的物理点，如果你使用kinect点云（包含嘈杂的测量）和理想3D模型的点（完美）。

您提到您了解Point Cloud Library（PCL）并且不想使用它。如果可能的话，我想您可能想重新考虑这一点，因为PCL比OpenCV更适合您想要做的事情（查看教程列表，其中一个涵盖完全您想要做什么：将对象模板与点云对齐。）

但是，以下是您的问题的一些替代解决方案：

如果你的两点云完全对应相同的物理点，你的第二种方法应该有效，但你也可以查看绝对方向（例如Matlab implementation）
如果你的两点云不对应相同的物理点，你实际上想要注册（或对齐）它们，你可以使用：
- 迭代最近点（ICP）算法的众多变体之一，如果您大致了解对象的位置。 Wikipedia Entry
- 3D特征点，如3D SIFT，3D SURF或NARF特征点，如果您对对象的位置没有任何线索。

同样，所有这些方法都已在PCL中实施。

两个三维点云变换矩阵

1 个答案: