将视频流显示到oculus Rift

Question

我试图修改Oculus World Demo以显示来自相机的视频流，而不是预先设定的图形，但是，我发现很难找到渲染cv的正确方法： ：IplImage或cv :: mat图像类型到Oculus屏幕上。如果有人知道如何向oculus显示图像，我将非常感激。这是针对DK 2的。

Answer 1

纯OpenCV并不适合渲染到Rift，因为您需要手动实现Oculus Rift SDK通常提供的失真机制。

将图像从OpenCV渲染到屏幕上的最佳方法是将图像加载到OpenGL或Direct3D纹理中，并使用3D渲染API（GL或D3D）将其放入渲染场景中。在example的Github存储库中有一个my book on Rift development。

总之，它使用OpenCV API设置视频捕获，然后启动一个负责从摄像头设备捕获图像的线程。在主线程中，绘制调用呈现包含捕获图像的简单3D场景。大多数有趣的与Rift相关的代码都在父类RiftApp中。