在byte []中保存Camera2输出流

Question

我支持使用videochat功能的应用程序。我对Camera2使用API>=21。相机工作。现在我需要从我的设备的相机接收数据并将其写入byte []，然后将数组传递给本机方法以处理和传输图像对手。用C ++编写的视频传输功能。我的任务 - 在byte []中正确录制视频（因为此参数接受本机方法，即在视频显示器上执行所有下一步操作）。

如果我开始添加某些内容，相机就会停止工作。 帮助我正确，轻松地实现此任务。我尝试使用MediaRecorder，但它不会在byte []中写入数据。我观看了标准的Google示例，例如Camera2Basic，Camera2Video。我尝试在本教程中实现MediaRecorder。但它不起作用。  据我所知ImageReader，仅用于图片。  MediaCodec - 太复杂了，我真的不明白。 实现从我的设备的相机获取图像并将其记录到byte []中的更好和最简单的方法。如果可能的话，给我一些代码或资源样本，我可以看到它。感谢

Answer 1

您想使用ImageReader;它是旧相机API预览回调的预期替换（以及拍摄JPEG或RAW图像，另一种常见用途）。

使用YUV_420_888格式。

ImageReader的图像使用ByteBuffer而不是byte []，但您可以直接通过JNI传递ByteBuffer，并使用standard JNI methods获取指向图像每个平面的void *指针。这比先复制到byte []要高效得多。

<小时/> 修改：更多详情：

假设您拥有自己的软件视频编码/网络传输库，并且您不想使用Android的硬件视频编码器。 （如果这样做，则需要使用MediaCodec类。）

1. 设置预览视图（SurfaceView或TextureView），将其大小设置为所需的预览分辨率。
2. 使用YUV_420_888格式和所需的录制分辨率创建ImageReader。连接listener to it。
3. 打开相机设备（可以与前面的步骤并行完成）
4. 从View和ImageReader获取Surface，并使用它们创建camera capture session
5. 创建会话后，使用TEMPLATE_RECORDING create a capture request builder（优化录制用例的设置）和add both the Surfaces as targets请求
6. 构建请求并将其设置为repeating request。
7. 相机将开始将缓冲区推入预览和ImageReader。每当新帧准备就绪时，您将获得onImageAvailable回调。获取latest Image from the ImageReader's queue，获取构成YCbCr图像的三个ByteBuffers，并将它们通过JNI传递给您的本机代码。
8. 处理完图片后，请务必close it。为了提高效率，ImageReader中有一定数量的图像，如果您不返回它们，相机将会停止，因为它没有要写入的缓冲区。如果需要并行处理多个帧，则可能需要增加ImageReader构造函数的maxImages参数。