我正在构建一个屏幕共享应用程序并尝试从套接字接收原始H264视频流，并使用surfaceview通过使用MediaCodec类进行解码来显示它。但是我成功地能够接收数据并在表面上显示。但是，我被困两天的问题是视频非常迟钝，紧张，并有绿色带和补丁。您可以在youtube video link中查看该问题。如果我将这个视频保存到SD卡并使用MxPlayer播放它然后播放正常。我也尝试使用Gstreamer，一切都很好。 这是我在创建surfaceview时从Activity调用的类。
//New Edited Code
public class Server {
static final int socketServerPORT = 53515;
MainActivity activity;
ServerSocket serverSocket;
public Server(MainActivity activity, Surface surface) {
Log.e("constructor()", "called");
this.activity = activity;
Thread socketServerThread = new Thread(new SocketServerThread(surface));
socketServerThread.start();
}
private static MediaCodecInfo selectCodec(String mimeType) {
int numCodecs = MediaCodecList.getCodecCount();
for (int i = 0; i < numCodecs; i++) {
MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);
if (codecInfo.isEncoder()) {
continue;
}
String[] types = codecInfo.getSupportedTypes();
for (int j = 0; j < types.length; j++) {
if (types[j].equalsIgnoreCase(mimeType)) {
Log.e("codecinfo", codecInfo.getName());
return codecInfo;
}
}
}
return null;
}
private class SocketServerThread extends Thread {
InputStream is;
Socket socket;
private MediaCodec codec;
private Surface surface;
public SocketServerThread(Surface surface) {
this.surface = surface;
}
@Override
public void run() {
Log.e("socketthread", "called");
try {
selectCodec("video/avc");
codec = MediaCodec.createByCodecName(selectCodec("video/avc").getName());
MediaFormat format = MediaFormat.createVideoFormat("video/avc", 800, 480);
// format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
format.setInteger(MediaFormat.KEY_BIT_RATE, 1024000);
format.setInteger(MediaFormat.KEY_FRAME_RATE, 25);
codec.configure(format, surface, null, 0);
codec.start();
serverSocket = new ServerSocket(socketServerPORT);
while (true) {
socket = serverSocket.accept();
Log.e("connection", "accepted");
is = socket.getInputStream();
if (is != null) {
// File file = new File(Environment.getExternalStorageDirectory() + "/stream.mp4");
// OutputStream output = new FileOutputStream(file);
byte[] buff = new byte[4 * 1024]; // or other buffer size
int read;
while ((read = is.read(buff)) != -1) {
// output.write(buff, 0, read);
if (buff.length == 1)
continue;
int inIndex = codec.dequeueInputBuffer(10000);
if (inIndex >= 0) {
ByteBuffer inputBuffer = codec.getInputBuffer(inIndex);
inputBuffer.clear();
inputBuffer.put(buff);
codec.queueInputBuffer(inIndex, 0, buff.length, 16, 0);
}
MediaCodec.BufferInfo buffInfo = new MediaCodec.BufferInfo();
int outIndex = codec.dequeueOutputBuffer(buffInfo, 10000);
switch (outIndex) {
case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
break;
case MediaCodec.INFO_TRY_AGAIN_LATER:
break;
case -3:
break;
default:
codec.releaseOutputBuffer(outIndex, true);
}
}
}
}
} catch (IOException e) {
e.printStackTrace();
} finally {
if (codec != null) {
codec.release();
}
if (socket != null) {
try {
socket.close();
is.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
}
我尝试了你提到的创建MediaCodec的方式
MediaCodec.createByCodecName(selectCodec("video/avc").getName());
private static MediaCodecInfo selectCodec(String mimeType) {
int numCodecs = MediaCodecList.getCodecCount();
for (int i = 0; i < numCodecs; i++) {
MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);
if (!codecInfo.isEncoder()) {
continue;
}
String[] types = codecInfo.getSupportedTypes();
for (int j = 0; j < types.length; j++) {
if (types[j].equalsIgnoreCase(mimeType)) {
Log.e("codecinfo",codecInfo.getName());
return codecInfo;
}
}
}
return null;
}
但它给了我错误
I/OMXClient: MuxOMX ctor
I/MediaCodec: [OMX.qcom.video.encoder.avc] setting surface generation to 28345345
W/ACodec: [OMX.qcom.video.encoder.avc] Failed to set standard component role 'video_decoder.avc'.
E/ACodec: [OMX.qcom.video.encoder.avc] configureCodec returning error -1010
E/ACodec: signalError(omxError 0x80001001, internalError -1010)
E/MediaCodec: Codec reported err 0xfffffc0e, actionCode 0, while in state 3
E/MediaCodec: configure failed with err 0xfffffc0e, resetting...
I/OMXClient: MuxOMX ctor
E/AndroidRuntime: FATAL EXCEPTION: Thread-5
Process: com.androidsrc.server, PID: 27681
android.media.MediaCodec$CodecException: Error 0xfffffc0e
at android.media.MediaCodec.configure(MediaCodec.java:1884)
at com.androidsrc.server.Server$SocketServerThread.run(Server.java:70)
at java.lang.Thread.run(Thread.java:761)
此外，我尝试通过此方法创建Mediacodec
codec = MediaCodec.createDecoderByType("video/avc");
但视频质量与在YouTube上分享的视频相同。
答案 0 :(得分：1)
我宁愿对此发表评论，但仍然缺少必要的要点：D
我认为你（或者我不知道它在其他方面起作用）缺少一些重要的部分。您提供的视频显示缺少有关如何解释事物的信息。
您是否正在发送和使用SPS和PPS？我不确定您创建的MediaFormat是否包含所有必需的信息。
MediaCodec需要将整帧输入。你确定使用这种逻辑收到一个完整的框架吗？
有些解码器期望没有NAL标头的帧。你发送没有NAL标题的帧吗？
我认为您没有转移任何演示时间
我建议您查看有关如何传输媒体的RTP / RTSP协议。 为了进一步帮助你，我建议你提供生产者逻辑
答案 1 :(得分：0)
OMX.google.h264.decoder是一个功能有限的软件编解码器（至少在某些设备和api级别上）。
尝试使用createDecoderByType代替createDecoderByName或选择其他编解码器，如下例所示：
https://developer.android.com/reference/android/media/MediaCodecInfo.html
（修改它以选择除OMX.google.h264.decoder之外的解码器）
答案 2 :(得分：0)
尝试减少出队时的超时（codec.dequeueInputBuffer（10000）;），除非你认为它需要花费很多时间来解码。
还设置以下标志：
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, CodecCapabilities.COLOR_FormatSurface);
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);
您提到您更改了代码以按类型选择，但原始帖子在创建解码器时出错。你能解决这些错误吗？
您确实需要使用硬件解码器来确保您可以在不显着降低性能的情况下进行游戏。新视频肯定比第一次尝试更糟糕，这意味着你有解码器选择问题。您可以将ffplay与-f h264选项一起使用，并确认格式正确。
最后，查看视频维度，您可以从解码器读回缓冲区（通过在releaseOutputBuffer中传递false）并将其写入磁盘以确认您的尺寸是否正确。原始视频到最终视频将具有不同的维度。从codecFormat读取宽度，高度以确认它能够正确解码。
答案 3 :(得分：0)
在我的手机中，屏幕上填满了颜色块。没有任何图片或视频。我也使用了 screenCast project 而你的代码，它不起作用。你有同样的问题吗？Screen Shot
