解码专有的H.264网络视频流?

时间:2012-08-11 06:17:12

标签: c video-streaming h.264 mpeg-4 ip-camera

我正试图查看我从eBay下车的这台IP摄像机(是的,是的,我知道)。型号BL-5720IPW-L4MM。

无论如何,它们都带有非常糟糕的基于Windows的应用程序,主要使用中文,功能非常差。我已经问过供应商我是否可以使用视频流的格式,所以我可以为他们提供Linux替代品 - 但是他们拒绝了...无论如何,它们非常昂贵,我需要从我的Linux读取视频流服务器(No X)并计划将流集成到linux应用程序'motion'中。但我无法弄清楚原始视频的开始位置,以及它的流媒体格式。

From what I can gather (in byte offset/length - desc - example):
0/4 Firmware Version - 8.4.4.5
5/2 H-res - 1280
7/2 V-res - 720

And what I know about the stream:
* 264/MPEG4 based codec
* 25fps

以下是从TCP 9001捕获的原始数据(一旦连接就开始流式传输)。如果任何人能够帮助我掌握这种格式,我们将不胜感激。完整的24MB(约60秒)捕获可用here,如果解码正确,应显示我非常凌乱的桌面。

hexdump -n 1024 -C camera-capture.raw
00000000  08 04 04 05 00 05 d0 02  b0 01 f0 00 00 00 00 00  |................|
00000010  00 00 00 00 42 66 00 00  00 f7 0e 0f ff ff ff ff  |....Bf..........|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000030  00 00 00 00 01 b6 3f f0  18 54 61 a5 b6 4b c6 db  |......?..Ta..K..|
00000040  7f 1b 6d f8 8c 6d bf 8d  b6 fe 36 db f8 db 6f e3  |..m..m....6...o.|
00000050  6d bf 8d b6 fe 36 db f8  db 6f e3 6d bf 8d b6 fe  |m....6...o.m....|
00000060  36 db f8 db 6f e3 6d bf  8d b6 fe 36 db f8 db 6f  |6...o.m....6...o|
00000070  e3 6d bf 8d b6 fe 36 db  f8 db 6f e3 6d bf 8d b6  |.m....6...o.m...|
00000080  fe 36 db f8 db 6f e3 6d  bf 8d b6 fd 1d 89 01 48  |.6...o.m.......H|
00000090  da 81 fd f2 06 fc 2f 73  19 0f 1b 10 0b d5 7c d7  |....../s......|.|
000000a0  e0 bc e1 ec ce b5 a5 1d  04 65 c2 68 86 14 db 77  |.........e.h...w|
000000b0  06 ce 31 b1 d8 97 8a 13  f4 39 92 8c 0e 2a 60 a8  |..1......9...*`.|
000000c0  87 81 e6 7c 38 bc 1a 8c  85 81 66 5e e6 14 70 60  |...|8.....f^..p`|
000000d0  70 f7 ca 9b 93 ee ea f4  43 93 77 ee e4 48 8e ef  |p.......C.w..H..|
000000e0  f1 b7 9f c7 b3 7d 87 32  ea 8b 1b 40 c1 48 76 cc  |.....}.2...@.Hv.|
000000f0  5f 88 86 0c 96 e8 f3 49  98 5c 7f d6 96 37 fe e4  |_......I.\...7..|
00000100  3f ea ee fe 56 cc a2 78  bf cf 9f 91 ae a8 cd 33  |?...V..x.......3|
00000110  1d 7b f9 d7 1a b3 ae 26  46 8f f0 f3 2d 99 ca 59  |.{.....&F...-..Y|
00000120  fe 0d 05 d2 f4 ea 1f f7  43 37 1a 61 b4 14 4f 2a  |........C7.a..O*|
00000130  46 3c 7d 3b 02 2c 13 94  21 5d 65 3d 12 ce a2 d3  |F<};.,..!]e=....|
00000140  77 c2 83 ec a6 11 70 66  e3 67 85 c8 d9 20 8e 33  |w.....pf.g... .3|
00000150  9a 84 6a 99 f1 94 9f 30  2c 81 12 57 7f 0c 1c da  |..j....0,..W....|
00000160  16 f6 b1 dc 5b fe 33 14  bd 5a 52 aa a1 0a 08 43  |....[.3..ZR....C|
00000170  92 7a 45 9e cd 2b b7 bc  41 93 b4 66 12 7d ab 75  |.zE..+..A..f.}.u|
00000180  48 a0 cc 46 dd 13 5a 99  25 5f a8 91 0a e7 8a 1a  |H..F..Z.%_......|
00000190  06 14 ae cf 46 5b 30 aa  1f 81 22 c5 9f 5f 19 8d  |....F[0...".._..|
000001a0  3c 48 f8 f3 7b 91 ee dd  e3 cd bb c6 db 7f 1b ef  |<H..{...........|
000001b0  4b 1e 6d de 36 db b2 3c  fe f8 df 6f e3 6d bf 8d  |K.m.6..<...o.m..|
000001c0  b6 fe 3c db bc 6e 5f b2  3d a5 da 9a 6e 24 9b 78  |..<..n_.=...n$.x|
000001d0  66 9c 60 58 6d 72 a5 8b  83 22 5f 0e 1b d7 57 af  |f.`Xmr..."_...W.|
000001e0  71 c2 f1 1d a5 a7 c4 c6  7a a0 27 2e 33 4c 73 c9  |q.......z.'.3Ls.|
000001f0  78 f7 fa f1 e6 dd e3 6d  bb 23 6d b9 c7 9f df 0f  |x......m.#m.....|
00000200  4b 9b 69 4d 3c 7e 66 c4  38 ef 8d b6 fe 36 db f8  |K.iM<~f.8....6..|
00000210  db 6f e3 6d bf 8d b6 fe  36 db f8 db 6f e3 6d bf  |.o.m....6...o.m.|
00000220  8d b6 fe 36 db f8 db 6f  c4 63 6d fc 6d b7 f1 b6  |...6...o.cm.m...|
00000230  df c6 db 7f 1b 6d fc 6d  b7 f1 b6 df c6 db 7f 1b  |.....m.m........|
00000240  6d fc 6d b7 f1 b6 df c6  db 7f 1b 6d fc 6d b7 f1  |m.m........m.m..|
00000250  b6 df c6 db 7f 1b 6d fc  6d b7 f1 b3 2d 91 51 57  |......m.m...-.QW|
00000260  2e 6c 41 2e 54 d9 bf 41  aa 03 10 51 36 5a 3e df  |.lA.T..A...Q6Z>.|
00000270  03 07 1f 17 53 a2 81 e6  16 ee 07 16 e0 d2 36 54  |....S.........6T|
00000280  bf 0b 53 37 09 3a 30 3b  7e 7a 08 dc f6 16 37 b8  |..S7.:0;~z....7.|
00000290  6b 6b 8c 61 15 86 82 78  66 ae ef 4e a7 12 b3 d5  |kk.a...xf..N....|
000002a0  39 3e e8 d0 6d df b7 5e  39 6f 72 36 df f8 df cd  |9>..m..^9or6....|
000002b0  76 e9 ca 7a 9d ee b3 05  bd cf 91 5b a8 87 46 0d  |v..z.......[..F.|
000002c0  53 88 8f d3 9b 3d 8f 31  51 ff 54 ad 1b dd f4 a1  |S....=.1Q.T.....|
000002d0  2f c3 8b 35 78 66 2c 89  73 f6 a6 3c bd 87 d5 ca  |/..5xf,.s..<....|
000002e0  b3 8b c7 9c 55 99 b0 f2  bf 68 45 84 65 ac 3e b7  |....U....hE.e.>.|
000002f0  0f 48 99 c9 b7 11 0c f0  24 47 c9 fd 56 ef 05 2a  |.H......$G..V..*|
00000300  eb 5d 5e 11 9c 6d 89 f2  47 a1 1d 4c 82 cf 5b ea  |.]^..m..G..L..[.|
00000310  b3 45 26 5a 69 3b 5f 0f  1b a8 43 ca 2a 17 aa 2f  |.E&Zi;_...C.*../|
00000320  9f a5 9f 2a f9 30 c2 f0  56 a1 22 37 55 6c 15 ab  |...*.0..V."7Ul..|
00000330  ca 4c 2d a3 c8 16 d4 bc  f8 fa 51 09 b9 ea 16 e8  |.L-.......Q.....|
00000340  c9 62 aa 42 5a 61 e6 7b  1a 7d 63 8d ff 6b 69 ec  |.b.BZa.{.}c..ki.|
00000350  0f 5f 22 9b 6f eb de 0d  df c9 8c 28 9f fc 91 16  |._".o......(....|
00000360  23 3c 9b 35 7e 13 17 cc  10 3d da 46 69 b8 f6 6f  |#<.5~....=.Fi..o|
00000370  8c b0 dc 3a a9 76 71 18  d4 e9 98 bb 96 91 c7 b3  |...:.vq.........|
00000380  c8 d1 ed f4 91 b6 dd b1  b6 dd e3 6d bb c6 db 7f  |...........m....|
00000390  1b 6d fc 6d bf 38 de df  e3 7f 3f 8d e7 ef 1b 79  |.m.m.8....?....y|
000003a0  fc 6d bf 2c 7d cb bc f2  a1 8f 4e 2d 99 8c 24 d2  |.m.,}.....N-..$.|
000003b0  01 7a bf 16 fb 4c 1a 63  79 5c 2a 1b ab 3f 74 b3  |.z...L.cy\*..?t.|
000003c0  b3 96 c2 6a 24 25 b4 58  df 50 3c fc e3 6d b6 e3  |...j$%.X.P<..m..|
000003d0  6d b9 23 6d bb c6 de f7  8f 36 fe 3f 4f cb 24 ac  |m.#m.....6.?O.$.|
000003e0  fa 3d 4e f1 b6 df c6 db  7f 1b 6d fc 6d b7 f1 b6  |.=N.......m.m...|
000003f0  df c6 db 7f 1b 6d fc 6d  b7 f1 b6 df c6 db 7f 1b  |.....m.m........|

1 个答案:

答案 0 :(得分:8)

前16个字节是文件头。我相信你对固件的阅读 版。之后出现两对16位小端数字。一切 在文件中是little-endian,除了实际的MPEG ES。它们是宽度和 高度,首先是主要的高分辨率视频流然后是 次要低分辨率视频流。最后4个字节是0。也许就是这样 流列表的终结符或者它们可能是音频参数, 您有一个1280x720主流和一个432x240辅助流。

文件的其余部分是一系列数据包。每个数据包都有一个16字节 报头中。

数据包标头中的第一个32位字是标识标识的标记 数据包所属的流,以及数据包是否包含密钥 帧。 (除了2个视频流之外,还有一个元数据流, 或者可能是2个元数据流,我还没想到。)

数据包标头中的第二个字是数据包有效负载的长度。

数据包标头中的第三个字可能是时间戳。它的 单调增加视频流,并始终0xffffffff 元数据流。

数据包标题中的第四个字仍然是一个完整的谜。

16字节数据包标头后面紧跟着数据包有效负载, 紧接着是下一个数据包的标题。

文件中存在的标记值为:

0:主视频流关键帧
1:神秘的元数据
2:辅助视频流关键帧
0x80:主视频流非关键帧
0x82:辅助视频流非关键帧
0xc6821001:神秘的元数据

在视频流中,每个数据包包含一个MPEG4 VOP(帧)。一些 他们在开头有额外的0字节,但那些是无害的。 VOP 以4字节序列0x00 0x00 0x01 0xb6开始。

当所有0和0x80数据包有效负载连接在一起时,或2和 0x82,结果几乎是一个有效的MPEG4视频流。有一些东西 关键帧有点奇怪。 vop_time_increment字段是 应该在1位(“标记”)之前,但关键帧全部 有一个0使它们无效。这是一个小问题。

主要问题是流没有VOL头。这就是MPEG4 存储有关视频的基本信息,如宽度,高度,刻度率, 隔行标志......除宽度和高度外,所有这些东西都没有了, 这些只包含在专有文件头中。

但是当你绝望的时候,你可以猜到所有的旗帜和 弥补假VOL头。我从一个完全不相关的VOL头 MPEG4视频,将宽度和高度改为1280x720,并附加0和 来自相机的0x80数据包。视频播放了!

有一些不完美之处。开头显示清除的阻塞 最终。通常我会说这是一个不开始的流的结果 一个关键的框架,但这一个,所以我不知道为什么它是块状的。还有 偶尔闪烁不适当的亮度。帧率是 离开时,考虑到附近的语法错误并不奇怪 vop_time_increment字段。好消息是图片很清楚 整体。

如果糟糕的Windows软件可以导出为任何标准格式,我们可能会 通过研究导出的文件,能够改进我们的假标题 报头中。

以下是解码此内容时我一起入侵的工具。 ./streamget < camera.raw | mplayer -demuxer mpeg4es -适合我。

mkvol:将一个MPEG4 VOL标头写入stdout

#!/usr/bin/perl -W
use strict;

@ARGV==2 or die "Usage: $0 width height\n";

my $bits = '';
$bits .= '00000000000000000000000100000000'; # video_object_start_code(0)
$bits .= '00000000000000000000000100100000'; # video_object_layer_start_code(0)
$bits .= '0'; # random_accessible_vol
$bits .= '00010001'; # video_object_type: Advanced Simple Object
$bits .= '1'; # is_object_layer_identifier
$bits .= '0010'; # video_object_layer_verid: 2
$bits .= '000'; # video_object_layer_priority: 0
$bits .= '0001'; # pixel_aspect_ratio: square
$bits .= '0'; # vol_control_parameters
$bits .= '00'; # video_object_layer_shape: rectangular
$bits .= '1'; # marker
$bits .= sprintf '%016b', 30; # ticks_per_sec
$bits .= '1'; # marker
$bits .= '0'; # fixed_vop_rate
$bits .= '1'; # marker
$bits .= sprintf '%013b', $ARGV[0]; # width
$bits .= '1'; # marker
$bits .= sprintf '%013b', $ARGV[1]; # height
$bits .= '1'; # marker
$bits .= '0'; # interlaced
$bits .= '1'; # obmc_disable
$bits .= '00'; # sprite_enable: none # for verid!=1
#$bits .= '0'; # sprite_enable: none # for verid==1
$bits .= '0'; # not_8_bit
$bits .= '0'; # quant_type: second inverse quantization method
$bits .= '0'; # quarter_sample # for verid!=1
$bits .= '1'; # complexity_estimation_disable
$bits .= '1'; # resync_marker_disable
$bits .= '0'; # data_partitioned
$bits .= '0'; # newpred_enable # for verid!=1
$bits .= '0'; # reduced_resolution_vop_enable # for verid!=1
$bits .= '0'; # scalability
$bits .='0'; $bits .= '1' while length($bits)%8; # pad to byte
print pack "B*", $bits;

streamget:从摄像机中提取视频流并添加VOL

#!/usr/bin/perl -W
use strict;

sub fullread;

@ARGV==0 || "@ARGV" eq 'secondary' or die "Usage: $0 [secondary] < camera.raw";

my @wanted = (0,0x80);
@wanted = (2,0x82) if @ARGV;

fullread(my $fileheader, 16, 1);
my ($version, $width, $height, $swidth, $sheight, @mysterystuff) =
  unpack "Nv4C4", $fileheader;
if(!@ARGV) {
  system("./mkvol $width $height");
} else {
  system("./mkvol $swidth $sheight");
}

while(fullread(my $buf, 16)) {
  my ($tag, $plen, $mystery1, $mystery1) = unpack "VVVV", $buf;
  fullread(my $pbuf, $plen, 1);
  if($tag ~~ @wanted) {
    # Uncomment to remove extra 0's between VOPs. They're harmless.
    #$pbuf =~ s/^\x00*(\x00\x00\x01)/$1/;

    # Uncomment this block to fix the bogus marker bits before
    # vop_time_increment. mplayer complains about them but plays the stream
    # anyway. Other players may need this fix.
    #if($pbuf =~ /^\x00\x00\x01\xb6/) {
    #  my $fixit = unpack "B*", substr($pbuf, 4, 32);
    #  $fixit =~ s/(..1*0)0/${1}1/;
    #  substr($pbuf, 4, 32) = pack "B*", $fixit;
    #}
    print $pbuf;
  }
}

# Return false if !$mandatory and EOF was seen immediately.
# Return true if the full amount was read.
# Otherwise die.
sub fullread
{
  my ($buf, $len, $mandatory) = @_;
  my $n = read(STDIN, $_[0], $len);
  if(!defined($n)) {
    die "stdin: $!\n";
  }
  if($n==0) {
    return 0 if !$mandatory;
    die "stdin: unexpected EOF\n"
  }
  if($n<$len) {
    die "stdin: unexpected EOF\n"
  }
  return 1;
}