用全志A40i开发板玩转FFmpeg

罗罗诺亚

1. FFmpeg的安装

FFmpeg是用来记录、转换数字音频、视频的开源软件，它支持文件和网络流操作。它支持以函数库的方式使用，所以有很多软件都依赖它，比如VLC、暴风影音、腾讯会议等。它的命令行程序也非常强大，各种命令行选项学起来虽然困难，但是几乎能够满足日常对音视频的各种处理需求。今天我们就通过飞凌嵌入式OKA40i-C开发板保定飞凌嵌入式技术有限公司来介绍它的命令行工作方式。

FFmpeg提供了全部源代码，所以在网上可以找到很多教程是关于交叉编译ARM版本的。我们测试的版本使用的是FFmpeg-release-armel-static.tar.xz。解压缩以后拷贝到飞凌嵌入式OKA40i-C开发板上并设置好权限就可以使用了。

7 R$ K3 Y4 L" Y" L+ y. g

2. USB摄像头测试

OKA40i-C开发板接口丰富，它支持USB摄像头、CMOS-OV5640摄像头、模拟摄像头。把USB摄像头插入开发板，然后使用

• 
  

v4l2-ctl --list-devices
; G7 _1 S3 o$ z0 W

可以看到/dev/video0就是我们的USB摄像头，如下图。

使用下面的命令可以看到该摄像头的全部参数：

• 
  

v4l2-ctl -d  /dev/video0 --all

• 
  / m$ n( {' r7 w+ z4 i6 A

• 
  
  7 ?( y% d/ ^- K) v
  8 v' G) J% @: j, a2 w' |
  5 ]3 E$ L  ^  S/ S; h
• 
  
  Driver Info (not using libv4l2):
  
  : ]8 @, o( a' q5 T7 X, B( ]2 y/ ]
• 
  9 W. M) ~! Q( E# E$ Q
  + v; c* A; |: R, @/ T3 ]; A      Driver name   : uvcvideo
  # O: ~9 ~& y8 d8 y. h
  
• 
  
        Card type     : USB2.0 PC CAMERA
  0 n0 W( B3 @: Z9 r' \; |' U" N7 m5 q
  + s1 z% a7 g7 n9 X9 o
• 
  
  5 j* O8 f7 Q( q9 z! L2 H  h, \      Bus info      : usb-sunxi-ehci-1
  
  ; a" a, m( C2 Z0 w& G
• 
  ' H) h; P7 x' M9 q
        Driver version      : 3.10.65
  # d" b! r- f0 [
  
• 
  
        Capabilities      : 0x04000001
  % O" S) [% {6 Q6 p" n
  
• 
  
  ! M( h& [6 O6 ^              Video Capture
  5 i8 i8 u( O. ?
  
• 
    H7 w2 c  f) g2 C# T6 C* ^$ y2 y
                Streaming
  
  $ g# e! P+ D$ L5 F# D
• 
  
  Video input : 0 (Camera 1: ok)
  $ `8 E6 x! \. q- [& Z) G! Q6 S8 F
  
• 
  4 x+ x/ o% F/ C
  . w$ j; o% `) M# v- T+ uFormat Video Capture:
  - r! U% q/ u- Y0 K  S" M
  
• 
  ! `* _/ H" q% ?8 s2 c
  . n. j7 _& [, w      Width/Height    : 640/480
  % Y7 r9 m- g! D$ ~7 u
  4 E, Q; h; ^/ Y7 e4 u
• 
  . @$ K8 S9 C& b/ H, r2 h* h
        Pixel Format    : 'YUYV'
  
  7 }7 `8 Y/ X, n+ t/ n  O( Y/ W& Q4 J
• 
  9 L( b7 k% p$ c/ g5 @
  , W) x( ?( }, J* y% `. F      Field      : None
  8 K( b3 {% w, t
  / w% Q2 ?" J6 s0 |$ K
• 
  8 E9 o6 x" a) H( X0 v1 e  `4 {, l! O
  & N; Z0 K# Q2 V- K4 h8 H% J      Bytes per Line      : 1280
  ( n$ I( r9 S  k( e6 w/ q: d+ U* |0 J
  - @( d2 x# r! q# w5 o% q' a
• 
  " R# [0 o0 n/ G7 r& Y. Z
    J8 r. k; X/ P      Size Image      : 614400
  
  & d# b% ~6 ~9 V+ I: l' D& J, L' }' ^
• 
  
  ; ^4 Q: M1 m& \2 V8 d& S* a0 _8 G      Colorspace      : Default
  
  8 K  J: f: W" ]$ O6 \
• 
  $ P7 B' u5 ?( g0 J5 T3 z* Q0 }
  3 r3 U! `6 ]" ?6 P: o/ J9 h+ F      Transfer Function     : Default
  6 N' k5 w8 s5 E, g2 j( P2 p# y
  5 Q2 ~3 k/ l, }3 c
• 
  
        YCbCr Encoding      : Default
  
  
• 
  
        Quantization      : Default
  
  2 g8 I  ]6 ?- f! u, R. i; C  q* [
• 
  
  0 ?2 j; s4 X0 f! gCrop Capability Video Capture:
  
  " v& U# s: J' Y, Z, e
• 
  
        Bounds     : Left 0, Top 0, Width 640, Height 480
  : K9 [8 `0 N- [* _& ]  v: G
  
• 
  , C& j. Z' }0 o6 h6 N
        Default    : Left 0, Top 0, Width 640, Height 480
  3 z- y2 _. B" K+ j8 B
  8 I# ]9 Q& r- d$ ]4 v5 c3 h: x! W
• 
  0 w+ ?4 y0 Q6 Y) B9 o6 n- }
        Pixel Aspect: 1/1
  
  
• 
  
  $ i8 `, x1 W2 T/ _/ L6 SStreaming Parameters VideoCapture:
  
  5 q3 n9 y( Y8 v) u" E
• 
  5 y" J& r9 H, O- E5 o
        Capabilities    : timepeRFrame
  
  
• 
    k1 ]8 M9 h2 @8 P% W- P( d3 q
        Frames per second: 30.000 (30/1)
  
  
• 
  & i: E( V1 o4 Q7 E9 N
        Read buffers     : 0               
  
  ) R% t, T  f- x
• 
  ! D* [9 `" W2 ?& F$ A
  brightness (int)    : min=0 max=255 step=1 default=128value=128               
  " y( H1 E% ~# r
  
• 
  
     contrast (int)    : min=0 max=255 step=1 default=135value=135                 
  
  
• 
  
  saturation (int)    : min=0 max=255 step=1 default=75 value=75                 
  8 |/ m* ]. F! \& {: @7 h2 a
  
• 
  
  + p: e: Q, t7 z; h: L- L. f- y        hue (int)    : min=-127 max=127 step=1 default=0 value=0               
  . U$ t( w# q3 x& y4 v' W
  
• 
  " ~# `) Y0 J& J' X
  ' G/ t& N: Q/ f1 E$ w. p      gamma (int)    : min=1 max=8 step=1 default=4 value=4        
  0 c3 q3 O5 f1 n, x5 V  S
  # X0 l" _  _7 W& U7 r3 a0 k' T. {
• 
  / }( C( ^  l3 r$ c& M
  ) \. L  f0 y* i! I- m$ Tpower_line_frequency (menu)   : min=0 max=2 default=1 value=1                 
  
  7 G9 v1 ~# D# A, L  C1 r) ~3 S
• 
  
  sharpness (int)    : min=0 max=15 step=1 default=5 value=5
  
  ' @" [7 K( d" t& r
• 
  
  . @# E- c4 d+ Pbacklight_compensation (int)    : min=1 max=5 step=1 default=1 value=1
  5 a  n4 ~. U  o6 A
  - [  B3 I! m* M! @6 d1 \! ]+ K
  8 M  \. \0 E) I- `* l0 |9 ?

我们使用了两种型号的USB摄像头，按照手册说明使用内置的uvccamera程序进行测试，不过都没有成功，得到的错误信息如下图所示。

我们使用FFmpeg可以抓取视频，命令行如下：

• 
  

ffmpeg -f video4linux2 -s 640x480 -pix_fmt yuyv422 -i /dev/video0 out.yuv

使用Windows版本的ffplay可以正常播放抓取的视频，命令行如下：

• 
    ]7 c. t# X3 i+ j

ffplay -s 640x480 -pix_fmt yuyv422 out.yuv
9 `) @9 X; a9 ?- F# b9 M9 U* I

上面保存的是YUV格式的原始视频，如果要保存压缩视频，可以用下面的命令行：

• 
  

ffmpeg -y -t 15 -r 25 -f video4linux2  -i /dev/video0 out3.mp4-timestamps bs

其中的-r 25表示每秒采样25帧，这个参数必须有，否则FFmpeg可能会不断地采集并压缩同一视频帧。-r参数超过30没有什么意义，因为USB摄像头的最大能力就是30fps。

. F" S) s% c  F2 K1 N- R

飞凌嵌入式OKA40i-C开发板可以对于1080P的视频压缩达到45fps，所以对USB摄像头的视频压缩应该没有什么压力。

3. FFmpeg性能测试

FFmpeg有个benchmark参数可以方便进行性能测试。我们对A40i开发板自带的一个MP4视频就行解码测试，命令行如下：

• 
  

ffmpeg-benchmark -i translate.mp4 -f null –
2 e0 O8 b# `$ u6 Z

得到的测试数据如下：

• 
  
  video:
  
  
• 
  
  148kB
  ) v/ h4 S! t* x& a$ \. L% f! \
  
• 
  3 ?1 U6 b* C$ n3 S9 [' l
  audio:
    D2 R; K. ^( B' K0 Q$ ]) G, W
  
• 
  
  3428kB subtitle:0kB other streams:0kB globalheaders:0kB muxing
  7 g/ r: z& O! b0 e! M& R' i
  
• 
  ' S$ h2 ~1 H4 {' c5 M8 J
  overhead:
  / ~0 f6 D. r; J  L
  
• 
  : ^# C( i  o3 A# P' \% c  ]# W4 q
  unknown
  
  
• 
  
  + I  `7 r. [3 e3 H. Hbench:
  2 V- A; f4 Q7 C! I" m3 E
  
• 
  " f  H$ p- i: A5 \
  , t/ Z$ ]: \% Xutime=2.820s stime=0.110s rtime=0.956s
  
  , F- ~: [* ^6 H; w4 g
• 
  8 F# R1 M& ^. E( l
  bench:
  
  
• 
  - d/ a+ `" `6 o$ r
  maxrss=14208kB
  
  * O9 f8 p- `0 |
  ( P$ {- Q1 r! ?( O2 Q& @

由于我手上暂时没有其他的开发板可以对比，于是就通过我用了5年的i7-6500笔记本测试了一下，测试结果如下：

• 
  0 r1 a% F% d, E$ _$ @
  video:
  
  
• 
  
  241kB
  $ r4 f: I. U; `4 |# F# F! r' ?( N
  4 h' q2 H* i" w8 _8 K1 |) M7 f
• 
  
  7 ~+ h; j, R- b/ R! |( xaudio:
  
  
• 
  
  3428kB subtitle:0kB other streams:0kB globalheaders:0kB muxing
  
  
• 
  % Y5 I1 _! c1 f
  % E$ h' r9 J# C8 G6 j6 B6 h# F  loverhead:
  4 j8 ^2 \- W+ z% O8 L4 D
  6 K2 o0 N5 [8 U% r2 z
• 
  
  unknown
  
  * q: Z0 o/ T2 x
• 
  
  bench:
  0 w0 _: P: X# X
    ?) e2 x% c7 U% M
• 
  
  2 `4 J; M1 C( _& h; }utime=0.391s stime=0.000s rtime=0.228s
  0 }# `1 ^% y8 a4 f( A
  
• 
  0 z) B3 l3 d& I: ]/ k
  " B+ R% h7 l+ f; f- `+ xbench:
  
  8 L% z7 h6 b! Z9 x: S. i
• 
  0 o) ]4 S7 b: ?- `3 x/ S
  * |: Q' `0 K  O' Imaxrss=20316kB
  ! H9 g9 H2 s- x2 r4 L! S" l& p! R
  6 D7 b' K% R7 K7 p6 ?# Y
  

  H4 W( \2 n/ n) w- a

4.  FFmpeg产生实时视频流

FFmpeg可以支持实时视频流的发送和接收，从而可以把OKA40i-C开发板上的视频实时发送到PC上，由PC上的软件实时接收并显示。我们可以使用下面的命令将OKA40i-C开发板上的一个MP4转换为RTP码流发送的PC上：

• 
  

ffmpeg -re -i test.mp4 -an -c copy -f rtp rtp://192.168.0.105:1234
3 Z4 I) l: r  @2 g2 C/ v

使用Wireshark可以看到在PC机的1234端口收到大量来自OKA40i-C开发板的H.264视频流。

# f: y& @8 c0 h1 s( I9 l- \$ E

如果想在PC上显示视频流，需要建立一个SDP文件，它描述视频流中的端口和编码信息。

SDP是来自SIP标准中定义，目前VLC、Apple QuickTime和ffplay等很多软件都可以打开SDP文件，并按照SDP中的描述显示视频流。SDP文件并不需要手工编写，在ffmpeg运行时它会显示命令行所对应的SDP定义，如下图所示。

也可以用重定向将输出写入一个SDP文件，如：

• 
  

ffmpeg -re -i test.mp4 -an -c copy -f rtp rtp://192.168.0.105:1234 > rtp.sdp
; K0 U5 n5 D$ }; T& m% [+ `7 s

下面就是使用VLC显示的接收到的视频流。

5.  FFmpeg转发USB摄像头的视频流

前面演示了将MP4文件转换为视频流，我们也可以将USB摄像头采集的内容实时转发到PC上，使用下面的命令行即可。

ffmpeg -y -t 15 -r 25 -f video4linux2  -i /dev/video0 -f rtprtp://192.168.0.105:1234 > usb.sdp

somethingabc

步骤很详细，小白式操作