EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
本帖最后由 Tronlong123 于 2023-6-9 14:44 编辑 & c3 c) ^/ v1 G% w
- r( n1 ?# x, ^7 d- X0 Q" R
前 言本文主要介绍FPGA视频开发案例的使用说明，适用开发环境：Windows 7/10 64bit、Xilinx Vivado 2017.4、Xilinx SDK 2017.4。
' x2 f$ o+ L3 I+ u) @! q
评估板简介本案例采用的评估版为创龙科技TL5728F-EVM，它是一款基于TI Sitara系列AM5728（双核ARM Cortex-A15 +浮点双核DSP C66x） + Xilinx Artix-7 FPGA处理器设计的高端异构多核评估板，由核心板与评估底板组成。AM5728与Artix-7在核心板内部通过GPMC、I2C通信总线连接，在评估底板通过PCIe通信总线连接。核心板经过专业的PCB Layout和高低温测试验证，稳定可靠，可满足各种工业应用环境。评估板接口资源丰富，引出双路千兆网口、双路SFP光口、USB 3.0、CAN、RS485、SATA、HDMI、GPMC、FMC等接口，方便用户快速进行产品方案评估与技术预研。 ![]() 6 L [% B* H+ }# z# a! C! j2 W+ P
在进行本文如下操作前，请先按照调试工具安装文档安装Xilinx Vivado开发工具包。本文默认使用创龙科技的TL-DLC10下载器进行操作演示。 根据评估底板丝印将Artix-7的BOOT SET拨码开关(SW3)拨至01(1~2)，此档位为SPI FLASH启动模式（此模式可进行程序在线加载、固化并离线启动），并将评估板通过下载器正常连接至PC机。 ![]() . l) j0 @% b+ ^: G1 W
图 1 ' K: F* \: S9 ^6 N5 ?
cameralink_display案例cameralink_display案例分为FPGA程序与MicroBlaze裸机程序两部分。FPGA程序位于产品资料“4-软件资料\Demo\FPGA_Demo\All-Programmable-FPGA-demos\cameralink_display\hw\”目录下，包含project和bin两个目录。基于MicroBlaze软核的裸机程序位于产品资料“4-软件资料\Demo\All-Programmable-FPGA-demos\cameralink_display\sw\baremetal_demo”目录下，包含project和bin两个目录。 5 _1 j+ w& B$ j: Z# Y
案例功能案例功能：评估板通过FMC视频模块TLCameraLinkF的CameraLink接口采集分辨率为1280 x 1024的视频，并通过TLCameraLinkF模块的HDMI OUT接口输出采集到的视频。 ![]()
- ?5 `" `* T. Z9 K图 2 程序功能框图
9 O0 a& I2 z6 y5 ^* ~ `
本案例FPGA程序支持CameraLink Full模式（工程为cameralink_display_full_xx）与CameraLink Base模式（工程为cameralink_display_base_xx）。 Full模式工程编译后生成的可执行文件为cameralink_display_full_xx.bit，Base模式工程编译后生成的可执行文件为cameralink_display_base_xx.bit。
9 [! N A' s2 [; k
操作说明本案例支持三款CameraLink相机，具体说明如下。 表 1 厂家 | 相机型号 | 支持模式 | 相机性能 | Microview （北京微视） | RS-A5241-CM107-S00 （黑白CameraLink相机） | Full | 全幅面2560*2048下，帧率可达107fps | Base | RS-A5241-CC107-S00 （彩色CameraLink相机） | Full | 全幅面2560*2048下，帧率可达107fps | Base | MVC1381SAM-CL60-S00 （黑白CameraLink相机） | Base | 全幅面1280*1024下，帧率可达60fps |
Full模式硬件连接方法 如采用Full模式，请将创龙科技的TLCameraLinkF模块连接至评估板FMC接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。 请将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将CameraLink相机的CL1通过数据线连接至TLCameraLinkF模块的CameraLink2接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。 ![]() 0 U$ m4 P2 c0 t) m+ X
图 3 Base模式硬件连接方法 如采用Base模式，请将创龙科技的TLCameraLinkF模块连接至评估板FMC接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。 请将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。
( t8 j$ p" A5 w1 r0 a T图 4 下面对三款不同型号的CameraLink相机在Full/Base模式下的操作步骤进行说明。 1.黑白CameraLink相机RS-A5241-CM107-S00，Full模式 请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出黑白图像。
0 g0 X$ @, O2 K* T图 5
* t- @, X2 V$ I2. 彩色CameraLink相机RS-A5241-CC107-S00，Full模式 请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出彩色图像。 7 x0 T* L' T5 ~; J9 P( m( W
图 7 . m* ]+ r5 ?4 p. j
图 8 备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。 3.黑白CameraLink相机RS-A5241-CM107-S00，Base模式 请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出黑白图像。 ' L3 s# B( M1 L, f" _1 o
图 9
& q# N* ?' \# o d5 [# g图 10 4.CameraLink相机RS-A5241-CC107-S00，Base模式 请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
3 u' Q7 e4 z2 o5 ?; b- z- T图 11
; k; W+ v3 E9 f! K# {图 12 备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。 ! a) T/ B9 G9 ~: K( e7 a/ ^
5.黑白CameraLink相机MVC1381SAM-CL60-S00，Base模式 请运行Base模式程序，即可看到串口调试终端打印如下信息。请输入"3"选择相机型号为MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI显示屏输出黑白图像。 ! X$ | M+ n7 p) {6 z6 c" Q
图 13 : _! Z3 W& \; t! W( x
图 14 " h( z! K" o/ ^/ D7 u
关键代码(MicroBlaze)MicroBlaze裸机源码为"sw\baremetal_demo\project\cameralink_display\src\"，关键代码说明如下。 - main函数。
7 o0 n' o: u* \% y0 K: a, v7 M5 C. E* @
5 e m+ B" Q4 z图 15 4 @: B9 p h6 s) A
图 16
* g i6 F+ j1 U' o
图 17
& W$ f3 ]/ J% Q+ K& u
2.初始化VDMA，将采集到的视频数据缓存至DDR，再进行HDMI视频输出。 图 18 * p }* K! C' W& }
图 19 m6 |. T( D4 ]. \, _; x
图 20 6.初始化Sensor Demosaic IP核，以将彩色CameraLink相机的Bayer格式视频数据转化为RGB格式。
图 21 2 H3 @8 e0 |2 V/ h' y$ E
图 22 Vivado工程说明点击BLOCK DESIGN开发界面下的"Address Editor"选项，可查看IP核分配的地址，MicroBlaze可通过对应地址对IP核进行控制。 # p8 Z3 s; t. q9 i+ E/ Z
图 23 本案例分别支持CameraLink Full模式（工程为cameralink_display_full_xx）与CameraLink Base模式（工程为cameralink_display_base_xx）。两者区别如下： - Full模式Vivado工程：Pixels Per Clock配置为8，即每个时钟8个像素。
- Base模式Vivado工程：Pixels Per Clock配置为2，即每个时钟2个像素。
V) W& J: b! ^' S( Q% c$ e
2 _. ]. s' [4 o" u& W' G) S
1 J8 r4 U3 |# O! A. c: h5 s2 i
图 24 Full模式
$ k: P0 I- r, l; Q- T! @; y* f+ |图 25 Base模式 CameraLink Full模式Vivado工程顶层文件为"hw\project\cameralink_display_full_xx\cameralink_display.srcs\sources_1\imports\hdl\cameralink_display_full.v"。 CameraLink Base模式Vivado工程顶层文件为"hw\project\cameralink_display_base_xx\cameralink_display.srcs\sources_1\imports\hdl\cameralink_display_base.v"。 关键代码说明如下。 - 定义模块接口。. w( y! o4 m4 T% E# v) {9 ?0 A
) A9 M- M# x" @
4 W& `+ K- }9 C" O' g
图 26 - 使用STARTUPE2原语输出复位信号。% p; `9 H* D9 i
/ W9 R; Q* N/ p) U8 {! Z
! K- b: a2 r' @6 B# | v1 e& K图 27 - 调用Block Design。6 Y2 y0 H) T: ?+ }1 `
0 t2 }' Q* p8 l) b; v# \
$ d. m5 T) h5 Z; n3 a/ l+ H6 w图 28 模块/IP核配置lvds_n_x_1to7_sdr_rx模块本案例使用lvds_n_x_1to7_sdr_rx模块将CameraLink相机输入的差分视频数据转化成并行视频数据。 lvds_n_x_1to7_sdr_rx模块开发文档为产品资料“6-开发参考资料\Xilinx官方参考文档\”目录下的《xapp585-lvds-source-synch-serdes-clock-multiplication.pdf》。lvds_n_x_1to7_sdr_rx模块源码文件为Vivado工程"cameralink_display.srcs\sources_1\imports\hdl\lvds_n_x_1to7_sdr_rx.v"，具体配置说明如下。 - delay_refclk_in接入由Clocking Wizard输出的200MHz参考时钟。
# K% @1 h6 i3 b4 |& w/ l. ?! L6 X3 }2 o: ]5 t+ E
& r* x) r4 L# K2 E9 ?; w图 29 - 配置N（通道数量）为3对应Full模式，配置N为1则对应Base模式。配置X为4，表示“每个通道的数据差分对数量为4”。
6 ` O; \/ P7 M2 R3 l/ E: a; ^; E
/ Q5 G0 ]1 a) ]
- Base模式：单通道，每通道数据差分对为4组，需1个连接器。
- Medium模式：双通道，每通道数据差分对为4组，需2个连接器。
- Full模式：三通道，每通道数据差分对为4组，需2个连接器。- U N+ }5 d$ M7 s# g! Z) ~0 c
* s' f( u. O+ `
* y" j4 p! [0 K* ?% h" m
图 30 cameralink_bit_allocation_rx模块本案例使用cameralink_bit_allocation_rx模块将转化后的并行视频数据进行重组，分离出行同步信号、场同步型号、数据有效信号和像素数据。 cameralink_bit_allocation_rx模块源码为Vivado工程"cameralink_display.srcs\sources_1\imports\hdl\cameralink_bit_allocation_rx.v"，具体配置与关键代码说明如下。 - 配置N（通道数量）为3对应Full模式，配置N为1则对应Base模式。
8 X& l# T/ t7 I4 G' X7 R9 ?' N6 p5 b, i: ^
- Base模式：单通道，输出端PortA、PortB、PortC有效。
- Medium模式：双通道，输出端PortA、PortB、PortC、PortD、PortE、PortF有效。
- Full模式：三通道，输出端PortA、PortB、PortC、PortD、PortE、PortF、PortG、PortH有效。8 i4 M8 ~: K+ z
* g. a+ E C. i. s" f4 |3 C3 |
% v/ ^( @* e" G图 31 - data_in的数据排列格式。7 ~* m1 q% |: [9 g9 `' I
$ E- H T/ s' W3 R. W
下图为Base模式单通道4组差分对图像数据排列，例如TxIN[7:6]对应D[0:1]，TxIN[4:0]对应D[2:6]。
0 G% _1 y; h9 ?! j" S% q+ P图 32 将Base模式单通道4组差分对图像数据保存在data_in数组的排列顺序如下。 / Z6 B% L, b: M# b/ L
图 33 - 分离行同步信号、场同步信号、数据有效信号和像素数据。: i) C" l+ K$ p/ J
, U0 ? D8 \+ w" y: r s
根据CameraLink V2.0协议，RX24对应行有效信号LVAL（行同步信号），RX25对应帧有效信号FVAL（场同步信号），RX26对应数据有效信号DVAL，具体对应关系如下。
# n7 U' N; G3 ~$ i2 d图 34 根据上图说明，即可将行同步信号、场同步型号、数据有效信号和像素数据进行分离。
7 ^1 m4 B: k5 w. z图 35 VDMA IP核本案例使用VDMA IP核进行视频数据缓存。 VDMA(AXI Video Direct Memory Access) IP核开发文档为产品资料“6-开发参考资料\Xilinx官方参考文档\”目录下的《pg020_axi_vdma.pdf》。 VDMA IP核寄存器列表如下，其中S2MM_xx将视频数据缓存至DDR，MM2S_xx将视频数据从DDR中取出。
' }2 Q* Z; }" B& Y# t图 36 9 r! o( R5 m: t
图 37 VDMA IP核具体配置说明如下。 - Frame Buffers配置为4个。
- Write Burst Size、Read Burst Size均配置为128。
- 读通道的Stream Date Width配置为8。
- 读/写通道的Line Buffer Depth均配置为2048。
& @. _2 f; _ H& x9 }
0 n$ W/ e% J. a1 q8 D* a6 @; x0 b
8 X4 ~3 Y- v: q% n! t v
图 38 - 点击Advanced，保持默认配置，即可避免VDMA同时读写同一个Buffer，造成视频数据传输乱码。 E( N+ K. S) @. Q1 @
, K+ z X9 P6 G6 v; ]4 ~$ H5 H
8 f+ r# h% j5 }; W0 s% p图 39 Video In to AXI4-Stream IP核本案例使用Video In to AXI4-Stream IP核将并行视频信号转换为AXI4-Stream视频流。 Video In to AXI4-Stream IP核开发文档为产品资料“6-开发参考资料\Xilinx官方参考文档\”目录下的《pg043_v_vid_in_axi4s.pdf》，具体配置说明如下。 - Full模式：Pixels Per Clock配置为8，即每个时钟8个像素。Base模式：Pixels Per Clock配置为2，即每个时钟2个像素。
- 视频格式配置为Mono/Sensor。
- 数据位宽配置为8bit。. _4 x4 u9 i5 U8 Y0 e& U4 x: z$ V
- N7 y; {8 ~/ h" c
" z% G& H; ]# Y& x K
图 40 AXI4-Stream to Video Out IP核本案例使用AXI4-Stream to Video Out IP核将AXI4-Stream视频流转化为并行视频信号。 AXI4-Stream to Video Out IP核开发文档为产品资料“6-开发参考资料\Xilinx官方参考文档\”目录下的《pg044_v_axis_vid_out.pdf》，具体配置说明如下。 - FIFO Depth配置为2048。
- Clock Mode配置为Independent（独立时钟）。
5 b/ |+ n# y* i+ s S' N
+ W7 p, o# P. V n5 s: w. z8 d8 c
3 s# j& q2 G3 V' c5 L: V- y0 r+ l8 U
图 41 Video Mixer IP核本案例使用Video Mixer IP核将视频数据叠加到1920 x 1080分辨率的视频中。 Video Mixer IP核开发文档为产品资料“6-开发参考资料\Xilinx官方参考文档\”目录下的《pg243-v-mix-v2.0.pdf》，具体配置说明如下。 Mixer通过MicroBlaze配置寄存器进行使能。
' ?! ^( @( e9 b/ K% f; T* k% c$ J8 {图 42 - Number of Layers配置为3，其中Master Layer(s_axis_video)未使用，仅使用Layer1(s_axis_video1)与Layer2(s_axis_video2)。当采集黑白CameraLink相机的图像时，使用Layer1；当采集彩色CameraLink相机的图像时，使用Layer2。
- 配置可支持的最大分辨率为1920 x 1080。 d0 H" `7 e" L: | Y7 \
- k7 p$ w! K: c+ Z
, e: p( H$ z5 ~5 V
图 43 VTC IP核本案例使用VTC IP核产生用于视频输出的时序。 VTC(Video Timing Controller) IP核开发文档为产品资料“6-开发参考资料\Xilinx官方参考文档\”目录下的《pg016_v_tc.pdf》，具体配置说明如下。 - 点击Detection/Generation，确保不勾选"Include AXI4-Lite InteRFace"及"Enable Detection"。
; } O$ m/ P% f9 x# @) G' V1 a% T4 Z: D* M
- Q" C6 ]3 g2 R; b5 a2 ~: O
图 44 - 点击Default/Constant，Video Mode配置为1080p，其余配置保持默认。0 P. Y9 O; u& h3 p0 f/ G9 y; l
/ P, g0 Y% O+ k# `% |6 i; ^. Q; Z; t
" k* U0 A2 z5 S8 z9 V, R3 e4 E* ~
图 45 Sensor Demosaic IP核本案例使用Sensor Demosaic IP核将彩色CameraLink相机的Bayer格式视频数据转化为RGB格式。 Sensor Demosaic IP核开发文档为产品资料“6-开发参考资料\Xilinx官方参考文档\”目录下的《pg286-v-demosaic.pdf》，具体配置说明如下。图像宽高以及Bayer的格式，通过MicroBlaze配置寄存器进行设置。 7 @* x2 L0 z1 t: x8 x
图 46 由于Sensor Demosaic IP核视频数据输出格式为RBG，因此使用AXI4-Stream Subset Converter IP核将RBG转换成RGB，再进行视频输出。
8 n- ^. Y8 V z) a8 M* o图 47
# I I+ j6 g* l6 y4 G: o/ [图 48 AXI4-Stream Switch IP核本案例使用AXI4-Stream Switch IP核选择黑白或彩色CameraLink相机视频数据进行处理。 AXI4-Stream Switch IP核开发文档为产品资料“6-开发参考资料\Xilinx官方参考文档\”目录下的《pg085-axi4stream-infrastructure.pdf》，具体配置说明如下。本案例通过MicroBlaze配置寄存器，选择将S00_AXIS（视频数据输入通道）路由到M00_AXIS（黑白CameraLink相机视频数据处理通道）或M01_AXIS（彩色CameraLink相机视频数据处理通道）。 - Number of slave interfaces配置为1，即配置1个Slave接口。
- Number of master interfaces配置为2，即配置2个Master接口。
- Use control register routing配置为Yes，即使能AXI4-Lite接口。0 f: U. d; O6 x! `; k
' l# D6 J0 i5 \ g7 C: L
9 F$ {9 a) j, ^' g* V
图 49 Vivado工程编译申请IP核License如需重新编译工程或打开Video Mixer IP核，需在Xilinx官网申请Video Mixer IP核的免费License，并将其正确导入。License申请与导入方法，请查阅调试工具安装文档相关章节，其它IP核无需License。 成功导入后，可在View License Status窗口发现新添加的License。 , F4 i' P/ Y- n; ^) |& c* r! g
图 50 工程编译异常解决本案例包含HLS IP核，由于Vivado工程文件路径过长，可能导致工程编译过程中出现如下错误。 0 @% m- G& u. c$ p- c
图 51 可在Tcl Console窗口执行如下命令，重新生成HLS IP核相关文件，即可正常编译工程。 Vivado# foreach ip_in_proj [get_ips] {compile_c [get_ips cameralink_display_bd_v_demosaic_0_0]}
5 I6 B/ k) G* b* F图 52 Vivado# foreach ip_in_proj [get_ips] {compile_c [get_ips cameralink_display_bd_v_mix_0_0]}
[, J& n' [+ @6 o7 J图 53 更多嵌入式开发知识分享，欢迎关注Tronlong创龙~
. j; m: l3 Y% }+ I% F | 
/1 
发表于 2023-6-9 14:36
收藏
淘帖
支持！
反对！
楼主