ISP(图像信号处理)算法概述/工作原理/架构/处理流程详细介绍

dragongfly

ISP是Image Signal Processor 的简称，也就是图像信号处理器。
: a% S$ G% }) |/ T( b3 dDSP是Digital Signal Processor 的缩写，也就是数字信号处理器。
0 v8 o1 {5 x9 x7 gISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。
而DSP功能就比较多了，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。ISP是一类特殊的处理图像信号的DSP。
ISP架构方案：分为独立（外置）与集成（内置）两种形式。
9 U' w! j' ^# T4 M* Y0 l7 r4 vCPU处理器包括：AP、BP、CP。其中BP：基带处理器、AP：应用处理器、CP：多媒体加速器。

2 Q; i6 l6 i: F  `$ yISP的主要内部构成
如下图所示，ISP内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为 ISP 是一个 SOC（system of chip），可以运行各种算法程序，实时处理图像信号。

: k0 K' N; p% pCPU：CPU即中央处理器，可以运行AF、LSC等各种图像处理算法，控制外围设备。现代的ISP内部的CPU一般都是ARMCortex-A系列的，例如Cortex-A5、Cortex-A7。
SUBIP：SUBIP是各种功能模块的通称，对图像进行各自专业的处理。常见的SUBIP如DIS、CSC、VRA等。
图像传输接口：图像传输接口主要分两种，并口ITU和串口CSI。CSI是MIPICSI的简称，鉴于MIPICSI的诸多优点，在手机相机领域，已经广泛使用MIPI-CSI接口传输图像数据和各种自定义数据。外置ISP一般包含MIPI-CSIS和MIPI-CSIM两个接口。内置ISP一般只需要MIPI-CSIS接口。
通用外围设备：通用外围设备指I2C、SPI、PWM、UART、WATCHDOG等。ISP中包含I2C控制器，用于读取OTP信息，控制VCM等。对于外置ISP，ISP本身还是I2C从设备。AP可以通过I2C控制ISP的工作模式，获取其工作状态等。

ISP的控制结构
ISP包括：1、ISP逻辑    2、运行在其上的firmware
# I$ W+ ]6 D" X) V' s如图所示，lens 将光信号投射到sensor 的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运行在其上的firmware（固件）对ISP逻辑，从而对lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。
ISP 由ISP逻辑及运行在其上的Firmware组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制lens、sensor 和ISP 逻辑，以达到自动调节图像质量的目的。
' D' [3 }4 K, Q" \( h% h
ISP 的Firmware包含三部分，一部分是ISP 控制单元和基础算法库，一部分是AE/AWB/AF 算法库，一部分是sensor 库。Firmware 设计的基本思想是单独提供3A算法库，由ISP控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。ISP firmware 架构如图所示。
不同的sensor 都以回调函数的形式，向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时，将通过这些回调函数获取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens 步进聚焦或旋转光圈等。

3 P0 H4 J) X0 {3 ?/ k9 D0 M' V& qAP对ISP的操控方式
" n2 S  `8 A! o1 }6 O. |: H- F
CPU处理器包括：AP、BP、CP。BP：基带处理器、AP：应用处理器、CP：多媒体加速器
! N2 r$ L5 l8 ]/ [% ?+ C7 Y, ?这里所说的控制方式是AP 对 ISP 的操控方式 。
I2C/SPI：这一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中，外置 ISP 一般是实现为 I2C 设备，然后封装成 V4L2-SUBDEV。
8 e6 x5 O/ V9 I5 I0 Z; QMEM MAP：这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间，
MEM SHARE：这也是内置 ISP 的做法。AP 这边分配内存，然后将内存地址传给 ISP，二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。
1 M& m! g" S6 f# Y2 d
, z+ B! h5 m$ V8 Y. {* A; P& v" t* S外置 ISP 架构的优点主要有：
$ K9 Y3 c$ g1 O: T+ T# r能够提供更优秀的图像质量：在激烈的市场竞争下，能够存活到现在的外置 ISP 生产厂商在此领域一般都有很深的造诣，积累了丰富的影像质量调试经验，能够提供比内置 ISP 更优秀的性能和效果。因此，选用优质的外置 ISP 能提供专业而且优秀的图像质量。
" x' x0 N! d( ]0 m/ E能够支援更丰富的设计规划：外置 ISP 的选型基本不受 AP 的影响，因此魅族可以从各个优秀 ISP 芯片供应商的众多产品中甄选最合适的器件，从而设计出更多优秀的产品。
  h- D& z5 }$ C4 j; ?& N能够实现产品的差异化：内置 ISP 是封装在 AP 内部的，是和 AP 紧密的联系在一起，如果 AP 相同，那么 ISP 也就是一样的。因此基于同样 AP 生产出来的手机，其 ISP 的性能也是一样的，可供调教的条件也是固定的，这样就不利于实现产品的差异化。而如果选择外置 ISP，那么同一颗 AP，可以搭配不同型号的 ISP，这样可以实现产品的差异化，为给用户提供更丰富和优质的产品。

8 J1 `1 ?- F- y外置 ISP 架构的缺点主要有：
成本价格高：外置ISP需要单独购买，其售价往往不菲，而且某些特殊功能还需要额外支付费用。使用外置ISP，需要进行额外的原理图设计和layout，需要使用额外的元器件。
开发周期长：外置 ISP 驱动的设计需要多费精力和时间。使用外置 ISP 时，AP 供应商提供的 ISP 驱动就无法使用，需要额外设计编写外置 ISP 驱动。另外，为了和 AP 进行完美的搭配，将效果最大化，也往往需要付出更多的调试精力。上文也提到，使用外置 ISP，需要进行额外的原理图设计和 LAYOUT，需要使用额外的元器件，这也是需要花费时间进行处理的。
/ d' J9 t# n+ ~: a+ g5 Z) {( R8 e* u

RGB_lamp

感谢提供，支持支持。

VIC56

谢谢分享谢谢分享