ISP(图像信号处理)算法概述/工作原理/架构/处理流程详细介绍

dragongfly

ISP是Image Signal Processor 的简称，也就是图像信号处理器。
DSP是Digital Signal Processor 的缩写，也就是数字信号处理器。
ISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。
& [+ B. @: n; L3 `而DSP功能就比较多了，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。ISP是一类特殊的处理图像信号的DSP。
ISP架构方案：分为独立（外置）与集成（内置）两种形式。
) ]3 e+ N2 c$ N2 u+ y0 I) uCPU处理器包括：AP、BP、CP。其中BP：基带处理器、AP：应用处理器、CP：多媒体加速器。

ISP的主要内部构成
如下图所示，ISP内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为 ISP 是一个 SOC（system of chip），可以运行各种算法程序，实时处理图像信号。

CPU：CPU即中央处理器，可以运行AF、LSC等各种图像处理算法，控制外围设备。现代的ISP内部的CPU一般都是ARMCortex-A系列的，例如Cortex-A5、Cortex-A7。
SUBIP：SUBIP是各种功能模块的通称，对图像进行各自专业的处理。常见的SUBIP如DIS、CSC、VRA等。
图像传输接口：图像传输接口主要分两种，并口ITU和串口CSI。CSI是MIPICSI的简称，鉴于MIPICSI的诸多优点，在手机相机领域，已经广泛使用MIPI-CSI接口传输图像数据和各种自定义数据。外置ISP一般包含MIPI-CSIS和MIPI-CSIM两个接口。内置ISP一般只需要MIPI-CSIS接口。
通用外围设备：通用外围设备指I2C、SPI、PWM、UART、WATCHDOG等。ISP中包含I2C控制器，用于读取OTP信息，控制VCM等。对于外置ISP，ISP本身还是I2C从设备。AP可以通过I2C控制ISP的工作模式，获取其工作状态等。

ISP的控制结构
ISP包括：1、ISP逻辑    2、运行在其上的firmware
; b3 Y, H# W4 T如图所示，lens 将光信号投射到sensor 的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运行在其上的firmware（固件）对ISP逻辑，从而对lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。
ISP 由ISP逻辑及运行在其上的Firmware组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制lens、sensor 和ISP 逻辑，以达到自动调节图像质量的目的。
+ x- y. N0 o3 f# L2 B
ISP 的Firmware包含三部分，一部分是ISP 控制单元和基础算法库，一部分是AE/AWB/AF 算法库，一部分是sensor 库。Firmware 设计的基本思想是单独提供3A算法库，由ISP控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。ISP firmware 架构如图所示。
不同的sensor 都以回调函数的形式，向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时，将通过这些回调函数获取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens 步进聚焦或旋转光圈等。
2 ]; d. ]( [% a- f
AP对ISP的操控方式
2 e' e% J1 A& `& V. E
: B1 f' G" M* V5 A' Y- {: p5 vCPU处理器包括：AP、BP、CP。BP：基带处理器、AP：应用处理器、CP：多媒体加速器
这里所说的控制方式是AP 对 ISP 的操控方式 。
+ L6 X8 K6 Q& T0 }  A! ]5 zI2C/SPI：这一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中，外置 ISP 一般是实现为 I2C 设备，然后封装成 V4L2-SUBDEV。
. T4 i! S! A$ t) `7 FMEM MAP：这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间，
2 O6 n  K" \% rMEM SHARE：这也是内置 ISP 的做法。AP 这边分配内存，然后将内存地址传给 ISP，二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。
2 z* T5 Q, F/ c4 |! G$ J+ q7 W
外置 ISP 架构的优点主要有：
能够提供更优秀的图像质量：在激烈的市场竞争下，能够存活到现在的外置 ISP 生产厂商在此领域一般都有很深的造诣，积累了丰富的影像质量调试经验，能够提供比内置 ISP 更优秀的性能和效果。因此，选用优质的外置 ISP 能提供专业而且优秀的图像质量。
能够支援更丰富的设计规划：外置 ISP 的选型基本不受 AP 的影响，因此魅族可以从各个优秀 ISP 芯片供应商的众多产品中甄选最合适的器件，从而设计出更多优秀的产品。
能够实现产品的差异化：内置 ISP 是封装在 AP 内部的，是和 AP 紧密的联系在一起，如果 AP 相同，那么 ISP 也就是一样的。因此基于同样 AP 生产出来的手机，其 ISP 的性能也是一样的，可供调教的条件也是固定的，这样就不利于实现产品的差异化。而如果选择外置 ISP，那么同一颗 AP，可以搭配不同型号的 ISP，这样可以实现产品的差异化，为给用户提供更丰富和优质的产品。
2 O, e6 D' k+ J& i
, ?3 v4 d4 u& Z: q" W* X外置 ISP 架构的缺点主要有：
成本价格高：外置ISP需要单独购买，其售价往往不菲，而且某些特殊功能还需要额外支付费用。使用外置ISP，需要进行额外的原理图设计和layout，需要使用额外的元器件。
6 o5 s( M$ E9 z8 R* k3 V* i开发周期长：外置 ISP 驱动的设计需要多费精力和时间。使用外置 ISP 时，AP 供应商提供的 ISP 驱动就无法使用，需要额外设计编写外置 ISP 驱动。另外，为了和 AP 进行完美的搭配，将效果最大化，也往往需要付出更多的调试精力。上文也提到，使用外置 ISP，需要进行额外的原理图设计和 LAYOUT，需要使用额外的元器件，这也是需要花费时间进行处理的。

RGB_lamp

感谢提供，支持支持。

VIC56

谢谢分享谢谢分享