本文为camera isp pipline概述

ISP,即image signal processing。为图像成型做的处理工作。适应不同光学环境下图像的还原。

pipline流程如下:

ISP PIPLINE(零) 知识综述预热-LMLPHP

光通过LENS(镜头)投射到SENSOR,经过光电转换为模拟电信号,在A/D转换为数字信号,送到DSP处理模块做后续处理。

Bayer format 图像,经过黑电平补偿 ( black level compensation)、镜头矫正 ( lens shading correction)、坏像素矫正 ( bad pixel correction)、颜色插值 ( demosaic)、Bayer 噪声去除、 白平衡( awb) 矫正、 色彩矫正( color correction) 、 gamma 矫正、 色彩空间转换( RGB 转换为 YUV) 、 在 YUV 色彩空间上彩噪去除与边缘加强、 色彩与对比度加强,中间还要进行自动曝光控制等, 然后输出 YUV( 或者 RGB) 格式的数据。

ISP PIPLINE(零) 知识综述预热-LMLPHP

备注:

       1.     先来预热,了解camera基本结构。

            ISP PIPLINE(零) 知识综述预热-LMLPHP

2.    量子效率

量子效率(QE)是衡量光子转换为电荷或者电子的效率。Sensitivity = QE * Pixel_size. (pixel_size越大感光面积越大,单位面积接受光子越多)。

每个pixel感光电路是一个二极管,二极管反向截止的效应,类似一个电容,当接收的光多的时候电荷就多,电压就大,所以曝光量一高,pixel就越亮。

ISP PIPLINE(零) 知识综述预热-LMLPHP

3.    CFA引入colorfilter的先行基础以及Crosstalk(参考https://www.docin.com/p-427588397.html各波长互相干扰)

下图中上面是实际的,下面是理想的情况。上面图中同时用IR滤波器对红外频率的光进行了频率截断。避免红外光的干扰。

ISP PIPLINE(零) 知识综述预热-LMLPHP

4. 光电转换后电压太小需要一个模拟增益(AG)或者叫直流调制。将电压整体抬升一个常数。再进行模数转换。

ISP PIPLINE(零) 知识综述预热-LMLPHP

ISP PIPLINE(零) 知识综述预热-LMLPHP

reset先对二极管进行充电保持状态,等待曝光。

ISP PIPLINE(零) 知识综述预热-LMLPHP

exposure 后充电状态的二极管电荷发生变化。

ISP PIPLINE(零) 知识综述预热-LMLPHP

曝光后有正负电荷形成的电势差,放电。

ISP PIPLINE(零) 知识综述预热-LMLPHP

最后进行模数转换。

5. Sensor动态范围

ISP PIPLINE(零) 知识综述预热-LMLPHP

1.full well就是reset的时候上电电荷能力。

2.暗电流是完全没有光的时候电荷井里也会有电荷。

3.fill factor是中间部分的稳定电荷。

sensor光电转换动态范围计算如下:DynamicRange = FillFactory / dark current 。简化就是Saturation/black level

04-13 22:45