DSP

基于DSP/ARM图像采集原理和器件选型(转)

2019-07-13 20:12发布

组成一套图像与视频应用系统包括两部分:图像成像单元和后端处理单元。首先讨论图像成像单元,除了一些特殊应用外,市场上常见的图像成像部件基本可分为CCD和CMOS两种。   CCD 即电荷耦合器件,使用一种高感光度的半导体材料制成,包括线*和矩阵两种。CCD的特点是灵敏度高,噪声小, {MOD}彩饱和度好,但是价格较高。CCD传感器正 在得到CMOS传感器的挑战,CMOS(Comple-mentary Metal-Oxicle-Semiconductor,互补金属氧化物半导体集成电路影像传感器)主要是利用硅和锗这两种元素所做成的半导体,其优点是 功耗小,宜于批量生产,价格比CCD低很多。但是CMOS传感器对照度要求比较高,当光线较暗时噪声明显加大,成像质量比CCD差。目前手持应用市场的火 爆带动了CMOS的需求大大增加,图像质量逐步提供,相信CMOS会得到越来越多的市场空间。   CCD传感器基本被日本厂家垄 断,CMOS生产厂家则有很多,比较知名的有Micron、OmniVision、Hynix、Sharp、Toshiba等。我们使用过多家的产品,感 觉不同厂家的CMOS传感器大同小异,结构上一般包括感光阵列、模拟处理、A/D转换、时序电路、寄存器控制电路、图像质量控制等部分。早期的传感器不包 括DSP电路,即“sensor only”。现在的传感器都可以说是SOC了,包括DSP电路,可以实现自动增益、自动曝光、自动白平衡等控制。   CMOS传感器接口信号包括主时钟信号、象素时钟、水平同步/参考、垂直同步和象素数据信号,如下所示:   MCLK ――  后端DSP/arm提供给传感器的时钟,也可以由晶阵提供   PIXELCLK ―― 传感器输出的象素时钟,所有数据与该时钟同步   HSYNC/HREF ―― 水平参考信号,表示一行数据(包括有效数据和Blank)   VSYNC ―― 垂直同步信号,表示一帧数据(包括有效数据和Blank)   Data[7:0] ―― 8位象素数据,有的传感器是输出10位或者更高精度   CMOS 传感器的输出信号格式一般有几种:Raw RGB(Bayer)、RGB565、YUV422、ITU656。Raw RGB输出原始的RGB数据,通常是每个象素仅输出一个数据,偶数行RG RG RG…,奇数GB GB GB…,需要进行插值才可以得到每个象素点的RGB数据。RGB565是每个象素点输出两个字节,共16bits,由R(5bits)、G(6bits) 和B(5bits)组成。因为人眼对绿 {MOD}更敏感,所以G分量由6bits代表。YUV422也是每个象素点输出两个字节,每行由序列UY VY UY VY…组成,其输出顺序一般可以控制。同样由于人眼对亮度更敏感,所以每个象素输出一个Y值,而 {MOD}差则是各一个象素输出一个。RGB565和YUV422 都是需要时序信号配合的,而ITU565格式本身包含帧头和帧尾,因而可以不需要HSYNC和VSYNC信号的配合。   前面讨论了 前端传感器部分,下面讨论一下后端处理单元。随着ARM的普及,越来越多的工程师开始使用ARM作为后端处理单元。常见的ARM如2410、9200、 44b0等,没有视频输入接口,需要增加CPLD/FPGA电路控制时序和读入传感器输出的图像数据。另外一类ARM由于具有视频输入接口从而大多简化了 电路,直接可以输入CMOS传感器的输出。这一类的arm处理器包括Freescale mxl/mx21/mx27/mx31、Samsung 2440、Intel PXA270等。我们在为自己的应用选型时,除了考虑处理器的功耗、价格、主频、外频外,还应该考虑处理器的内部处理能力,比如DMA能力、是否有硬件加速能力等因素。通常图像采集后都会用到颜 {MOD}空间变换、放大缩小等功能,所以如果处理器具有硬件加速能力则可以大大提高运算效率。在这方面 Freescale MX21应该是不错的,其预处理和后处理模块通过硬件实现颜 {MOD}变换和插值变换,大大提高运算速度。如果使用DSP作为后端处理器,那就比较简单了。无论是 TI系列还是ADI Blackfin系列,都具备视频输入接口,可以直接输入传感器的输出信号。   另外一类重要的应用是视频编解码,主要用于安防领域。当前流行的编解码算法是MPEG-4,而H.264也正在迅速的占领市场,传统的M-JPEG则在交通监控领域继续发挥作用。经常看到网友在论坛上讨论基于ARM实现视频编解码算法,结果可能大多是让您失望。我们曾经试图做这个工作,最后是在Freescale MXL处理器上实现QCIF分辨率的准实时MPEG-4编码,而且使用MXL的硬件DCT加速、汇编优化和半象素搜索优化算法。很明显基于传统ARM处理 器实现视频编码算法是很有难度的和不太现实的。不过您也别太失望,有一类arm处理器内部集成编解码CODEC,算法基本不占用CPU时间,所以还是可以用的。这一类主要有Freescale MX21/MX27/MX31、海思Hi3510,好像还有上海杰得。Mx21内嵌Hantro的CODEC,可以做到CIF@30fps,MX27可以 做到H.264@D1,海思3510也可以做到H.264的D1编码。相对使用DSP处理视频算法,SOC的优点是开发简单,直接调用编解码API就可以 了。随着市场竞争的加剧,相信会出现越来越多的具备视频编解码能力的arm处理器。   相对于arm处理器,目前更多的工程师使用 DSP处理器完成编解码算法。适合视频处理的DSP也有很多,比较知名的有TI系列、ADI系列和Philips系列。TI自不必说,大家都很熟悉。 Philips(NXP)的Trimedia系列DSP是老牌的视频处理芯片,应用也非常广泛。ADI的Blackfin系列视频处理器则是较新一点的, 相对于传统DSP,Blackfin的最大优势在于其MSA体系结构,是DSP与RISC处理器的结合体。这一优点使得Blackfin既可以运行操作系 统,又可以高效的运行算法,从而可以实现单芯片视频应用系统。我们知道单芯片系统一般成本会比双处理器系统低,这在对成本控制越来越严格的今天的确比较有诱惑力