数字图像处理(二) 数字图像处理基础

本节主要目的是介绍本书所用到的数字图像处理的一些基本概念。来源于东北大学 魏颖教授的数字图像课程笔记。  

图像的数字化

  上一节中获取图像的方式有很多种，大部分是从感知数据生成数字图像。多数传感器的输出是连续的电压波形，我们需要把连续的感知数据转换为数字形式。这种转换包括两种处理：取样和量化。  
  该式的两边以等效的方式定量的表示了一副数字图像，右边是一个实数矩阵，该矩阵中的每个元素称为图像单元、图像元素或像素。数字图像的原点位于左上角，其中正x 轴向下延伸，正y 轴向右延伸。   1. 矩阵中的每一个元素称为一个像素；$g(i,j)$代表$(i,j)$点的灰度值，即亮度值。   2. 用$g(i,j)$的数值来表示$(i,j)$位置点上灰度级值的大小，即只反映了黑白灰度的关系。   3. 如果是一幅彩色图像， 各点的数值还应当反映色彩的变化，可用$g(i,j,\lambda )$表示，其中λ是波长。   4. 如果图像是运动的，还应是时间$t$的函数，即可表示为g ( i , j , λ , f )    将坐标值数字化称为采样;将振幅数字化称为量化。  

• 图像的采样：

  空间坐标$(x,y)$的数字化被称为图像采样,确定水平和垂直方向上的像素个数N 、M 。  
  采样：图像在空间上的离散化称为采样。也就是用空间上部分点 的灰度值代表图像，这些点称为采样点。由于图像是一种二维分 布的信息，为了对它进行采样操作，需要先将二维信号变为一维信号，再对一维信号完成采样。具体做法是，先沿垂直方向按一 定间隔从上到下顺序地沿水平方向直线扫描，取出各水平线上灰 度值的一维扫描。而后再对一维扫描线信号按一定间隔采样得到 离散信号，即先沿垂直方向采样， 再沿水平方向采样这两个步 骤完成采样操作。对于运动图像（即时间域上的连续图像），需 先在时间轴上采样，再沿垂直方向采样，最后沿水平方向采样由 这三个步骤完成。   在进行采样时，采样点间隔的选取是一个非常重要的问题， 它决定了采样后图像的质量，即忠实于原图像的程度。采样间隔的大小选取要依据原图像中包含的细微浓淡变化来决定。一般， 图像中细节越多，采样间隔应越小。   根据一维采样定理，若一维 信号$g(t)$的最大频率为ω ， 以T ≤ 1 / 2 ω 为间隔进行采样，则能够根据采样结果$g(iT)(i=\dots ,-1,0,1，\dots )$完全恢复$g(t)$。   与采样相关的分辨率的概念:   分辨率：1. 是指映射到图像平面上的单个像素的景物元素的尺寸。单位：像素/英寸，像素/厘米；2. 或者是指要精确测量和再现一定尺寸的图像所必需的像素个数。单位：像素*像素  
  采样处理：将$xy$平面分配到一个网格上，且每一个网格中心的坐标是一个笛卡儿乘积$Z\times Z$的元素对，即所有有序元素对$(a,b)$的集合，其中$a$和$b$属于整数集合$Z$。  
 

• 图像的量化

取值的数字化被称为图像灰度级量化，所谓的量化处理，就是将f  映射到Z 的处理。Z 的最大取值，确定像素的灰度级数G=2m，如256。  
  模拟图像经过采样后，在时间和空间上离散化为像素。但采样所得的像素值（即灰度值）仍是连续量。把采样后所得的各像素的灰度值从模拟量到离散量的转换称为图像灰度的量化。   若连续灰度值用z 来表示，对于满足zi​≤z≤zi+1​的$z$值，都量化为整数qi​称为像素的灰度值，z 与qi​的差称为量化误差。一般，像素值量化后用一个字节8 bit 来表示。   如下图所示，把由黑—灰—白的连续变化的灰度值， 量化为0～255共256级灰度值，灰度值的范围为0～255，表示亮度从深到浅， 对应图像中的颜色为从黑到白。  
  量化的方法有两种：一是等间隔量化， 一是非等间隔量化。   等间隔量化就是简单地把采样值的灰度范围等间隔地分割并进行量化。对于像素灰度值在黑—白范围较均匀分布的图像，这种量化方法可以得到较小的量化误差。该方法也称为均匀量化或线性量化。   非均匀量化是依据一幅图像具体的灰度值分布的概率密度函数，按总的量化误差最小的原则来进行量化。具体做法是对图像中像素灰度值频繁出现的灰度值范围，量化间隔取小一些，而对那些像素灰度值极少出现的范围，则量化间隔取大一些。   由于图像灰度值的概率分布密度函数因图像不同而异， 所以不可能找到一个适用于各种不同图像的最佳非等间隔量化方案。因此， 实用上一般都采用等间隔量化。  
  一幅图像在采样时，行、列的采样点与量化时每个像素量化的级数，既影响数字图像的质量，也影响到该数字图像数据量的大小。   假定图像取$M\times N$个样点，每个像素量化后的灰度二进制位数为Q ，一般Q 总是取为2的整数幂，即$Q=2k$, 则存储一幅数字图像所需的二进制位数b 为:  
  有时，由灰度跨越的值域非正式地称为动态范围，定义为系统中最大可度量灰度与最小可检测灰度之比。作为一条规则，上限取决于饱和度，下限取决于噪声。与这一概念紧密联系的另一概念是图像对比度，定义为：一幅图像中最高和最低灰度级间的灰度差。   对一幅图像，当量化级数Q 一定时，采样点数$M\times N$对图像质量有着显著的影响。采样点数越多，图像质量越好； 当采样点数减少时，图上的块状效应就逐渐明显。   当图像的采样点数一定时，采用不同量化级数的图像质量也不一样。如图所示，量化级数越多，图像质量越好，当量化级数越少时，图像质量越差，量化级数最小的极端情况就是二值图像， 图像出现假轮廓。  
  当限定数字图像的大小时, 为了得到质量较好的图像可采用如下原则：  

1. 对缓变的图像， 应该细量化， 粗采样， 以避免假轮廓。
2. 对细节丰富的图像， 应细采样， 粗量化， 以避免模糊（混叠）。

  对于彩色图像，是按照颜色成分——红（R）、绿（G）、蓝（B）分别采样和量化的。若各种颜色成分均按8 bit量化，即每种颜色量级别是256， 则可以处理256×256×256=16 777 216种颜色。  

• 图像数字化设备

  将模拟图像数字化成为数字图像，需要某种图像数字化设备。常见的数字化设备有数字相机、扫描仪、数字化仪等。   图像数字化设备的性能主要有像素大小、图像大小、线性度、噪声等。  

图像的表示

  静态图像可分为矢量(Vector)图和位图（Bitmap），位图也称为栅格图像。   矢量图：是用一系列绘图指令来表示一幅图，如AutoCAD中的绘图语句。这种方法的本质是用数学(更准确地说是几何学)公式描述一幅图像。图像中每一个形状都是一个完整的公式，称为一个对象。对象是一个封闭的整体，所以定义图像上对象的变化和对象与其他对象的关系对计算机来说是简单的， 所有这些变化都不会影响到图像中的其他对象。   位图是通过许多像素点表示一幅图像，每个像素具有颜色属性和位置属性。位图可以从传统的相片、幻灯片上制作出来或使用数字相机得到， 也可以利用Windows的画笔(Painbrush)用颜色点填充网格单元来创建位图。位图又可以分成如下四种 ：二值图像 ( 线画稿 LineArt) 、灰度图像(GrayScale)、索引颜色图像(Index Color)和真彩色图像（True Color）。  

1. 线画稿－二值图像（黑白图像）：图像的每个像素只能是黑或者白，没有中间的过渡，故又称为２值图像。2值图像的像素值为0、1。

2. 灰度图像:

在灰度图像中，像素灰度级用8 bit表示，所以每个像素都是介于黑色和白色之间的$）$种灰度中的一种。灰度图像是指每个像素的信息由一个量化的灰度级来描述的图像，没有彩色信息。  
   

3. 索引图像:

  颜色深度为每像素24位的数字图像是目前所能获取、浏览和保存的颜色信息最丰富的彩色图像，由于它所表达的颜色远远超出了人眼所能辨别的范围，故将其称为“真彩色”。   在真彩色出现之前， 由于技术上的原因，计算机在处理时并没有达到每像素24位的真彩色水平，为此人们创造了索引颜色。   索引颜色通常也称为映射颜色， 在这种模式下，颜色都是预先定义的，并且可供选用的一组颜色也很有限， 索引颜色的图像最多只能显示256种颜色。一幅索引颜色图像在图像文件里定义，当打开该文件时，构成该图像具体颜色的索引值就被读入程序里，然后根据索引值找到最终的颜色。  

4. 真色彩图像：

  “真彩色”是RGB颜色的另一种流行的叫法。RGB图像的颜色是非映射的，它可以从系统的“颜色表”里自由获取所需的颜色，这种图像文件里的颜色直接与PC机上的显示颜色相对应。   在真彩色图像中，每一个像素由红、绿和蓝三个字节组成， 每个字节为8bit，表示0到255之间的不同的亮度值，这三个字节组合可以产生1670万种不同的颜色。  
   

• 图像文件的格式：

  数字图像有多种存储格式，每种格式一般由不同的开发商支持。随着信息技术的发展和图像应用领域的不断拓宽，还会出现新的图像格式。   图像文件的数据构成：每一种图像文件均有一个文件头， 在文件头之后才是图像数据。   文件头的内容由制作该图像文件的公司决定，一般包括文件类型、文件制作者、制作时间、版本号、 文件大小等内容。各种图像文件的制作还涉及到图像文件的压缩方式和存储效率等。   bmp 图像文件的格式：查阅BMP图像文件格式的相关博客，如：http://blog.csdn.net/o_sun_o/article/details/8351037  

图像的质量

  图像的质量包括：层次、对比度、清晰度  

• 图像的质量：层次

  灰度级：表示像素明暗程度的整数量；层次： 表示灰度级的数量。图像数据的实际层次越多视觉效果就越好。  
 

• 图像的质量：对比度

对比度是指一幅图像中灰度反差的大小。对比度=最大亮度/最小亮度。  
 

• 图像的质量：清晰度

与清晰度相关的主要因素：亮度、对比度、主题内容的大小、细微层次、颜色饱和度  

图像的颜色

• 图像的颜色：RGB模型

  为了科学地定量描述和使用颜色，人们提出了各种颜色模型。目前常用的颜色模型按用途可分为两类，一类面向诸如视频监视器、 彩色摄像机或打印机之类的硬件设备。另一类面向以彩色处理为目的的应用，如动画中的彩色图形。面向硬件设备的最常用彩色模型是RGB模型，而面向彩色处理的最常用模型是HSI模型。另外，在印刷工业上和电视信号传输中，经常使用CMYK和YUV色彩系统。   杨赫姆霍尔兹视觉三基色假说: C = R + G + B。视网膜锥体细胞感红、感绿、感蓝色素RGB分别取值0-1或0-255。  

• 图像的颜色：HSI模型

  HSI模型是Munseu提出的， 它反映了人的视觉系统观察彩色的方式，在艺术上 经 常 使 用 HSI 模 型 。 HSI模 型中 ， H 表示色调 (Hue) ， S 表 示 饱和度(Saturation)， I 表示亮度(Intensity，对应成像亮度和图像灰度)。这个模型的建立基于两个重要的事实： ① I分量与图像的彩色信息无关；② H和S分量与人感受颜色的方式是紧密相联的。这些特点使得HSI模型非常适合借助人的视觉系统来感知彩色特性的图像处理算法。   饱和度是指一个颜色的鲜明程度，饱和度越高，颜色越深， 如深红，深绿。   亮度是指光波作用于感受器所发生的效应，其大小由物体反射系数来决定，反射系数越大，物体的亮度愈大，反之愈小。   RGB转换到HSI：   对任何3个［0， 1］范围内的R、G、B值，其对应HSI模型中的I、S、H分量的计算公式为  
 
 

• 图像的颜色：CMYK表色系统

  CMYK表色系统也是一种常用的表示颜色的方式。计算机屏幕显示通常用RGB表色系统，它是通过相加来产生其他颜色， 这种做法通常称为加色合成法(Additive Color Synthesis)。而在印刷工业上则通常用CMYK表色系统，它 是 通过 颜色 相 减来 产生 其 他 颜 色的 ， 所 以 称这 种方 式 为减 色 合成 法(Subtractive Color Synthesis)。   CMYK模式的原色为青色(Cyan)、品红色(Magenta)、黄色(Yellow)和黑色（Black）。在处理图像时，一般不用CMYK模式， 主要是因为这种模式的文件大， 占用的磁盘空间和内存大。这种模式一般在印刷时使用。  

• 图像的颜色：伪彩色模型

  定义：通过颜色映射表描述色彩实际上是RGB颜色模型的变体   用伪彩色描述颜色的方法：建立颜色映射表一般表的长度16-256；像素值用其RGB值在映射表中的位置代替；通过抖动技术缓解颜色种类不足的问题；如何找出16-256种关键颜色是成败的关键。  

• 图像的颜色：其它表色系（YUV电视信号彩色坐标系统)

  YUV彩色电视信号传输时，将R、G、B改组成亮度信号和色度信号。PAL制式将R、G、B三色信号改组成Y、U、V信号， 其中Y信号表示亮度，U、V信号是色差信号。   RGB与YUV之间的对应关系如下：  
 

图像的像素

相邻像素： 位于坐标($x$,$y$)处的像素p 有4个水平和垂直的相邻像素，其坐标由下式给出：  
 
 

• 图像的连通性：4－连通、8－连通、m－连通

  两个像素连通的两个必要条件是：两个像素的位置在某种情况下是否相邻；两个像素的值是否满足某种相似性。   4-连通的定义：   对于具有值V的像素p和q， 如果q在集合N4§中，则称这两个像素是4-连通的  
  8-连通的定义：对于具有值V的像素p和q， 如果q在集合N8§中则称这两个像素是8- 连通的  
 

• 图像的连通性：像素邻近、图像子图临近

  像素临近的定义：   如果像素p和q是连通的，则称p临近于q。我们可以用定义邻域的方法定义4-临近、8-临近和m-临近 图像子图临近的定义：   如果两个图像子集S1和S2中的某些像素是临近的，则称S1和S2是临近的  
 

• 图像的连通性：路径

路径的定义：  
 
  图像的连通性：   像素在图像子集中连通的定义:   如果像素p 和q 是图像子集$S$中的元素，如果存在一条完全由S 中的像素组成的从p 到q 的路径，则称p 和q 在S 中是连通的。   图像子集连通元素的定义： 对于S 中的任意像素p , S 中连接到p 的所有像素的集合被称为S 的连通元素。  
 

• 图像的距离：

  像素之间距离函数的定义：   对于像素p， q和z 分别具有坐标(x ,y) (s,t) (u ,v) ，D是距离函数或称度量，当   (a) D(p,q) ≥0 (D(p,q) = 0 仅当p = q), (b) D(p,q) = D(q,p) 并且 © D(p,z)≤ D(p,q) + D(q,z)   像素之间距离函数的定义：   (a) D(p,q) ≥0 两点之间距离大于等于0 (b) D(p,q) = D(q,p) 距离与方向无关 © D(p,z)≤ D(p,q)+D(q,z) 两点之间直线距离最短   图像的距离：欧几里德距离（De距离）:  
 
 
 

图像的基本系统

    基本图像处理系统的结构  
 

• 图像的输入：图像输入设备

  基于CCD光电耦器件的输入设备有：摄像机、数字摄像机、数字相机、平板扫描仪。 基于光电倍增管的输入设备有：滚筒扫描仪。 扫描仪分辨率与扫描图像的大小：分辨率：单位长度上采样的像素个数：DPI(dot/inch)。  

• 图像的存储

  图像文件格式体系：互联网用：GIF、JPG、PNG；印 刷 用：TIF、JPG、TAG 、PCX；国际标准：TIF、JPG   图像存储体系：内存存储：处理时使用； 硬盘存储：处理、备份时用（在线）；备份存储：光盘、磁带（离线、近线）；分级存储（HSM），网络存储（SAN/NAS)。    

图像的直方图、卷积与滤波

  直方图的基本概念：   将图像中像素亮度（灰度级别）看成是一个随机变量， 则其分布情况反映了图像的统计特性，这可用Probability Density Function (PDF)来刻画和描述，表现为灰度直方图（Histogram）。   灰度直方图是灰度级的函数，表示图像中具有某种灰度级的像素的个数，反映了图像中每种灰度出现的频率。   灰度直方图的横坐标是灰度级，纵坐标是该灰度级出现的频度，它是图像最基本的统计特征。   图像直方图的定义举例:  
    直方图的性质：   （1） 直方图只包含了该图像中某一灰度值的像素出现的概率，丢失了其所在位置的信息。   （2）任一幅图像，都能惟一地确定出一幅与它对应的直方图， 但不同的图像，可能有相同的直方图。如图两幅不同图像具有相同直方图。  

• 卷积与滤波：

  图像处理的方法基本上可分为空间域法和频域法两大类。   （1）空间域法： 在原图像上直接进行数据运算，对像素的灰度值进行处理。它又分为两类：点运算和局部运算。所谓的点运算就是：对图像作逐点运算；局部运算是：在与处理像点邻域有关的空间域上进行运算。   （2）频域法： 在图像的变换域上进行处理， 增强感兴趣的频率分量， 然后进行反变换，得到频域处理过的图像。   空域滤波及滤波器的定义：   使用空域模板进行的图像处理，被称为空域滤波（局部运算）。模板本身被称为空域滤波器。   空间域滤波：卷积与模板：   模板操作是数字图像处理中常用的一种运算方式，图像的平滑、锐化、细化、边缘检测等都要用到模板操作。例如， 有一种常见的平滑算法是将原图中的一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后将求得的平均值作为新图像中该像素的灰度值。可用如下方法来表示该操作：  
  上式有点类似于矩阵，通常称之为模板（Template），带星号的数据表示该元素为中心元素，即这个元素是将要处理的元素。   如果模板为：  
  则该操作的含义是：将原图中一个像素的灰度值和它右下相邻近的8个像素值相加，然后将求得的平均值作为新图像中该像素的灰度值。   模板操作实现了一种邻域运算，即某个像素点的结果不仅和本像素灰度有关，而且和其邻域点的值有关。模板运算的数学含义是卷积（或互相关）运算。  

• 卷积与滤波：

  卷积是一种用途很广的算法，可用卷积来完成各种空域的图像处理：  
  卷积运算中的卷积核就是模板运算中的模板：   卷积就是作加权求和的过程。邻域中的每个像素（假定邻域为3×3大小，卷积核大小与邻域相同），分别与卷积核中的每一个元素相乘，乘积求和所得结果即为中心像素的新值。   卷积核中的元素称作加权系数（亦称为卷积系数），卷积核中的系数大小及排列顺序， 决定了对图像进行区处理的类型。改变卷积核中的加权系数， 会影响到总和的数值与符号， 从而影响到所求像素的新值。  

1. 图像边界问题，当在图像上移动模板（卷积核）至图像的边界时，在原图像中找不到与卷积核中的加权系数相对应的9个像素，即卷积核悬挂在图像缓冲区的边界上， 这种现像在图像的上下左右四个边界上均会出现。

  解决这个问题采用两种简单方法：一种方法是忽略图像边界数据， 另一种方法是在图像四周复制原图像边界像素的值，从而使卷积核悬挂在图像四周时可以进行正常的计算。  

2. 计算出来的像素值的动态范围问题：对此可简单地将其值置为0或255即可。

空域图像的运算

• 加法运算的定义：

C ( x , y ) = A ( x , y ) + B ( x , y ) C(x,y) = A(x,y) + B(x,y)   主要应用举例： 去除“叠加性”噪声。生成图像叠加效果  

1. 去除“叠加性”噪声：

 
  我们可以得到各种图像合成的效果，也可以用于两张图片的衔接。  
 

• 减法的定义：

C ( x , y ) = A ( x , y ) − B ( x , y )   

1. 主要应用举例：

  去除不需要的叠加性图案；检测同一场景两幅图像之间的变化；计算物体边界的梯度。   a. 去除不需要的叠加性图案:   设：背景图像b(x,y)，前景背景混合图像f(x,y)：g(x,y) = f(x,y) – b(x,y)。g(x,y) 为去除了背景的图像。电视制作的蓝屏技术就基于此。   b. 检测同一场景两幅图像之间的变化:   设： 时间1的图像为T 1 ( x , y )，时间2的图像为T 2 ( x , y ) ；g ( x , y ) = T 2 ( x , y ) − T 1 ( x , y )   
 
 
 

• 逻辑运算：

  在“与”和“或”运算中，亮的表示二进制码1，黑的代表0。模板处理有时可以作为一种感兴趣区（ROI）处理。  
 

• 求反运算：

求反的定义g ( x , y ) = 255 − f ( x , y ) g主要应用举例：获得一个阴图像；获得一个子图像的补图像。  
  获得一个子图像的补图像:  
 

像素之间的一些基本关系

  相邻像素：   位于坐标(x ,y )处的像素p 有4个水平和垂直的相邻像素，其坐标由下式给出：  
  邻接性、连通性、区域和边界：   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EbiyDJqb-1573785577086)(C:\Users\MrHo\AppData\Roaming\Typora\typora-user-images\1573373214472.png)]   定义V 为邻接性的灰度值集合。在二值图像中，我们把具有1值得像素归诸于邻接像素，即V ={1}。   **4邻接:如果q在集合N4§**中，则具有V中数值的两个像素p和q是4邻接的。   **8邻接:**如果q在集合N8§中，则具有V中数值的两个像素p和q是8邻接的。   m邻接:如果q在N4§中，或者在N D ( p ) N_{D}(p)ND​(p)中，而且集合N4§与N4(q)的交集没有V中的像素，此为1，则具有V中数值的两个像素p和q是m邻接的。  

我的微信公众号名称：深度学习与先进智能决策 微信公众号ID：MultiAgent1024 公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！