影响视频视觉质量的因素——各类视觉伪影
影响视频视觉质量的因素——各类视觉伪影
视觉伪影是影响视频和图像质量的重要因素,它们可能由各种原因引起,包括压缩算法、采样过程、显示设备等。了解这些伪影的成因和特征,对于提升视频和图像的质量具有重要意义。本文将详细介绍几种常见的视觉伪影,帮助读者更好地理解这一领域。
模糊效应(Blurring Artifact)
图像模糊(blurring)是平滑图像细节和边缘产生的现象,本质上是一个低通滤波器(low-pass filter)。虽然用户通常倾向于获取更清晰的图像,但在某些情况下,如降低图像噪点或增强不同比例大小下的图像效果,会使用高斯模糊(gaussian blurring)。
图1:模糊频率斜坡示意图
从上图可以看出,高斯模糊对低频信号影响较小,但对高频信息有明显效果。
运动模糊
运动模糊是在长时间曝光或场景内物体快速移动时出现的伪影。在摄影中,如果在曝光过程中场景发生变化,就会产生模糊的画面。对于体育题材的视频内容,运动模糊可能会导致运动员位置难以辨认。可以通过平移相机跟踪移动物体来保持运动物体清晰,同时使背景模糊。
图2:运动模糊的例子
块效应(Block Boundary Artifact)
在基于块的变换编码中,如JPEG和H.264等视频编码标准,当以较低码率编码时,会在块边缘引入可见的伪像。这是因为量化过程中会丢弃高频系数,导致图像块变得模糊。在极端情况下,编码块可能只剩下代表数据平均值的DC系数,使得重构图像成为一个单色区域。
原始图像
重构后明显的块效应伪像的图像
图3:块边界效应伪像的例子
振铃效应(Ringing Artifact)
振铃效应是输入图像中像素值剧烈变化导致的输出图像在灰度剧烈变化处或轮廓处产生的震荡。这种现象类似于钟被敲击后产生的空气震荡,是吉布斯(Gibb’s)现象引起的。滤波器在不连续点附近的脉冲响应会产生振荡行为,输出值会出现过冲(overshoots)和欠冲(undershoots)。
图4:吉布斯现象的振铃输出
原始图像
包含振铃伪像的图像
图5:振铃伪像的例子
混叠效应(Aliasing Artifacts)
混叠效应发生在信号采样过程中,当采样频率低于信号最高频率的两倍时,会导致信号失真。在数字图像中,混叠效应表现为锯齿状的边缘。
图6:变换域的下采样导致的混叠效应
锯齿效应(Jaggies)
锯齿效应是一种常见的混叠伪影,在数字图像中的平滑直线或曲线上产生可见的阶梯状线条。随着图像分辨率的提高,这种伪像会变得越不可见。抗锯齿(anti-aliasing)滤镜可用于减少锯齿边缘的可见性。
摩尔纹(Moire pattern)
摩尔纹是由于精细的常规图案的下采样而产生的不希望存在的伪像。在图7中,摩尔效果可看成起伏的图案,而原始图案则包括紧密间隔的直线网格。
闪烁效应(Flickering Artifacts)
闪烁效应是一种令人不悦的闪光效果,当以较低的刷新率驱动旧显示器时(例如CRT,阴极射线管),就会发生闪烁现象。由于液晶显示器(LCD)中,用于每个像素的快门保持稳定的不透明性,因此即使刷新图像也不会闪烁。
抖动(Jerkiness)
抖动是一种类似闪烁的伪像,描述了对视频中的单个静止图像的感知。感觉到了闪烁和抖动的频率取决于许多条件,包括环境及照明条件。对于24 fps或更高帧率正常播放视频而言,无法感知到抖动。视觉通信系统中,如果解码器延迟导致视频解码器丢弃视频帧,或由于网络错误导致解码失败,此时将继续显示前一帧,直到成功解码下一个无错误帧,显示屏上的场景才会突然更新,此时就会观察到抖动现象。
电视电影转换抖动(Telecine Judder)
电视电影转换抖动是另一种类似闪烁的伪像。24 fps电影转换为30fps视频时,需做电视电影转换(telecine)或采用2:3的下拉(pulldown),此技术是将每四帧电影帧转换为五帧隔行扫描的视频帧。DVD、蓝光播放器或录像机会检测到电视电影的转换,并应用反向电视电影转换过程重建原始的24fps的视频内容。
图8:电视电影转换过程
其它图像伪像(Other Image Artifacts)
传输错误导致的数据损坏
视频比特流的传输错误,在重建信号时会产生数据损坏,传输错误有时会导致解码或解码的图像存在丢失块。严重传输错误情况下,解码器在短时间内继续对损坏的图片进行更新,从而产生重影图像效果(ghost image effect),重影效果会一直持续到下一个无错误的关键帧为止。在露天电视信号中,重影是一种比较常见的效果。
图像噪声
相机传感器包含一个或多个光敏光电二极管,将入射光转换成电信号,电信号被处理成图像的像素颜色值。但这个过程并不总是完全可重复的,并且会存在一些统计差异。即使没有入射光,传感器的电活动也可能产生一些信号,图像噪声来源于这些非期望的信号和差异。这种噪声随每个像素和时间而变化,并随温度而增加。
胶片颗粒也会导致图像噪声,数字图像中的噪声在均匀表面中最明显,例如在天空和阴影中的单色颗粒和彩色波。热像素噪声是另一种类型的噪声。热像素噪声因为持续一秒以上的长时间曝光而出现,并且显示为略大于单个像素的彩色点。不过现代相机中,热像素噪声越来越少。