图像质量评分-综述(BRISQUE、NIMA、RankIQA)
背景
(一搜一大把,不详细介绍) 图像在获取、压缩、处理、传输、显示等过程中难免会出现一定程度的失真,怎样衡量图像的质量、评定图像是否满足某种特定应用要求,这就需要建立有效的图像质量评价体制。 图像质量评价方法可分为主观评价方法和客观评价方法,主观方法就是凭借人的主观感知来评价对象的质量;客观方法则是依据模型给出的量化指标,模拟人的视觉系统感知机制来衡量图像质量。 主观评价方法有很多,国际电信联盟( ITU) 也提出了很多种主观的评价方法和标准,最常用有三种,即双刺激损伤分级法、 双刺激连续质量分级法和单刺激连续质量分级法。双刺激损伤分级法,就是给你两组图像,一组是原始的未失真的图像,一组是有一定失真的图像,实验测评人员根据对比两组图像,再依据图像主观质量5级评分表进行评分。双刺激连续质量分级法,也是同样给定两组图像,但是测评人员并不知道哪个是原始图像,哪个是失真图像。在这个前提下根据评分表分别进行评分。单刺激连续质量分级法是在一定连续时间内,只观察待测图像。观察者根据评分表连续对待测图像评分,根据评分和评分时间得到待测图像的质量评价。 对应地,客观评价方法也有三类,全参考: 需要和参考图像上的像素点做一一对应的比较;半参考: 只需要和参考图像上的部分统计特征做比较;无参考: 不需要具体的参考图像。 以下为三篇无参考质量评价算法。
经典算法 BRISQUE
A.Mittal, A. K. Moorthy and A. C. Bovik, “No-Reference Image Quality Assessment in the Spatial Domain,” in IEEE Transactions on Image Processing, vol. 21, no. 12, pp. 4695-4708, Dec. 2012. 算法的大致流程就是:将一张图像(各种失真和程度)表示成一个由人工设计的特征向量,然后使用支持向量机SVM进行分类。
第1步:提取自然场景统计(NSS)
第2步:计算特征向量
在上一步,已经从原始图像中获得了5个参数 - 1个MSCN参数和4个相邻元素乘积参数,现在就要用这5个参数来计算尺寸为36×1的特征向量,最终需要得到18个特征向量元素,前两个元素是通过将MSCN参数拟合到广义高斯分布(GGD)来得到的,一个用于形状,一个用于方差。接下来,就是用非对称广义高斯分布(AGGD)分别去拟合之前计算得到的4个相邻元素乘积参数,而非对称广义高斯分布有四个参数:形状,均值,左方差和右方差,所以最后计算可到16个特征向量,一共是18个。还没完,还要将图像缩小到原始尺寸的一半,并重复相同的过程,最终我们得到的特征向量是36个。
第3步:预测图像质量得分
将训练集中的所有图像的特征向量和输出(质量得分)放入支持向量机(SVM)中进行训练。经过训练模型预测,就得到了每种失真的最终质量得分。 测试结果:
NIMA: Neural Image Assessment
小结
**研究方向1:**图像质量评分是一个很宽泛的问题,因为导致图像失真的原因很多,这也就导致没有什么算法能够面面俱到,而现有的算法(无论是传统算法,还是深度学习)几乎都是分别针对某一类型的噪声进行训练、处理,但是实际中的噪声可能会很复杂,而且导致图像失真的不全是噪声,还有色调、饱和度等很多因素,对更加符合实际的图形进行处理分析也不失为一个很好的研究方向。 **研究方向2:**目前已有的数据集tid2013、live等,图片数都算不上很多(主要原因是评分难以获取),这对用神经网络进行训练是很不友好的,而目前主流的处理训练方法大多是基于CNN的,那能否另辟蹊径,用只需较少数据就能得到很好训练结果的神经网络进行研究呢? **研究方向3:**训练以后的实际场景应用不足。可以考虑具体问题具体分析,将图片质量评分与实际生活中的问题结合。
