首页 > 代码库 > 视频主观质量评价工具:MSU Perceptual Video Quality tool

视频主观质量评价工具:MSU Perceptual Video Quality tool

MSU Perceptual Video Quality tool是莫斯科国立大学(Moscow State University)的Graphics and Media Lab制作的一款视频主观评价工具,使用起来比较方便。最近这段时间赶上毕设需要大量的主观评价试验,使用了一阵子这个软件,感觉还是挺方便的,记录一下它的使用方法。

软件地址:http://www.compression.ru/video/quality_measure/perceptual_video_quality_tool_en.html 


1.       软件的特性

(1)      6种主观评价方法(其中有4种来自于ITU-R BT.500标准)。包括:

l  DSIS (Double Stimulus Impairment Scale,双激励损伤量表)

l  DSCQS (Double Stimulus Continuous Quality Scale,双激励连续质量量表) type I and type II

l  SCACJ (Stimulus Comparison Adjectival Categorical Judgement)

l  EBU SAMVIQ (Subjective Assessment Method for Video Quality evaluation)

l  MSUCQE (MSU Continuous Quality Evaluation)

注:主观评价方法详细介绍参考:视频主观质量评价方法

(1)      3种统计结果的方法

(2)      支持.avi文件和.avs文件

(3)      结果保存为csv格式文件

 

2.       使用方法

软件分为2个部分:

"MSU Perceptual Video Quality - task manager":任务管理器,用于实验设计人员设置实验。

"MSU Perceptual Video Quality - player":播放器,用被测人员参与试验。

一般情况下先使用task manager设置实验,然后使用player进行实验。整体使用流程如下:

(a)       选择原始序列(一般为YUV,RGB或者其他非压缩格式)

(b)       选择受损序列(可以是YUV等非压缩格式,也可以是H264这样的压缩码流)

(c)       选择测试使用的主观评价方法(即怎样对比原始序列和受损序列)

(d)       寻找实验人员,做实验

(e)       统计实验结果

 

下面分别介绍两个软件。

(4)       MSU Perceptual Video Quality - task manager

软件运行后的截图如图所示。对于新用户,首先给task取一个名称。注意,本软件对中文支持有问题,因此有些名称的task是无法保存的。因此起名字的时候需要使用英文,并且尝试能否保存。后文关于此问题有详细的叙述。

然后,单击任务列表下方的“Add file”添加原始序列和参考序列。添加完成后,所有序列会列在任务列表中。此时需要选择一个序列作为参考序列(即原始序列)。单击列表中序列后,再单击“Set task reference”即可。

最后,在软件的左下方选择主观评价的实验方法。设置完成后,单击“Save task”,保存任务文件就可以了。

 

(5)      MSU Perceptual Video Quality - player

软件运行后,首先输入测试人员的姓名。然后选择任务文件(*.tsk)进行主观评价。


下面简单展示以一下几种常用的主观评价方法。

(a)       DSIS(Double Stimulus Impairment Scale,双激励损伤量表)

最基础的视频主观质量评价方法。受测者每次观看原始参考视频和受损视频组成的“视频对”,并且每次总是先观看原始参考视频,然后观看受损视频。评分采用5分制失真测度。下图分别显示了观看参考视频和受损视频时候的截图。由图可见,软件的下方还包含了控制视频播放的各个按钮。



每看完一组“视频对”之后,会弹出对话框要求对受损视频进行打分。如果没看清楚,可以单击“Watch Again”。打分采用5分制,如图所示。


(b)       DSCQS (Double Stimulus Continuous Quality Scale,双激励连续质量量表) type I

受测者每次观看原始参考视频和失真视频组成的“视频对”,但与DSIS不同的是,原始参考视频和失真视频的显示顺序是随机的,并且受测者对每个“视频对”中两幅视频的质量都进行打分。需要注意的是DSCQS本身要求打分取值是连续的,但是本软件目前实现的是5分制。

软件中DSCQS有2种。其中 type I是每次显示一个视频,测试人员可以在视频播放的任意时刻,按键盘上的“Tab”键在原始序列和受损序列之间切换,用于查看两个序列之间的区别。


播放完成之后,需要对两个序列都进行打分,如图所示。


(c)       DSCQS (Double Stimulus Continuous Quality Scale,双激励连续质量量表) type II

DSCQS的type II是每次同时显示两个视频,其他方面和DSCQS I是一样的。如图所示。

 

3.       其它需要注意的地方

(1)      实验环境

主观评价需要一定的实验环境,例如灯光这些条件。因此做主观评价的时候,需要先选定合适的实验环境。


(2)      批量实验

当需要做多个实验的时候(即有多个tsk文件),可以在软件目录下新建一个批处理.bat文件,添加以下内容

"MSU perceptual video quality player.exe" "c:\tasks\task1.tsk" "c:\tasks\task2.tsk" "c:\tasks\task3.tsk"

执行该批处理文件,测试人员即可按照task1.tsk,task2.tsk ,task3.tsk的顺序进行实验。

(3)      色盲

有色盲的测试人员可能会干扰到实验结果。本软件提供了监测色盲的功能。在软件目录下新建一个批处理.bat文件,添加以下内容

"MSU perceptual video quality player.exe" -c

执行该批处理文件即可检查测试人员是否有色盲。截图如下所示。


4.       使用中可能的问题

以下是自己使用过程中出现的问题,总结一二。

(1)      task manager 中task的命名问题

本软件对中文支持有问题,因此起名字的时候需要使用英文。但是尽管使用了英文,有的时候依然不能保存。这是一个比较棘手的问题,经过多次尝试,总结出了一些经验。

保存的时候,任务名称为“asd”的时候,可能弹出下面对话框:


后面的问号(有时候是乱码)是不合法的字符。但是实际上我们并没有输入这个字符。我的觉得可能是保存任务名的内存没有清0导致的,因此,后面有几个乱码字符,我们就在任务名后面添加几个字符,这样就可以覆盖掉非法字符了。例如我们把“asdf”改为“asdff”,发现就可以保存了(注意:有的时候可能要反反复复好几次,但是最后肯定能保存)。

 

(2)      task manager中无法添加AVI文件。

本软件只支持AVI封装格式的视频文件。所以无论什么测试视频都要转换为AVI封装格式才能被软件识别。注意本软件的测试序列并不限于原始数据序列(YUV,RGB等),也可以使用压缩编码序列(h264,mpeg4等)。

在这里可以使用FFmpeg对测试序列进行封装。注意一定要使用“-vcodec copy”参数,这样才能保证在不改变编码方式的情况下封装视频数据,否则会导致视频重新编码从而影响到视频的质量。下面举几个例子。

H264码流封装成AVI:

ffmpeg -i src11_480x272.264 -vcodec copy src11_480x272.avi

YUV420P数据封装成AVI:

ffmpeg -s 480x272 -i src11_480x272.yuv -vcodec copy src11_480x272.avi

(3)      player播放AVI文件失败。

本软件中的播放器是基于DirectShow的,所以需要安装相应的解码器才能保证可以播放AVI文件中的码流。在这里介绍一个最简单而且通用的方法:下载安装一个《终极解码》软件。《终极解码》附带了大量的解码器,足够用了。当然,安装其它解码器软件也可以解决问题。