文章信息
- 刘国忠, 张立伟, 高洁, 孟皓, 李萍
- LIU Guozhong, ZHANG Liwei, GAO Jie, MENG Hao, LI Ping
- P300脑电信号在图像清晰度评价中的应用研究
- Study on the application of P300 EEG signal in image definition evaluation
- 中国测试, 2020, 46(3): 52-58
- CHINA MEASUREMENT & TEST, 2020, 46(3): 52-58
- http://dx.doi.org/10.11857/j.issn.1674-5124.2018120062
-
文章历史
- 收稿日期: 2018-12-17
- 收到修改稿日期: 2019-02-04
2. 北京航空航天大学生物与医学工程学院,北京 100083;
3. 北京信息科技大学自动化学院,北京 100192
2. School of Biological Science and Medical Engineering, Beihang University, Beijing 100083, China;
3. School of Automation, Beijing Information Science & Technology University, Beijing 100192, China
图像清晰度是评价图像质量的一个指标。在一些特殊情况下,比如醉酒状态,醉酒者的注意力、警觉度和对图片清晰度的分辨能力下降,可以通过分辨图片的清晰程度来判断醉酒者的醉酒程度;对于吸毒者,吸毒后他们的认知能力和感官知觉能力下降,可以通过同样的方式来判断他们的毒品摄入量程度。因此,建立一套快速准确的图像清晰度评估系统具有重要的现实意义。
目前,对图像清晰度评价的方法主要有主观评价方法和客观评价方法。主观评价方法主要通过问卷调查和自我报告等主观感受的方式进行。调查问卷常用的方法有双刺激连续质量标度方法(double stimulus continuous quality scale,DSCQS)、双刺激损伤标度方法(double stimulus impairment scale,DSIS)、单刺激连续质量评价方法(single stimulus continuous quality evaluation,SSCQE)和绝对等级评价(absolute category rating,ACR)等。主观评价方法经过大量测试验证,但仍然存在评分标准不统一、个体差异影响严重等缺点,因此亟需客观评价方法。常用的客观图像清晰度评价方法主要分为3大类:空域、频域和统计,均需要选取合适的物理量及算法计算出数学关系表达式[1]。目前评价图像质量的客观方法还包括一些电生理学指标评定法,主要有脑电(electroencephalogram,EEG)、功能性磁共振(fMRI)和眼动等[2-6]。
脑电信号具有时间分辨率高、易采集等特点,受到越来越多的关注。其中事件相关电位中的P300成分与注意力的参与有关[7]。而且P300是诱发最稳定、最大的波,对图片的认知加工与个体原有记忆匹配等信息加工过程有关[8]。Lindemann等[9-10]研究发现如果给被试者呈现一系列失真程度不同的图像,产生的脑电信号也会相应的不同。在枕区诱发出的P300随着失真程度的增大,潜伏期缩短,波幅增大。Sebastain等[11]对图像扭曲程度的脑电信号进行分析同样发现随着扭曲程度的增加,P300的潜伏期缩短,波幅值增大。对图像的模糊和噪声的研究发现,在前额部产生了很强烈的能量变化[12]。视频质量变化与P300电压之间存在正相关关系,即视频质量越差,P300波的峰值越大[13]。但是,对于图像失真种类的不同,诱发的脑电反应也相应不同,目前还未达成一致的共识,而且在图像清晰度评价方向上还鲜有研究。
本文对5种不同模糊程度的图片进行主观调查问卷和客观脑电P300成分分析,并建立数学关系评价模型,探讨主观评价模型和脑电客观评价模型的可行性以及被试者在饮酒状态下脑电P300信号的变化情况,为便携式图像清晰度评估设备的研制以及关键工作岗位从业人员工作状态的监测提供理论支持。
1 材料与方法 1.1 被试者10名来自北京信息科技大学的在校研究生参与了实验,男生5名,女生5名,年龄在22~30岁之间(平均年龄为(24±3.7)岁)。被试者均为右利手,视力正常或者矫正后视力正常,无色觉障碍。被试者没有精神类疾病和身体疾病。在实验开始之前,被试者充分了解实验内容和实验过程中的注意事项,并签署了知情同意书。
1.2 实验任务和实验过程 1.2.1 双刺激连续质量标度量表双刺激连续质量标度方法是在ITU-RBT.500-11中规定的主观评价方法。该测试中共有5张图片,1个是参考图片σ值(σ值代表高斯滤波器中的正态分布标准差,其值越大,图像越模糊)为零,另外4张分别为不同模糊程度的测试图片,σ值分别为0.6、1.2、1.8和2.5(见图1)。每个试次中参考图片和测试图片成对出现,被试者分别对参考图片和测试图片进行打分。在打分时不会被告知哪个是参考图片,哪个是测试图片。每对图片在该测试中仅会出现一次,出现顺序随机。测试中采用的评分标准为5分制,包括非常好(Excellent)、较好(Good)、一般(Fair)、较差(Poor)和非常差(Bad),分别对应5分、4分、3分、2分、1分。
1.2.2 实验过程及脑电信号采集在安静的电磁屏蔽室中,1 024×768屏幕(分辨率为60 Hz)中央首先出现一个黑底白字的提示符“+”,显示持续时间为700 ms,提醒被试者新试次的开始。接着显示一张参考图片,持续时间为700 ms。之后屏幕上出现测试图片,显示时间同样为700 ms。最后显示900 ms的黑屏,标志着试次结束(见图2)。整个实验共包含50试次。被试者被要求先完成双刺激连续质量标度量表,然后完成脑电信号记录。
![]() |
图 1
参考图片和测试图片(
|
![]() |
图 2 实验流程图 Fig. 2 Study protocol. |
脑电信号采集使用自编软件记录,脑电放大器采用NT9200,使用10-20标准系统的32导联脑电帽。采样率设置为1 000 Hz,采集过程中,电极阻抗保持在10 kΩ以下。参考电极设置为双侧乳突。
1.3 数据分析 1.3.1 双刺激连续质量标度量表量表的分数使用
并依据
$\Delta {\rm Score}{\rm{ = }}\Delta {\rm Score}{_0}{\rm{ + }}A{{\rm e}^{ - \frac{\sigma }{t}}}$ | (1) |
其中
原始脑电数据使用EEGLAB软件进行处理,主要步骤如下:1)采用独立分量分析方法校正眼电伪迹;2)使用半自动伪迹去除方法移除心电、肌电等高频伪迹信号;3)对去除掉伪迹后的脑电数据进行分段,以图片(刺激)出现时间点为基点,提取时间段为[−800 ms, 800 ms]的数据;4)对分段后的数据进行基线校正;5)采用0.5~30 Hz的低通滤波器进行滤波;6)对每个被试者的所有试次进行叠加平均;7)计算所有被试数据的平均值。
为了研究图像不同模糊程度σ值与P300的变化规律,选择5个导联的数据进行分析,分别为额-中区FCz、中-顶区CPz、顶区Pz、枕区Oz和颞区T4。之后,对不同σ值的图像的P300进行t检验分析,并进一步建立指数拟合模型,如下式所示:
$L{\rm{ = }}{L_0}{\rm{ + }}A{{\rm e}^{ - \frac{\sigma }{t}}}$ | (2) |
其中L为潜伏期,A为指数系数,t为常数,
图3显示了4种σ值对应图像的
![]() |
图 3
不同σ值的
|
2.2 图像σ值与量表分数的主观评价关系模型
根据主观分数计算得到图像σ值与量表分数的指数拟合模型为
为了方便设计基于脑电信号的图像清晰度便携式检测设备,选取一个变化最显著的电极作为应用电极,并为其建立评价模型。本研究计算了所有被试者4种测试图像的P300波幅峰值数据。由于篇幅限制,只列出σ值为0.6时5个电极的P300波幅峰值,见表1。t检验结果显示CPz导联峰值与其他4个导联FCz(P=0),Pz(P=0),T4(P=0),Oz(P=0)峰值之间具有显著性差异,其他导联之间没有显著性差异。图5显示了测试图片(刺激)出现后的200~600 ms范围内的脑电地形图(彩条代表波形幅值,从蓝色到红色代表幅值越来越大),图中明显显示出当潜伏期为300 ms时,CPz所在的区域的波幅值最大,这与之前的研究一致[14-15],说明中央-顶区的P300受模糊图片的影响最大,故选择CPz作为特征电极用于后面的分析。
![]() |
图 4 图像σ值与量表分数指数拟合结果 Fig. 4 Exponentially fitted result of σ value and scale score |
受试者 | FCz /μV | CPz/μV | Pz/μV | T4/μV | Oz/μV |
1 | 6.568 | 10.25 | 5.132 | 5.038 | 3.547 |
2 | 5.523 | 11.34 | 5.509 | 8.064 | 3.322 |
3 | 5.614 | 7.465 | 6.559 | 3.797 | 4.951 |
4 | 6.815 | 8.663 | 9.209 | 7.762 | 7.164 |
5 | 1.950 | 8.396 | 2.118 | 3.045 | 7.668 |
6 | 2.160 | 10.85 | 2.427 | 2.490 | 2.230 |
7 | 5.644 | 10.63 | 3.513 | 2.640 | 4.437 |
8 | 3.457 | 9.261 | 3.918 | 7.350 | 1.658 |
9 | 4.823 | 6.810 | 5.202 | 5.201 | 5.473 |
10 | 5.287 | 10.250 | 5.112 | 2.637 | 3.425 |
![]() |
图 5 潜伏期为200~600 ms的脑电地形图 Fig. 5 the topographic map of latency in 200 ms-600 ms. The color bar represents the amplitude of the waveform, from blue to red, the amplitude is increasing. |
2.3.2 P300潜伏期
每个被试不同
![]() |
图 6
模糊程度
|
2.3.3 图像σ值与P300潜伏期评价关系模型
经过计算得到
![]() |
图 7 P300潜伏期与σ值指数关系拟合结果 Fig. 7 Exponentially fitted result of the latency of P300 and σ value |
2.4 P300潜伏期模型验证 2.4.1 真实数据验证
选取2名未参与建立模型的被试数据用来验证脑电评价关系模型,2组预测结果如表2所示。结果表明,第2名被试的预测结果比第1名被试的预测结果更好。但是两个被试的模型预测结果均接近实际值,说明脑电评价关系模型能够用来预测图像的清晰程度。
被试1 | 被试2 | |||||
实际σ值 | P300潜伏期/ms | 预测σ值 | 实际σ值 | P300潜伏期/ms | 预测σ值 | |
0.6 | 425 | 0.96 | 0.6 | 484 | 0.6 | |
1.2 | 361 | 1.52 | 1.2 | 406 | 1.12 | |
1.8 | 352 | 1.71 | 1.8 | 339 | 1.91 | |
2.5 | 324 | 2.21 | 2.5 | 319 | 2.6 |
2.4.2 主观评价与P300脑电评价的比较
为了进一步验证P300脑电评价模型的可行性,将脑电评价模型与主观评价模型进行了比较。结果显示主观评价模型和脑电评价模型呈现良好的负相关关系,即随着图像越模糊,
采用相同的实验刺激方案,采集一个被试者在正常状态下和饮酒状态下的脑电信号。该被试者在正常状态下的脑电实验P300结果如图9所示,P300潜伏期随着不同
![]() |
图 8 主观评价模型(量表分数)与脑电(P300)评价模型的指数拟合结果对比 Fig. 8 Comparison of exponentially fitted results between subjective evaluation (score) model and EEG (P300) evaluation model |
![]() |
图 9
被试者在正常状态下不同
|
![]() |
图 10
被试者在饮酒状态下不同
|
2.6 讨 论
通过10名健康被试者对5种不同模糊等级的图像进行双刺激连续质量标度量表和脑电测试,建立了P300波潜伏期和图像模糊等级关系模型。在使用模型时仍然需要考虑以下限制和不足:试验的样本量较小,有可能会影响到结果的鲁棒性;年龄和职业覆盖面窄,将结论范推到老人或其他职业需要谨慎;其他事件相关电位组件,如N200、P200等的幅值和潜伏期未分析。在将来的研究中,会综合考虑这些因素。
本文建立了被试者在正常状态下P300与图像清晰度的相关关系,对监测飞机驾驶员、特种设备操作员等特殊岗位人员的工作状态提供了理论基础。在实际使用时需要预先测试并记录工作人员在正常状态下不同图像清晰度与P300潜伏期关系;在饮酒、吸毒等状态下,同样的图像清晰度P300潜伏期会发生变化,甚至P300潜伏期与图像清晰度不再存在相关关系。因此,通过分析工作人员实际工作时不同图像清晰度下P300潜伏期的变化(与预先记录结果比较)以及P300潜伏期与图像清晰度是否存在相关关系判断工作人员状态。本文已经对饮酒状态下P300的改变进行了定性的分析,在将来的研究中,可以对不同饮酒量情况下P300潜伏期与图像清晰度的关系进行定量测试。
3 结束语本文对5种不同模糊程度的图片进行双刺激连续质量标度量表和事件相关脑电P300成分进行分析,建立了基于P300潜伏期和模糊等级的评价模型,并通过脑电试验数据对模型的验证以及主观量表结果与P300评价模型的对比说明,提出的模型能够较好地反映出图片的清晰程度与客观指标P300的关系。因此可以得出:不同清晰度的视觉对象会引起不同的意识反应程度,其中P300是可以较好地反映这种变化关系的脑电参数。本文分析了不同导联的P300波幅峰值情况,结果反映CPz导联所在区域的波幅最大,因此在开发基于单导联的实际应用系统时,可以采集CPz导联的数据,计算其P300潜伏期,根据建立的模型计算其理论上的图片清晰程度。研究成果将为图像处理、自动调焦技术提供直观的技术手段。在工程应用方面,可以基于本文评价模型建立方法,研制便携式图片清晰度识别装置;此外,也可以通过前后比对的方法来判断被试者的当前意识状态,用于关键工作岗位的从业人员饮酒、吸毒和疲劳等状态的监测。
[1] |
李奇, 冯华君, 徐之海, 等. 数字图像清晰度评价函数研究[J].
光子学报, 2002, 31(6): 736-738.
|
[2] |
KRAKOW K, ALLEN P J, SYMMS M R. EEG recording during fMRI experiments: image quality[J].
Human Brain Mapping, 2015, 10(1): 10-15.
|
[3] |
PEREZ J, DELECHELLE E. On the measurement of image quality perception using frontal EEG analysis[C]// International Conference on Smart Communications in Network Technologies, 2013.
|
[4] |
HAYASHI H, SHIRAI H, KAMEDA M, et al. Assessment of extra high quality images using both EEG and assessment words on high order sensations[C]//IEEE International Conference on Systems, Man and Cybernetics, 2000.
|
[5] |
DEFFNER G. Eye movement recordings to study determinants of image quality in new display technology[J].
Studies in Visual Information Processing, 1995, 6: 479-490.
DOI:10.1016/S0926-907X(05)80040-6 |
[6] |
郭昕. 图像质量主观评价中眼动信号的可视化分析方法[J].
现代电子技术, 2015, 38(12): 70-73.
|
[7] |
POLICH J. Theoretical overview of P3a and P3b[M]. Boston: Kluwer Academic Press, 2003: 83-98.
|
[8] |
HANSENNE M. Le potentiel évoqué cognitif P300 (II): variabilité interindividuelle et application clinique en psychopathologie[J].
Clinl Neurophysiol, 2000, 30(4): 211-231.
DOI:10.1016/S0987-7053(00)00224-0 |
[9] |
LINDEMANN L, MAGNOR M. Assessing the quality of compressed images using EEG[C]// IEEE International Conference on Image Processing, 2011.
|
[10] |
LINDEMANN L, WENGER S, MAGNOR M. Evaluation of video artifact perception using event-related potentials[C]// ACM SIGGRAPH Symposium on Applied Perception in Graphics and Visualization, 2011.
|
[11] |
ARNDT S, ANTONS J N, SCHLEICHER R, et al. A physiological approach to determine video quality[C]// IEEE International Symposium on Multimedia, 2011.
|
[12] |
PEREZ J, DELECHELLE E. On the measurement of image quality perception using frontal EEG analysis[C]// International Conference on Smart Communications in Network Technologies, 2013.
|
[13] |
SCHOLLER S, BOSSE S, TREDER M S, et al. Toward a direct measure of video quality perception using EEG[J].
IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2012, 21(5): 2619-2629.
DOI:10.1109/TIP.2012.2187672 |
[14] |
COMERCHERO M D, POLICH J. P3a and P3b from typical auditory and visual stimuli[J].
Clinical Neurophysiology, 1999, 110(1): 24-30.
DOI:10.1016/S0168-5597(98)00033-1 |
[15] |
POLICH J. Updating P300: An integrative theory of P3a and P3b[J].
Clinical Neurophysiology, 2007, 118(10): 2128-2148.
DOI:10.1016/j.clinph.2007.04.019 |