中国测试  2020, Vol. 46 Issue (3): 52-58

文章信息

刘国忠, 张立伟, 高洁, 孟皓, 李萍
LIU Guozhong, ZHANG Liwei, GAO Jie, MENG Hao, LI Ping
P300脑电信号在图像清晰度评价中的应用研究
Study on the application of P300 EEG signal in image definition evaluation
中国测试, 2020, 46(3): 52-58
CHINA MEASUREMENT & TEST, 2020, 46(3): 52-58
http://dx.doi.org/10.11857/j.issn.1674-5124.2018120062

文章历史

收稿日期: 2018-12-17
收到修改稿日期: 2019-02-04
P300脑电信号在图像清晰度评价中的应用研究
刘国忠1 , 张立伟2 , 高洁1 , 孟皓1 , 李萍3     
1. 北京信息科技大学仪器科学与光电工程学院,北京 100192;
2. 北京航空航天大学生物与医学工程学院,北京 100083;
3. 北京信息科技大学自动化学院,北京 100192
摘要:脑电信号能够反映大脑的认知状态,建立一套基于脑电信号的图像清晰度评估模型来评估是否醉酒等特殊状态具有重要的现实意义。采集10名健康被试者对5种不同模糊等级图像的双刺激连续质量标度量表和脑电数据,结果确定大脑皮层中的中-顶区为特征脑区,并利用指数拟合函数对量表和特征脑区的P300波分别与图像模糊等级建立评价关系模型。结果还发现受试者的脑电信号在饮酒状态下没有明显的P300成分。结果表明基于P300成分的脑电信号可以用来评价图片的清晰度,并可应用于关键工作岗位从业人员的饮酒等特殊状态的监测。
关键词图像清晰度    评价模型    EEG    ERP    指数拟合模型    
Study on the application of P300 EEG signal in image definition evaluation
LIU Guozhong1 , ZHANG Liwei2 , GAO Jie1 , MENG Hao1 , LI Ping3     
1. School of Instrument Science and Opto-electronics Engineering, Beijing Information Science & Technology University, Beijing 100192, China;
2. School of Biological Science and Medical Engineering, Beihang University, Beijing 100083, China;
3. School of Automation, Beijing Information Science & Technology University, Beijing 100192, China
Abstract: EEG can reflect the cognitive state of the brain, so it is important practical significance to establish an image definition evaluation model based on EEG for evaluating whether special cognitive states such as drunkenness. The dual-stimulus continuous quality scales and EEG data of 10 healthy subjects were collected from five fuzzy degree of images. The results showed that the central-parietal region of the cerebral cortex was the feature region. The scale and the P300 wave of the feature region respectively establishes an evaluation model with the image fuzzy degree by using the exponential fitting function. The results also showed that there was no significant P300 in subjects EEG in the drinking state. The results indicated that P300 component of EEG can be used to evaluate the image definition, and can be applied to the monitoring of special status of employees in key jobs, such as drinking.
Key words: image definition     evaluation model     EEG     ERP     exponentially fitted model    
0 引 言

图像清晰度是评价图像质量的一个指标。在一些特殊情况下,比如醉酒状态,醉酒者的注意力、警觉度和对图片清晰度的分辨能力下降,可以通过分辨图片的清晰程度来判断醉酒者的醉酒程度;对于吸毒者,吸毒后他们的认知能力和感官知觉能力下降,可以通过同样的方式来判断他们的毒品摄入量程度。因此,建立一套快速准确的图像清晰度评估系统具有重要的现实意义。

目前,对图像清晰度评价的方法主要有主观评价方法和客观评价方法。主观评价方法主要通过问卷调查和自我报告等主观感受的方式进行。调查问卷常用的方法有双刺激连续质量标度方法(double stimulus continuous quality scale,DSCQS)、双刺激损伤标度方法(double stimulus impairment scale,DSIS)、单刺激连续质量评价方法(single stimulus continuous quality evaluation,SSCQE)和绝对等级评价(absolute category rating,ACR)等。主观评价方法经过大量测试验证,但仍然存在评分标准不统一、个体差异影响严重等缺点,因此亟需客观评价方法。常用的客观图像清晰度评价方法主要分为3大类:空域、频域和统计,均需要选取合适的物理量及算法计算出数学关系表达式[1]。目前评价图像质量的客观方法还包括一些电生理学指标评定法,主要有脑电(electroencephalogram,EEG)、功能性磁共振(fMRI)和眼动等[2-6]

脑电信号具有时间分辨率高、易采集等特点,受到越来越多的关注。其中事件相关电位中的P300成分与注意力的参与有关[7]。而且P300是诱发最稳定、最大的波,对图片的认知加工与个体原有记忆匹配等信息加工过程有关[8]。Lindemann等[9-10]研究发现如果给被试者呈现一系列失真程度不同的图像,产生的脑电信号也会相应的不同。在枕区诱发出的P300随着失真程度的增大,潜伏期缩短,波幅增大。Sebastain等[11]对图像扭曲程度的脑电信号进行分析同样发现随着扭曲程度的增加,P300的潜伏期缩短,波幅值增大。对图像的模糊和噪声的研究发现,在前额部产生了很强烈的能量变化[12]。视频质量变化与P300电压之间存在正相关关系,即视频质量越差,P300波的峰值越大[13]。但是,对于图像失真种类的不同,诱发的脑电反应也相应不同,目前还未达成一致的共识,而且在图像清晰度评价方向上还鲜有研究。

本文对5种不同模糊程度的图片进行主观调查问卷和客观脑电P300成分分析,并建立数学关系评价模型,探讨主观评价模型和脑电客观评价模型的可行性以及被试者在饮酒状态下脑电P300信号的变化情况,为便携式图像清晰度评估设备的研制以及关键工作岗位从业人员工作状态的监测提供理论支持。

1 材料与方法 1.1 被试者

10名来自北京信息科技大学的在校研究生参与了实验,男生5名,女生5名,年龄在22~30岁之间(平均年龄为(24±3.7)岁)。被试者均为右利手,视力正常或者矫正后视力正常,无色觉障碍。被试者没有精神类疾病和身体疾病。在实验开始之前,被试者充分了解实验内容和实验过程中的注意事项,并签署了知情同意书。

1.2 实验任务和实验过程

1.2.1 双刺激连续质量标度量表

双刺激连续质量标度方法是在ITU-RBT.500-11中规定的主观评价方法。该测试中共有5张图片,1个是参考图片σ值(σ值代表高斯滤波器中的正态分布标准差,其值越大,图像越模糊)为零,另外4张分别为不同模糊程度的测试图片,σ值分别为0.6、1.2、1.8和2.5(见图1)。每个试次中参考图片和测试图片成对出现,被试者分别对参考图片和测试图片进行打分。在打分时不会被告知哪个是参考图片,哪个是测试图片。每对图片在该测试中仅会出现一次,出现顺序随机。测试中采用的评分标准为5分制,包括非常好(Excellent)、较好(Good)、一般(Fair)、较差(Poor)和非常差(Bad),分别对应5分、4分、3分、2分、1分。

1.2.2 实验过程及脑电信号采集

在安静的电磁屏蔽室中,1 024×768屏幕(分辨率为60 Hz)中央首先出现一个黑底白字的提示符“+”,显示持续时间为700 ms,提醒被试者新试次的开始。接着显示一张参考图片,持续时间为700 ms。之后屏幕上出现测试图片,显示时间同样为700 ms。最后显示900 ms的黑屏,标志着试次结束(见图2)。整个实验共包含50试次。被试者被要求先完成双刺激连续质量标度量表,然后完成脑电信号记录。

图 1 参考图片和测试图片( $\sigma $ 为模糊程度) Fig. 1 Reference picture and test picture (δ is the degree of ambiguity)

图 2 实验流程图 Fig. 2 Study protocol.

脑电信号采集使用自编软件记录,脑电放大器采用NT9200,使用10-20标准系统的32导联脑电帽。采样率设置为1 000 Hz,采集过程中,电极阻抗保持在10 kΩ以下。参考电极设置为双侧乳突。

1.3 数据分析

1.3.1 双刺激连续质量标度量表

量表的分数使用 $\Delta {\rm Score}$ 表示,即测试图片的分数与参考图片分数差的绝对值。为了比较不同模程度的图片之间的显著性,对不同的σ值的 $\Delta {\rm Score}$ 进行t检验。

并依据 $\Delta {\rm Score}$ 建立主观评价模型,对采集的数据进行初步趋势分析发现数据呈指数趋势,拟建立指数拟合模型,主观评价的指数拟合模型如下式所示:

$\Delta {\rm Score}{\rm{ = }}\Delta {\rm Score}{_0}{\rm{ + }}A{{\rm e}^{ - \frac{\sigma }{t}}}$ (1)

其中 $\Delta {\rm Score}$ 为量表得分,A为指数系数,t为常数系数, $\sigma $ 为模糊程度。

1.3.2 脑电信号分析

原始脑电数据使用EEGLAB软件进行处理,主要步骤如下:1)采用独立分量分析方法校正眼电伪迹;2)使用半自动伪迹去除方法移除心电、肌电等高频伪迹信号;3)对去除掉伪迹后的脑电数据进行分段,以图片(刺激)出现时间点为基点,提取时间段为[−800 ms, 800 ms]的数据;4)对分段后的数据进行基线校正;5)采用0.5~30 Hz的低通滤波器进行滤波;6)对每个被试者的所有试次进行叠加平均;7)计算所有被试数据的平均值。

为了研究图像不同模糊程度σ值与P300的变化规律,选择5个导联的数据进行分析,分别为额-中区FCz、中-顶区CPz、顶区Pz、枕区Oz和颞区T4。之后,对不同σ值的图像的P300进行t检验分析,并进一步建立指数拟合模型,如下式所示:

$L{\rm{ = }}{L_0}{\rm{ + }}A{{\rm e}^{ - \frac{\sigma }{t}}}$ (2)

其中L为潜伏期,A为指数系数,t为常数, $\sigma $ 为模糊程度。

2 结果与讨论 2.1 双刺激连续质量标度量表主观评价结果

图3显示了4种σ值对应图像的 $\Delta {\rm Score}$ 值的箱线图统计结果, $\Delta {\rm Score}$ 的值从小到大依次为σ=0.6 < σ=1.2 < σ=1.8 < σ=2.5。t检验结果显示图像模糊度σ值为0.6的图片与σ值为1.2(P=0.001), 1.8(P=0), 2.5(P=0)的图片进行比较,均有显著性差异;而且,σ值为1.2的图片与σ值为1.8(P=0.004),2.5(P=0)的图片比较也有显著性差异;但是,σ值为1.8的图片与σ值为2.5的图片之间没有显著性差异(P=0.120)。这说明个体对图像的模糊程度比较敏感,但当模糊达到一定程度后,主观感受变化不再显著。

图 3 不同σ值的 $\Delta {\rm Score}$ 分布图 Fig. 3 $\Delta Score$ with difference σ value. With the increase of fuzziness, the score of subjective evaluation increases.

2.2 图像σ值与量表分数的主观评价关系模型

根据主观分数计算得到图像σ值与量表分数的指数拟合模型为 $\Delta {\rm Score} = 5.027 - 4.624{{\rm e}^{ - \frac{\sigma }{{2.011}}}}$ ,相关系数为0.995 88,即 $\Delta {\rm Score}$ 随着σ值的变化呈现指数关系的变化,如图4所示。说明随着图片真实模糊程度的增加,个体能够识别出图片的模糊情况,但这种识别程度符合指数上升趋势,当大于阈值1.8后,个体将不能准确地识别图片的模糊程度。

2.3 脑电P300成分

2.3.1 导联的选择

为了方便设计基于脑电信号的图像清晰度便携式检测设备,选取一个变化最显著的电极作为应用电极,并为其建立评价模型。本研究计算了所有被试者4种测试图像的P300波幅峰值数据。由于篇幅限制,只列出σ值为0.6时5个电极的P300波幅峰值,见表1。t检验结果显示CPz导联峰值与其他4个导联FCz(P=0),Pz(P=0),T4(P=0),Oz(P=0)峰值之间具有显著性差异,其他导联之间没有显著性差异。图5显示了测试图片(刺激)出现后的200~600 ms范围内的脑电地形图(彩条代表波形幅值,从蓝色到红色代表幅值越来越大),图中明显显示出当潜伏期为300 ms时,CPz所在的区域的波幅值最大,这与之前的研究一致[14-15],说明中央-顶区的P300受模糊图片的影响最大,故选择CPz作为特征电极用于后面的分析。

图 4 图像σ值与量表分数指数拟合结果 Fig. 4 Exponentially fitted result of σ value and scale score

表 1 5个电极的P300峰值均值 Tab. 1 The grand average amplitude in the five channels (FCz、CPz、Pz、T4、Oz)
受试者 FCz /μV CPz/μV Pz/μV T4/μV Oz/μV
1 6.568 10.25 5.132 5.038 3.547
2 5.523 11.34 5.509 8.064 3.322
3 5.614 7.465 6.559 3.797 4.951
4 6.815 8.663 9.209 7.762 7.164
5 1.950 8.396 2.118 3.045 7.668
6 2.160 10.85 2.427 2.490 2.230
7 5.644 10.63 3.513 2.640 4.437
8 3.457 9.261 3.918 7.350 1.658
9 4.823 6.810 5.202 5.201 5.473
10 5.287 10.250 5.112 2.637 3.425

图 5 潜伏期为200~600 ms的脑电地形图 Fig. 5 the topographic map of latency in 200 ms-600 ms. The color bar represents the amplitude of the waveform, from blue to red, the amplitude is increasing.

2.3.2 P300潜伏期

每个被试不同 $\sigma $ 值的测试图像诱发的P300波的潜伏期会产生规律性变化,随着σ值的增加,P300潜伏期会逐渐缩短,这与以前研究的失真图像的情况一致[9-10]。说明图片越模糊,个体对图片内容的识别不需要特殊加工,从而对它的反应时间变短。对不同 $\sigma $ 值的P300潜伏期进行t检验,分析结果显示σ值为0.6的图片与σ值为1.2(P=0), 1.8(P=0), 2.5(P=0)的图片比较,均有显著性差异;σ值为1.2的图片与σ值为1.8(P=0.001), 2.5(P=0)的图片比较均有显著性差异;但是σ值为1.8的图片与σ值为2.5的图片之间没有显著性差异(P=0.232)。由于P300体现的是被试者的执行控制能力,说明当图像变得模糊时,被试者会提前执行注意功能。而且从图6可以看出当图片模糊程度为1.8时,P300波的幅值最大,说明图片变得模糊,被试者会集中注意力去辨识图片的内容。

图 6 模糊程度 $\sigma $ 值为0.6、1.2、1.8和2.5时,被试者CPz电极处的P300的均值图 Fig. 6 Mean value of P300 at the CPz electrode of the subject when the fuzzy degree is 0.6, 1.2, 1.8, and 2.5

2.3.3 图像σ值与P300潜伏期评价关系模型

经过计算得到 $\sigma $ 值与P300潜伏期的关系模型为 $L = 276.770 + 359.584{{\rm e}^{ - \frac{\sigma }{{1.090}}}}$ ,相关系数为0.990 09,模型如图7所示。根据统计理论,对于曲线拟合,一般在相关系数>0.85时,即任务满足这种关系。因此P300潜伏期与σ值呈现指数关系变化,与主观得分的指数变化正好相反。

图 7 P300潜伏期与σ值指数关系拟合结果 Fig. 7 Exponentially fitted result of the latency of P300 and σ value

2.4 P300潜伏期模型验证

2.4.1 真实数据验证

选取2名未参与建立模型的被试数据用来验证脑电评价关系模型,2组预测结果如表2所示。结果表明,第2名被试的预测结果比第1名被试的预测结果更好。但是两个被试的模型预测结果均接近实际值,说明脑电评价关系模型能够用来预测图像的清晰程度。

表 2 两组预测结果 Tab. 2 The predicted value of the two subjects based on the exponentially fitted model
被试1 被试2
实际σ P300潜伏期/ms 预测σ 实际σ P300潜伏期/ms 预测σ
0.6 425 0.96 0.6 484 0.6
1.2 361 1.52 1.2 406 1.12
1.8 352 1.71 1.8 339 1.91
2.5 324 2.21 2.5 319 2.6

2.4.2 主观评价与P300脑电评价的比较

为了进一步验证P300脑电评价模型的可行性,将脑电评价模型与主观评价模型进行了比较。结果显示主观评价模型和脑电评价模型呈现良好的负相关关系,即随着图像越模糊, $\sigma $ 值越大,被试的 $\Delta {\rm Score}$ 越大,P300潜伏期越小。并且二者拟合的关系模型也相似,都呈现良好的指数关系模型,模型如图8所示。结合主观评价模型指数变化趋势,结果证明P300脑电评价模型具有可行性。

2.5 正常状态和饮酒状态下P300对比

采用相同的实验刺激方案,采集一个被试者在正常状态下和饮酒状态下的脑电信号。该被试者在正常状态下的脑电实验P300结果如图9所示,P300潜伏期随着不同 $\sigma $ 值产生了不同的有规律变化的值。该被试者在饮酒状态下的脑电实验P300结果如图10所示,结果表明醉酒状态下没有明显的P300波形,在饮酒状态下的脑电信号与正常状态下的脑电信号有明显的改变。

图 8 主观评价模型(量表分数)与脑电(P300)评价模型的指数拟合结果对比 Fig. 8 Comparison of exponentially fitted results between subjective evaluation (score) model and EEG (P300) evaluation model

图 9 被试者在正常状态下不同 $\sigma $ 值的P300结果 Fig. 9 The P300 of subjects with different $\sigma $ values in normal conditions

图 10 被试者在饮酒状态下不同 $\sigma $ 值的P300结果 Fig. 10 The P300 of subjects with different values in $\sigma $ drinking conditions

2.6 讨 论

通过10名健康被试者对5种不同模糊等级的图像进行双刺激连续质量标度量表和脑电测试,建立了P300波潜伏期和图像模糊等级关系模型。在使用模型时仍然需要考虑以下限制和不足:试验的样本量较小,有可能会影响到结果的鲁棒性;年龄和职业覆盖面窄,将结论范推到老人或其他职业需要谨慎;其他事件相关电位组件,如N200、P200等的幅值和潜伏期未分析。在将来的研究中,会综合考虑这些因素。

本文建立了被试者在正常状态下P300与图像清晰度的相关关系,对监测飞机驾驶员、特种设备操作员等特殊岗位人员的工作状态提供了理论基础。在实际使用时需要预先测试并记录工作人员在正常状态下不同图像清晰度与P300潜伏期关系;在饮酒、吸毒等状态下,同样的图像清晰度P300潜伏期会发生变化,甚至P300潜伏期与图像清晰度不再存在相关关系。因此,通过分析工作人员实际工作时不同图像清晰度下P300潜伏期的变化(与预先记录结果比较)以及P300潜伏期与图像清晰度是否存在相关关系判断工作人员状态。本文已经对饮酒状态下P300的改变进行了定性的分析,在将来的研究中,可以对不同饮酒量情况下P300潜伏期与图像清晰度的关系进行定量测试。

3 结束语

本文对5种不同模糊程度的图片进行双刺激连续质量标度量表和事件相关脑电P300成分进行分析,建立了基于P300潜伏期和模糊等级的评价模型,并通过脑电试验数据对模型的验证以及主观量表结果与P300评价模型的对比说明,提出的模型能够较好地反映出图片的清晰程度与客观指标P300的关系。因此可以得出:不同清晰度的视觉对象会引起不同的意识反应程度,其中P300是可以较好地反映这种变化关系的脑电参数。本文分析了不同导联的P300波幅峰值情况,结果反映CPz导联所在区域的波幅最大,因此在开发基于单导联的实际应用系统时,可以采集CPz导联的数据,计算其P300潜伏期,根据建立的模型计算其理论上的图片清晰程度。研究成果将为图像处理、自动调焦技术提供直观的技术手段。在工程应用方面,可以基于本文评价模型建立方法,研制便携式图片清晰度识别装置;此外,也可以通过前后比对的方法来判断被试者的当前意识状态,用于关键工作岗位的从业人员饮酒、吸毒和疲劳等状态的监测。

参考文献
[1]
李奇, 冯华君, 徐之海, 等. 数字图像清晰度评价函数研究[J]. 光子学报, 2002, 31(6): 736-738.
[2]
KRAKOW K, ALLEN P J, SYMMS M R. EEG recording during fMRI experiments: image quality[J]. Human Brain Mapping, 2015, 10(1): 10-15.
[3]
PEREZ J, DELECHELLE E. On the measurement of image quality perception using frontal EEG analysis[C]// International Conference on Smart Communications in Network Technologies, 2013.
[4]
HAYASHI H, SHIRAI H, KAMEDA M, et al. Assessment of extra high quality images using both EEG and assessment words on high order sensations[C]//IEEE International Conference on Systems, Man and Cybernetics, 2000.
[5]
DEFFNER G. Eye movement recordings to study determinants of image quality in new display technology[J]. Studies in Visual Information Processing, 1995, 6: 479-490. DOI:10.1016/S0926-907X(05)80040-6
[6]
郭昕. 图像质量主观评价中眼动信号的可视化分析方法[J]. 现代电子技术, 2015, 38(12): 70-73.
[7]
POLICH J. Theoretical overview of P3a and P3b[M]. Boston: Kluwer Academic Press, 2003: 83-98.
[8]
HANSENNE M. Le potentiel évoqué cognitif P300 (II): variabilité interindividuelle et application clinique en psychopathologie[J]. Clinl Neurophysiol, 2000, 30(4): 211-231. DOI:10.1016/S0987-7053(00)00224-0
[9]
LINDEMANN L, MAGNOR M. Assessing the quality of compressed images using EEG[C]// IEEE International Conference on Image Processing, 2011.
[10]
LINDEMANN L, WENGER S, MAGNOR M. Evaluation of video artifact perception using event-related potentials[C]// ACM SIGGRAPH Symposium on Applied Perception in Graphics and Visualization, 2011.
[11]
ARNDT S, ANTONS J N, SCHLEICHER R, et al. A physiological approach to determine video quality[C]// IEEE International Symposium on Multimedia, 2011.
[12]
PEREZ J, DELECHELLE E. On the measurement of image quality perception using frontal EEG analysis[C]// International Conference on Smart Communications in Network Technologies, 2013.
[13]
SCHOLLER S, BOSSE S, TREDER M S, et al. Toward a direct measure of video quality perception using EEG[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2012, 21(5): 2619-2629. DOI:10.1109/TIP.2012.2187672
[14]
COMERCHERO M D, POLICH J. P3a and P3b from typical auditory and visual stimuli[J]. Clinical Neurophysiology, 1999, 110(1): 24-30. DOI:10.1016/S0168-5597(98)00033-1
[15]
POLICH J. Updating P300: An integrative theory of P3a and P3b[J]. Clinical Neurophysiology, 2007, 118(10): 2128-2148. DOI:10.1016/j.clinph.2007.04.019