来源记忆中背景的情绪效价与唤醒对提取过程的影响 |
2. 首都师范大学心理学院,北京市“学习与认知”重点实验室,北京 100048;
3. 北京大学心理与认知科学学院,北京 100871
来源记忆是对事件来源的记忆,包括事件发生时的时空背景或其他细节。双加工理论认为,来源记忆中包含熟悉性和回想两种提取过程,并能通过不同的脑电指标—新旧效应进行衡量(Rugg & Curran, 2007)。新旧效应是指正确再认旧项目与正确拒绝新项目的脑电差异。来源记忆提取阶段存在FN400及LPC两种新旧效应。FN400发生在刺激呈现后约300~500 ms的大脑额区,反映对学习项目本身的熟悉性加工;LPC发生在刺激呈现后约500~700 ms的大脑左侧顶区,反映对项目背景或细节提取时的回想加工,LPC振幅的不同还可作为区分正确判断来源与错误判断来源的神经指标(Mitchell & Johnson, 2009; Rugg & Curran, 2007)。
记忆与情绪有密切关联,编码阶段的情绪背景如何影响来源记忆提取这一问题已受到研究者关注(Dolcos et al., 2017)。研究者采用单词、句子、图片等不同材料发现提取情绪背景时的记忆增强效应,即对情绪背景的再认效果较中性背景更好(Jaeger, Johnson, Corona, & Rugg, 2009; Maratos & Rugg, 2001; Zhang, Liu, An, Yang, & Wang, 2015)。情绪背景也对新旧效应产生影响,提取情绪背景一般会诱发更大的LPC新旧效应,如,Ventura-Bort等人(2017)采用情绪图片作为背景,发现提取情绪背景能获得更大的LPC新旧效应。还有研究发现情绪背景对FN400新旧效应的影响,如,胡哲、张钦、梁九清和郭春彦(2013)将汉字与情绪图片结合,发现提取背景情绪图片能诱发更大的FN400及LPC新旧效应。这些研究提示情绪背景在来源记忆提取中存在加工优势,情绪背景能通过调节注意资源、加强与项目捆绑等方式促进来源提取。
根据情绪的二维理论,可将情绪分为效价和唤醒两个维度(Russell, 2003)。当背景信息包含效价时,对熟悉性及回想过程具有不同影响。胡哲等人(2013)发现对正性背景的提取能诱发比负性背景更大的LPC新旧效应;Ventura-Bort等人(2016)发现仅在正确提取负性背景时诱发FN400,而提取正性背景则会诱发更大的LPC;Martínez-Galindo和Cansino(2015, 2017)则发现提取正性背景能诱发更大的FN400和LPC新旧效应。可以看出,与负性背景相比,正性背景往往能诱发更大的LPC。但对于背景的唤醒维度如何影响来源提取,以往研究容易混淆效价和唤醒的影响。Jaeger等人(2009)以高低唤醒图片为材料,发现提取高唤醒背景能诱发更大的FN400及LPC新旧效应,但需指出,该研究在高低唤醒材料的选择上并没有完全排除效价的影响,即高唤醒图片同时有着较低效价分数,而低唤醒图片则有相对更高的效价分数。通过文献梳理发现,以往研究在探讨情绪背景对提取的影响时,更多关注背景效价,在考察背景唤醒的影响时,又往往混淆了效价的影响。因此,本研究独立区分背景的效价和唤醒,以更明确地探讨背景效价与唤醒强度对提取的影响,同时还将对背景情绪的两个维度是否存在交互影响进行检验。
本研究采用来源记忆多键范式,任务要求被试在判断项目新旧的同时提取旧项目的来源,并通过来源正确与来源错误区分回想与熟悉性过程(Guo, Duan, Li, & Paller, 2006; Smith, Henson, Rugg, & Dolan, 2005)。同时,操纵背景的情绪效价及唤醒强度,设置正性高唤醒、正性低唤醒、负性高唤醒、负性低唤醒四类情绪背景,使用ERPs技术探讨背景的情绪效价及唤醒强度影响来源记忆的认知神经机制。基于前人研究,本研究假设,在不同情绪条件下都能发现显著的新旧效应,且背景的不同效价与唤醒强度对回想过程产生影响,其中,正性背景及高唤醒背景能够促进来源提取且诱发更大的LPC新旧效应;另外,本研究还将就背景效价与唤醒对提取的影响是否存在交互进行分析与探讨。
2 方法 2.1 被试高校大学生被试19名(9名男生,10名女生),平均21.05±1.27岁。所有被试均为右利手,裸眼视力或矫正视力正常,无严重身心病史。实验前签署知情同意书,实验结束后获得一定报酬。
2.2 实验设计采用2(效价:正性,负性)×2(唤醒:高,低)×3(判断类型:来源正确,来源错误,新)的被试内实验设计。因变量为被试的反应时、再认率、辨别力(Pr值)以及脑电波幅。
2.3 实验材料从《现代汉语频率字典》选取804个汉字(平均笔画10.75±2.97,平均字频0.0046±0.01),无情绪色彩。把汉字分成12组,每组40个旧字,27个新字,并对各组的笔画和字频进行了平衡。另有48个动物名称仅用于学习阶段靶子。
从国际情绪图片系统(IAPS)中挑选120张图片,包括四类:正性高唤醒,正性低唤醒,负性高唤醒和负性低唤醒图片,各30张(刘潇楠, 许翱翔, 周仁来, 2009; Lang, Bradley, & Cuthbert, 2005)。所有图片分为3组,每类图片在每组实验中各10张。为获得足够的试次数,3组图片在实验中循环使用4次,共12组。根据国际情绪图片系统的1~9级标准化分数,得到四类情绪图片的平均唤醒和效价分数(参见表1)。另有24张图片仅用于学习阶段动物字的背景,对情绪类型进行匹配,不参与结果分析。
表 1 四类情绪图片的平均效价分数和唤醒分数 |
![]() |
学习阶段的刺激材料每组包括汉字(40个)、动物名称(6个)、用于汉字背景的情绪图片(每类各10张)、用于动物名称背景的情绪图片(6张),共有12组。每组中的汉字和情绪图片随机配对。学习阶段中汉字叠加于图片之上,无语义关联。各组顺序进行被试间随机。测验阶段的刺激材料每组包括67个汉字(40个旧词,27个新词),共有12组。实验刺激样例见图1。
2.4 实验程序实验采用“学习–再认”范式,共分为12组,每组都包括学习、分心和测验三个阶段。
被试在正式实验前,依次观看实验图片,并对每张图片的效价和唤醒进行判断,对分类与IAPS不一致的图片,主试进行解释和引导。
学习阶段,在屏幕中央同时呈现汉字(黑体,字号60,视角1.64°×1.64°)和情绪图片(像素420×315,视角8.47°×6.36°)。汉字与图片呈现时间为2500 ms,ISI在1000~1400 ms内随机,ISI期间于屏幕中央呈现注视点。要求被试对汉字及对应图片的情绪效价和唤醒强度进行有意识记忆,并对出现的动物名称做按键反应。
学习阶段结束后被试进行1 min的倒减3任务,之后进入测验阶段,屏幕中央呈现汉字,每个汉字呈现时间为800 ms,ISI在1400~1800 ms内随机。测验阶段被试的任务是对汉字进行五键判断:新字、旧字且背景为正性高唤醒、旧字且背景为正性低唤醒、旧字且背景为负性高唤醒、旧字且背景为负性低唤醒。五种反应的按键顺序在被试间平衡。
![]() |
图 1 实验刺激样例 |
实验程序使用Presentation15.0软件编制,显示器为15寸CRT显示器,分辨率为800×600 ppi,刷新频率为75 Hz。
2.5 EEG记录和数据处理实验采用Neuroscan公司生产的ESI-64导脑电记录系统。利用Ag/AgCl电极帽记录相应EEG。电极位置采用国际10–20扩展电极系统。在数据记录时选取左侧乳突处电极为参考,右侧乳突处电极做记录电极,离线数据分析采用双侧乳突的平均做参考。左眼眶上下部的2个电极和两眼眼角外侧的2个电极分别记录垂直眼电(VEOG)和水平眼电(HEOG),接地点位于Fpz和Fz连线的中点。脑电信号采集增益(gain)为500,A/D采样频率为500 Hz,采用的滤波带通为0.05~40 Hz。头皮电阻均小于5 KΩ。
实验截取测验阶段−200~1000 ms的脑电数据,以−200~0 ms的脑电为基线,排除眨眼伪迹,对各条件平均叠加前剔除波幅在−75~75µV区间外的试次。分析时段统一划分为300~500 ms(FN400)及500~700 ms(LPC),同时根据FN400和LPC两类新旧效应的常见分布区域(Rugg & Curran, 2007)及本实验的关注脑区,将分析电极设置为前部脑区及后部脑区(前部:F5,F3,F1,FZ,F2,F4,F6,FC5,FC3,FC1,FCZ,FC2,FC4,FC6;后部:P5,P3,P1,PZ,P2,P4,P6,PO7,PO5,PO3,POZ,PO4,PO6,PO8)。使用矢量转化法(vector normalization approach)进行时段和脑区的地形图比较(McCarthy & Wood, 1985),以证明FN400和LPC的分布脑区。分别在各来源和情绪条件下进行FN400和LPC的分析,必要时对相关条件进行合并,主要使用SPSS24进行重复测量方差分析,事后比较运用Bonferroni校正,必要时运用Greenhouse-Geisser校正法,自由度均为未矫正值。
3 结果 3.1 行为结果分析提取阶段各条件下的反应时、再认率(来源正确比率、来源判断错误比率)及辨别力见表2。
表 2 测验阶段行为结果 |
![]() |
3.1.1 反应时
首先,合并情绪条件,进行总体的来源正确、来源错误和新判断的单因素重复测量方差分析,结果显示主效应显著,F(2, 36)=82.56,p<0.001,η
然后,对来源(来源正确,来源错误)、效价(正性,负性)和唤醒(高,低)进行三因素重复测量方差分析。结果显示,来源错误的反应时显著长于来源正确,F(1, 18)=50.27,p<0.001,η
首先,合并情绪条件,进行总体的来源正确、来源错误和新的单因素重复测量方差分析,结果显示主效应显著,F(2, 36)=67.6,p<0.001,η
然后,为消除不同效价和唤醒背景下来源判断误报造成的反应偏向,将正确判断为某一来源的比率减去误报为此来源的比率(Snodgrass & Corwin, 1988),分别计算不同背景下来源判断的辨别力(Pr值)。对来源判断的效价(正性,负性)和唤醒(高,低)进行两因素重复测量方差分析,结果显示对正性背景的判断辨别力显著高于负性背景,F(1, 18)=19.64,p<0.001,η
为证明来源提取过程中的FN400及LPC两类新旧效应,通过合并情绪条件,并进行反应(来源正确,来源错误,新)×时段(300~500 ms,500~700 ms)×位置(前部,后部)的三因素重复测量方差分析,结果显示,三因素交互作用显著,F(2, 36)=5.76,p<0.05,η
![]() |
注:SC,来源正确;SI,来源错误;N,新。 图 2 来源判断正确与来源判断错误的新旧效应波形图和地形图 |
首先,进行反应(来源正确,新)×时段(300~500 ms,500~700 ms)×位置(前部,后部)的三因素重复测量方差分析,结果显示,三因素交互作用显著,F(1, 18)=5.78,p<0.05,η
然后,进行反应(来源错误,新)×时段(300~500 ms,500~700 ms)×位置(前部,后部)的三因素重复测量方差分析,结果显示,三因素交互作用显著,F(1, 18)=8.94,p<0.01,η
为检验FN400和LPC两类新旧效应的地形图分布模式,比较两种新旧效应(来源正确–新,来源错误–新)在不同时间窗口(300~500 ms, 500~700 ms)的地形图。首先,进行新旧效应差异波(来源正确–新,来源错误–新)×时段(300~500 ms, 500~700 ms)×电极(62)的三因素重复测量方差分析,结果显示三因素交互作用显著,F(61, 1098)=2.51,p<0.05,η
然后,对电极、时间的新旧效应进行两因素重复测量方差分析,结果显示,在300~500 ms,新旧效应与电极交互作用不显著(p>0.10);在500~700 ms,新旧效应与电极有显著的交互作用,F(61, 1098)=2.28,p<0.05,η
将FN400及LPC作为主要指标,分析效价与唤醒对来源提取中新旧效应的影响,同时考察相应的情绪效应(参见图3)。
![]() |
注:P,正性背景;N,负性背景;H,高唤醒背景;L,低唤醒背景。 图 3 不同来源判断条件下的情绪效应波形图和地形图 |
针对300~500 ms的前部脑区,进行来源(来源正确,来源错误)、效价(正性,负性)和唤醒(高,低)的三因素重复测量方差分析。结果显示,来源、效价及唤醒的主效应或交互作用均不显著(Fs<3.25,ps>0.05)。表明背景效价与唤醒不影响FN400新旧效应。
针对500~700 ms的后部脑区,进行来源(来源正确,来源错误)、效价(正性,负性)和唤醒(高,低)的三因素重复测量方差分析。结果显示,来源正确诱发的ERPs显著高于来源错误,F(1, 18)=17.43,p<0.01,η
从行为结果看,来源正确的比率显著高于来源错误,反应时也显著长于来源错误,体现了被试在正确提取来源时有更高的判断信心及更强的提取意向(Guo et al., 2006)。ERPs结果提示,在300~500 ms,来源正确与来源错误有相似的FN400新旧效应,说明在提取早期的熟悉性加工同时支持来源正确与来源错误两类判断;在500~700 ms,来源正确的LPC新旧效应显著高于来源错误,说明晚期主要提取背景细节。因此,行为与脑电结果一致表明来源正确与来源错误体现了不同的加工过程(Rugg & Curran, 2007)。
本研究还发现,来源正确与来源错误在地形图上也有显著差异,所以二者存在本质差异,即与来源正确相比,来源错误可能缺乏对关键背景信息的回想。Duarte,Henson和Graham(2011)通过fMRI技术发现,来源正确比来源错误更多激活了海马、角回等脑区,而来源错误比来源正确更多地激活顶叶和额叶,这提示正确与错误提取来源具有不同的神经机制,同时海马的更大激活表明来源正确涉及对关键信息的更多回想。
4.2 背景效价对新旧效应的影响从背景的效价看,提取正性背景的反应时显著更短,辨别力显著更高;在刺激呈现后500~700 ms提取正性背景诱发了比负性背景显著更高的振幅。反映了LPC新旧效应对背景效价敏感,且正性背景能促进来源提取,这与以往研究结果一致(胡哲等, 2013; Martínez-Galindo & Cansino, 2017)。有研究发现,1~6天的新生儿便存在对情绪性语音的正性加工偏向(张丹丹等, 2019),此偏向仍可能保持至成年期。根据fMRI研究,提取正性背景及成功提取来源都能激活海马、前额皮质等脑区(Mitchell & Johnson, 2009; Smith et al., 2005),说明二者有相似的神经通路。
本研究中,来源错误所诱发的ERPs也因背景效价的不同而存在显著差异,即提取意向产生后,无论是否成功提取来源,脑电波幅仍然对背景效价敏感。有研究发现无论是否正确提取情绪背景,都能成功激活杏仁核(Smith et al., 2005),说明尽管在来源错误试次中未见项目与背景捆绑的外显表征,但情绪背景的影响仍在大脑中留下了加工痕迹。另外,在提取意向确定时,正性情绪作为一种安全、利于生存的信号具有更高的加工优先性(Sakaki, Niki, & Mather, 2012),可能反映了情绪背景对记忆提取的无意识影响。总之,来源提取过程中存在对正性背景的再认偏向。
4.3 背景唤醒强度对新旧效应的影响从背景的唤醒强度看,提取低唤醒背景的反应时显著更长;在500~700 ms,仅正确判断来源时存在显著的唤醒效应。这提示低唤醒背景减弱了提取中的回想过程,高唤醒背景则促进来源提取。这可能与编码阶段对高唤醒刺激的无意识加工有关(Mickley & Kensinger, 2008)。由于无意识加工的参与,使高唤醒背景的加工只占用了较少的认知资源,从而有更多资源对项目与背景的联结进行加工,进而提取来源时能对背景细节进行更快速有效的加工,因此产生更清晰的来源记忆。但在对低唤醒背景进行编码时,会扩大注意范围,并引起注意力的过度转移(Meng et al., 2017),因此对低唤醒背景的感知细节编码较弱,并使得提取时表现较差。
与背景效价对新旧效应的影响不同,来源错误对背景的唤醒强度并不敏感。效价由于内在的包含了生物适应性信息,如负性情绪表示危险信号,正性情绪表示安全信号(Sakaki et al., 2012),使不同背景情绪效价下的来源错误仍能表现显著差异;但对于高低唤醒刺激,它们都包含了负性和正性所指代的危险和安全信号,因此唤醒强度的高低并未包含生物适应性信息,也就无法在来源错误中表现出差异。
本研究还发现,背景效价及唤醒强度之间没有显著的交互作用,这反映了二者对来源记忆的影响是相对独立的,并以不同的方式影响来源提取。其差异核心在于个体对刺激的不同效价及唤醒强度的加工方式差异。Kensinger和Corkin(2003, 2004)的fMRI研究为此提供了佐证。他们发现,情绪刺激的效价与唤醒对再认的影响涉及两个独立的神经通路及加工方式,前者更依赖前额皮层–海马通路,更多采用复述或详述等概念编码加工,后者更依赖杏仁核–海马通路,更多采用感知编码加工。当情绪刺激作为编码的背景并对其进行来源提取时,仍可能受其神经通路及加工方式的影响。
5 结论本研究考察了来源记忆提取过程中的情绪调节效应,结果发现:背景效价与唤醒主要影响来源记忆的回想过程,体现为对正性背景及高唤醒背景的促进作用;且背景效价与唤醒对来源记忆的影响是相互独立的。
胡哲, 张钦, 梁九清, 郭春彦. (2013). 不同情绪背景下来源记忆的ERPs研究. 心理学报, 45(7): 725-739. |
刘潇楠, 许翱翔, 周仁来. (2009). 国际情绪图片系统的本土化研究: 在中国大学生群体中的评定. 中国临床心理学杂志, 17(6): 687-689. |
张丹丹, 陈钰, 敖翔, 孙国玉, 刘黎黎, 侯新琳, 陈玉明. (2019). 新生儿情绪性语音加工的正性偏向——来自事件相关电位的证据. 心理学报, 51(4): 462-470. |
Dolcos, F., Katsumi, Y., Weymar, M., Moore, M., Tsukiura, T., & Dolcos, S. (2017). Emerging directions in emotional episodic memory. Frontiers in Psychology, 8: 1867. DOI:10.3389/fpsyg.2017.01867 |
Duarte, A., Henson, R. N., & Graham, K. S. (2011). Stimulus content and the neural correlates of source memory. Brain Research, 1373: 110-123. DOI:10.1016/j.brainres.2010.11.086 |
Guo, C. Y., Duan, L., Li, W., & Paller, K. A. (2006). Distinguishing source memory and item memory: Brain potentials at encoding and retrieval. Brain Research, 1118(1): 142-154. DOI:10.1016/j.brainres.2006.08.034 |
Jaeger, A., Johnson, J. D., Corona, M., & Rugg, M. D. (2009). ERP correlates of the incidental retrieval of emotional information: Effects of study-test delay. Brain Research, 1269: 105-113. DOI:10.1016/j.brainres.2009.02.082 |
Kensinger, E. A., & Corkin, S. (2003). Memory enhancement for emotional words: Are emotional words more vividly remembered than neutral words?. Memory & Cognition, 31(8): 1169-1180. |
Kensinger, E. A., & Corkin, S. (2004). Two routes to emotional memory: Distinct neural processes for valence and arousal. Proceedings of the National Academy of Sciences of the United States of America, 101(9): 3310-3315. DOI:10.1073/pnas.0306408101 |
Lang, P. J., Bradley, M. M., & Cuthbert, B. N. (2005). NIMH center for the study of emotion and attention, international affective picture system (IAPS): Instruction manual and affective ratings. Gainesville, FL: Uiversity of Florida.
|
Maratos, E. J., & Rugg, M. D. (2001). Electrophysiological correlates of the retrieval of emotional and non-emotional context. Journal of Cognitive Neuroscience, 13(7): 877-891. DOI:10.1162/089892901753165809 |
Martínez-Galindo, J. G., & Cansino, S. (2015). Positive and negative emotional contexts unevenly predict episodic memory. Behavioural Brain Research, 291: 89-102. DOI:10.1016/j.bbr.2015.05.018 |
Martínez-Galindo, J. G., & Cansino, S. (2017). Emotional context during encoding modulates recognition electrophysiological activity. Experimental Brain Research, 235(1): 169-179. DOI:10.1007/s00221-016-4780-8 |
McCarthy, G., & Wood, C. C. (1985). Scalp distributions of event-related potentials: An ambiguity associated with analysis of variance models. Electroencephalography and Clinical Neurophysiology/Evoked Potentials Section, 62(3): 203-208. DOI:10.1016/0168-5597(85)90015-2 |
Meng, X. X., Zhang, L., Liu, W. W., Ding, X. S., Li, H., Yang, J. M., & Yuan, J. J. (2017). The impact of emotion intensity on recognition memory: Valence polarity matters. International Journal of Psychophysiology, 116: 16-25. DOI:10.1016/j.ijpsycho.2017.01.014 |
Mickley, K. R., & Kensinger, E. A. (2008). Emotional valence influences the neural correlates associated with remembering and knowing. Cognitive, Affective, & Behavioral Neuroscience, 8(2): 143-152. |
Mitchell, K. J., & Johnson, M. K. (2009). Source monitoring 15 years later: What have we learned from fMRI about the neural mechanisms of source memory?. Psychological Bulletin, 135(4): 638-677. DOI:10.1037/a0015849 |
Rugg, M. D., & Curran, T. (2007). Event-related potentials and recognition memory. Trends in Cognitive Sciences, 11(6): 251-257. DOI:10.1016/j.tics.2007.04.004 |
Russell, J. A. (2003). Core affect and the psychological construction of emotion. Psychological Review, 110(1): 145-172. DOI:10.1037/0033-295X.110.1.145 |
Sakaki, M., Niki, K., & Mather, M. (2012). Beyond arousal and valence: The importance of the biological versus social relevance of emotional stimuli. Cognitive, Affective, & Behavioral Neuroscience, 12(1): 115-139. |
Smith, A. P. R., Henson, R. N. A., Rugg, M. D., & Dolan, R. J. (2005). Modulation of retrieval processing reflects accuracy of emotional source memory. Learning & Memory, 12(5): 472-479. |
Snodgrass, J. G., & Corwin, J. (1988). Pragmatics of measuring recognition memory: Applications to dementia and amnesia. Journal of Experimental Psychology: General, 117(1): 34-50. DOI:10.1037/0096-3445.117.1.34 |
Ventura-Bort, C., Dolcos, F., Wendt, J., Wirkner, J., Hamm, A. O., & Weymar, M. (2017). Item and source memory for emotional associates is mediated by different retrieval processes. Neuropsychologia. DOI:10.1016/j.neuropsychologia.2017.12.015 |
Ventura-Bort, C., Löw, A., Wendt, J., Moltó, J., Poy, R., Dolcos, F.,... Weymar, M. (2016). Binding neutral information to emotional contexts: Brain dynamics of long-term recognition memory. Cognitive, Affective, & Behavioral Neuroscience, 16(2): 234-247. |
Zhang, Q., Liu, X., An, W., Yang, Y., & Wang, Y. (2015). Recognition memory of neutral words can be impaired by task-irrelevant emotional encoding contexts: Behavioral and electrophysiological evidence. Frontiers in Human Neuroscience, 9: 73. |
2. School of Psychology, Capital Normal University, Key Laboratory of “Learning & Cognition”, Beijing 100048;
3. School of Psychological and Cognitive Sciences, Peking University, Beijing 100871