心理发展与教育  2016, Vol. 32 Issue (1): 33-40   PDF    
http://dx.doi.org/10.16187/j.cnki.issn1001-4918.2016.01.05
国家教育部主管、北京师范大学主办。
0

文章信息

李莹, 张莹, 刘俊. 2016.
LI Ying, ZHANG Ying, LIU Jun. 2016.
语境与颜色诊断性对句子理解中物体隐含颜色知觉模拟的影响
The Influence of Context and Color Diagnosticity on Perceptual Simulation of Implied Color Information During Sentence Comprehension
心理发展与教育, 32(1): 33-40
Acta Meteorologica Sinica, 32(1): 33-40.
http://dx.doi.org/10.16187/j.cnki.issn1001-4918.2016.01.05
语境与颜色诊断性对句子理解中物体隐含颜色知觉模拟的影响
李莹 , 张莹, 刘俊    
郑州大学教育系, 郑州 450001
摘要:具身认知理论的代表知觉符号系统认为知识表征具有知觉特点,并假设语言理解中对于所涉及概念及其隐含属性会即时进行知觉模拟。当前研究采用句图匹配范式,通过三个实验探讨句子理解中是否会对物体隐含颜色属性进行知觉模拟及其具体条件。实验1沿用经典范式验证语言理解中对物体隐含颜色存在知觉模拟过程。实验2通过变化句子前语境考察语境是否支持对于物体隐含颜色知觉模拟的影响。实验3进一步考察当颜色属性与其对应物体存在稳定关联时(即具有高颜色诊断性的物体),在不同语境作用下是否会引起知觉表征的变化。研究结果表明,语言理解中知觉模拟过程是灵活的,语境改变会引起读者所激活的物体颜色知觉表征发生变化,并且对于高颜色诊断物体,即使缺乏支持语境,读者仍然会对句中隐含的物体特定颜色进行知觉模拟。
关键词隐含物体颜色     知觉模拟     颜色诊断性     语言理解    
The Influence of Context and Color Diagnosticity on Perceptual Simulation of Implied Color Information During Sentence Comprehension
LI Ying , ZHANG Ying, LIU Jun    
Department of Education, Zhengzhou University, Zhengzhou 450001
Abstract:Perceptual symbol system held the hypothesis that knowledge representation is perceptual, and readers simulate objects' implied properties by activating perceptual representation during language comprehension. The present study used sentence-picture matching paradigm to explore that whether perceptual simulating process of implied object color information exists during sentence comprehension. Experiment 1 proved that implied color information of objects was perceptually simulated during sentence reading. In Experiment 2, contexts of sentences were changed to explore whether contexts affected perceptual simulation of implied color information. In Experimental 3, relationship between objects and their corresponding color was taken into consideration. The result showed that both context and color diagnosticity played roles in perceptual simulating process of implied object color. Furthermore, to objects with high color diagnosticity, their implied colors were always simulated during sentence processing, even lacking of sufficient sentence contexts.
Key words: implied object color     perceptual simulation     color diagnosticity     language comprehension    
1 前言

近十年来,有关知识概念的表征以及语言理解中信息加工的认识发生了较大改变,研究者们逐渐开始认可人们在头脑中会形成动态的、与知觉状态相符的心理表征(Garbarini & Adenzato,2004; 李其维,2008)。在此之前,普遍认识是头脑中所存储的知识表征是符号式的,与物体知觉经验无关(Propositional Symbol System,Newell,1972)。然而近些年的理论与实证研究均表明知识表征应当是建立在知觉和动作形式上的,头脑中的表征应当与经验中的直接知觉感受有相似之处,如具身认知理论的代表——知觉符号系统(Perceptual Symbol System,Barsalou,1999)。该理论认为,当人们在头脑中形成一个关于桌子的心理表征时,这一表征与真实世界中接触的桌子有高度相似性,甚至包含了典型的桌子形状、颜色、纹理等属性。由于思维与语言的密切联系,探讨语言理解的本质也成为了解知识表征的一种直接有效的手段。研究者们认为,语言理解中读者在头脑自动激活的事物表征与直接经验到的事物特征是一致的,语言理解中实时进行的这一心理加工过程即知觉模拟过程。相继有一系列行为学实验从物体形状、方位、动作等多种属性上肯定了语言理解中知觉模拟的存在(Richter & Zwaan,2009; Stanfield & Zwaan,2001; Zwaan & Pecher,2012; Zwaan,Stanfield,& Yaxley,2002; Zwaan & Yaxley,2003a2003b; 李莹,王瑞明,莫雷,20052007; 莫雷,伍丽梅,王瑞明,2006; 杜语,王瑞明,2011)。电生理活动研究采用与行为学实验相似的实验范式,进一步从神经机制角度证实了语言理解与感知觉经验之间的互通(Coppens,Gootjes,& Zwaan,2012)。此外,脑功能成像研究也发现当理解与运动有关的语义信息或直接对动词进行语义加工时,大脑皮层中与运动生成对应的体感运动区域也会得到相应激活(Aziz-Zadeh,Wilson,Rizzolatti,& Iacoboni,2006; Hauk,Johnsrude,& Pulvemuller,2004; Tettamanti et al.,2005)。

然而,与以往研究中关注语言理解中物体形状、方位、运动等属性相分离的是,颜色同样作为事物典型、稳固的内在属性却欠缺充分的实验验证,并且仅有的少数研究其结论也不相一致。Richter和Zwaan的实验(2009)采用Stroop范式探讨颜色词加工与颜色知觉的关系,并发现与颜色词相关的颜色表征会自动激活并影响颜色知觉判断,从而表明颜色词的概念表征和颜色知觉的表征是重叠的。其另一研究采用句图匹配范式同样重复了如形状、方位等物体属性的实验结果(Zwaan & Pecher,2012)。不同的是,Connell(2007)采用相同的句图匹配范式,结果发现当句子中隐含物体颜色与之后判断图片中物体颜色不匹配时读者对图片判断的反应时反而更快,未能证明句子理解中隐含颜色信息的心理表征得到激活。研究者认为物体颜色与其他物体属性的心理表征不同,当语言理解中涉及的是稳定或不稳定的物体属性时知觉模拟也是有区别的。此外,张盼和鲁忠义(2013)关于颜色知觉模拟的研究试图从不同加工阶段解释句子中物体颜色心理表征的动态过程,并证明颜色知觉表征是在句子阅读晚期激活的。张常青等(2013)则从颜色信息是否显性检验颜色概念的知觉模拟,结果表明外显颜色概念表征是知觉性的,而隐性颜色概念表征是命题性的。

当前研究认为,导致研究结论相异的一个关键原因是不同实验中对物体颜色属性的隐含程度其语言表述是有差异的。例如,Connell的研究中采用“约翰看见盘子里/橱窗里的牛肉”以区分同一物体的不同颜色状态,而张盼等的实验则是“珍妮尝了一口(没)成熟的番茄”。虽然都没有明确提及物体颜色,但两类实验材料却存在不同程度的推理语境,后者对物体的特定颜色更具倾向性。倘使Connell的实验材料改变为“约翰看见盘子里烤熟的牛肉/橱窗里新鲜的牛肉”,读者所形成的心理表征是否会发生变化?因此,考察语言理解中物体隐含颜色的知觉模拟时有必要考虑到语言表述对知觉表征的影响,当语境有明显倾向或语境模糊时,读者对于句子中未直接提及信息的推理程度也会不同,从而导致所激活的事物表征也有差异。

另一方面,除了语境会导致读者在理解过程中形成的知觉表征发生变化,物体颜色属性本身也具有特殊性。早期的物体识别理论也曾假设颜色与物体形状、轮廓等不同,颜色与物体的对应程度往往是不稳定的(Biederman,1987)。物体与某种特定颜色的关联程度被称为颜色诊断性,颜色诊断性的高低直接影响知觉系统是否能够根据颜色来识别物体(Tanaka & Presnell,1999)。例如,“红色”对于“消防车”具有高诊断性,其代表了所有消防车的颜色,在感知和理解消防车时红色起到了关键作用。由于知觉符号系统认为通过语言理解中激活的知觉表征与直接的知觉经验具有一致性,因此考察语言理解中知觉模拟过程时也应考虑到物体颜色诊断性的影响。例如,对于高颜色诊断性物体如“香蕉”,往往伴随某一特定颜色信息。因此一旦在句子中提及“香蕉”概念,读者都有可能在头脑中自动激活包含“黄色”这一特定颜色的香蕉表征。

基于以上思考,当前研究在以往研究基础上,通过三个实验来证明当语境具有一定推理作用时能够促进隐含颜色知觉表征的激活,而颜色诊断性本身也从中起到重要的调节作用,从而试图在一定程度上解释先前研究不一致的根本原因。实验1在中文条件下检验读者在句子理解中是否会实时对隐含物体颜色进行知觉模拟。实验2通过变化语境考察当句中物体颜色的隐含程度发生变化的知觉模拟过程,并假设只有当语境对于物体的特定颜色有明显倾向时,读者才会激活物体颜色的知觉表征。实验3进一步探讨高颜色诊断物体在不同句子语境作用下的知觉模拟过程,并假设当颜色属性对于物体具有高诊断性时,即使句子语境不具有明显倾向性,读者仍会自动的激活与句子中物体对应的颜色知觉表征。

2 实验1 2.1 目的

采用句图匹配范式,探讨句子隐含的物体颜色信息是否会影响之后的图片判断,从而验证语言理解中对于隐含物体颜色信息进行知觉模拟过程的存在。

2.2 研究方法 2.2.1 被试

郑州大学45名本科生,所有被试均裸眼或矫正视力正常,母语为汉语,无任何阅读障碍和识图障碍。

2.2.2 实验材料

实验材料分为句子和图片。根据实验目的共编写112个句子,包括56个实验句和56个填充句。实验句两两配对,每对句子隐含对同一事物不同颜色的描述,且只有物体名词前的形容词不同,句子平均长度为9个字。56个填充句与实验句的句式和字数相当。实验材料另包括112张彩色图片。所有图片均来自中国素材网,使用Adobe Photoshop CS3 调整为250像素高×350像素宽。112张图片中56张作为实验探测图片。实验探测图片也是两两配对,每对图片包含同一物体的不同颜色。根据句子中所隐含物体的特定颜色与探测图片中物体颜色是否相匹配,每对句子和其对应图片可分为两种实验条件,即句图匹配和句图不匹配(实验材料举例见图 1)。另有56张图片作为填充探测图片对应实验中的填充句。

图 1 实验1材料举例
2.2.3 设计与程序

单因素被试内设计。自变量是句子隐含物体颜色与探测图片中物体颜色的匹配关系,包括两个水平:匹配与不匹配。因变量是对探测图片的再认时间和判断正确率。

由于包含同一物体不同颜色的句子(A1、A2)和对应探测图片(B1、B2)共搭配四个版本(A1B1、A1B2、A2B1、A2B2),为控制实验项目和条件间的顺序效应共设计四个实验序列,包含同一物体的四种句图版本在同一实验序列中仅出现一种版本。正式实验时被试被平均分配到其中一个实验序列中,从而同一被试不会重复看到同一物体的句子或图片。每一序列包括28个实验句图和28个填充句图。实验中实验句图和填充句图随机呈现。

正式实验时,电脑屏幕上首先呈现注视点“+”500ms,接着呈现一个句子。被试充分理解句子后按空格键,屏幕中央呈现“+”500ms后呈现一个物体的彩色图片。如果图片中物体在先前句子中提到过,被试需按“J”键;如果没有提到过按“F”键。计算机同时记录被试对图片的反应时间和正确率。实验开始前让被试将左手食指放在“F”键上,将右手食指放在“J”键上,双手大拇指放在空格键上,指导被试仔细阅读每一个句子,并告诉被试他们的反应时间将被记录,要求他们尽快作出判断。正式实验开始前有4个练习实验让被试熟悉实验任务。由于所有实验探测图片中的物体在先前阅读的实验句中都出现过,因此在再认判断中应按“J”键。而填充探测图片中的物体在先前阅读的填充句均不存在,因此在图片再认判断中应按“F”键。

2.3 评定实验

为保证每一对图片跟其对应的物体名称具有同样的匹配程度,事先对实验材料进行评定。另选取30名自愿参加本实验但不参加正式实验的学生参与评定。评定前将所有实验材料做成小册子,册子每一张包含一个图片和与图片中物体相对应的名称。所有图片为正式实验中使用的实验探测图片,图片物体名称也与实验中句子所提到的物体名称完全一致。要求被试在一个七点量表上对图片和物体名称的匹配关系进行评定。评定结果表明,实验中采用的每对图片与其物体名称的匹配程度没有显著差异,并且在七点量表中都高于4分。

2.4 结果与分析

采用SPSS17.0对数据进行整理筛选与统计分析。为确保被试在认真阅读状态下对实验任务做出反应,剔除标准包括1)错误率大于25%的被试数据,2)反应时在3个标准差以外的极端数据,3)反应时极端数据占该被试全部数据10%以上的被试数据。根据错误率剔除标准共剔除6名被试,占被试总数的13.3%。没有被试因为极端数据过多而被剔除。匹配条件与不匹配条件下对探讨图片的平均再认时间和标准差见表 1

表 1 不同匹配条件下探测图片的平均再认时间和标准差(ms)
再认时间标准差
匹配1264.09395.83
不匹配1586.15487.12

采用配对样本t检验比较匹配条件与不匹配条件下被试对图片判断的反应时间。统计结果表明,当句子与图片物体颜色相匹配时被试对图片的判断时间明显短于两者不匹配时,t1(38)=-5.13,p<0.001,d=0.726; t2(55)=-6.45,p<0.001,d=0.701。虽然根据实验任务匹配与不匹配条件下被试对实验探测图片的判断都为“是”,但结果表明句子中隐含的物体颜色信息依然对之后的图片再认产生影响,两者匹配会促进被试的反应。实验1结果符合预期,与先前有关语言理解中物体形状、方位、动作等知觉表征一致,颜色作为物体的典型属性,人们头脑中所形成的有关事物的心理表征同样会包含物体颜色,并在语言理解过程中激活相应的知觉符号,继而对其他认知加工过程产生影响。

实验1采用与Connell一致的实验范式却出现不同的实验结果。Connell实验中,被试评定的是带有明确颜色信息的短语与图片匹配关系(如:red steak),但实验中句子表述非常含糊(如:John looked at the steak on his plate)。当前实验中,评定实验与正式实验材料完全一致,并且虽然没有提及物体颜色,但语境使得句子中隐含的物体颜色具有针对性。实验结果表明在充分的语境支持下,隐含的物体颜色信息同样得到表征并影响相关任务的判断。然而,实验1与先前研究结果差异的根本原因是语境信息控制的不同,还是由于实验中其他变量操控的不同而导致的,尚存在不确定性。因此,实验2直接对比了不同语境信息的作用,从而排除其他因素的可能影响。

3 实验2 3.1 目的

探讨语境信息的改变是否会引起句子中隐含物体颜色信息对之后的图片判断产生影响,从而进一步验证语言理解中物体颜色信息的知觉模拟过程是灵活的,当语境作用不同时会激活物体不同颜色的心理表征。

3.2 研究方法 3.2.1 被试

郑州大学36名本科生,所有被试均裸眼或矫正视力正常,母语为汉语,无任何阅读障碍和识图障碍。实验2所有被试均未参加实验1。

3.2.2 实验材料

实验2通过对实验1材料进行改编,共包括88个实验句和44个填充句。新的实验句子组同样隐含同一事物的两种不同颜色,同时根据句子语境对物体颜色信息的隐含程度又分为深层隐含条件与浅层隐含条件。因此每个实验句子组包括了含有同一事物的四个句子。所有句子中与物体相关的颜色信息均没有在句子中直接提及。但是浅层隐含条件下,由于关键物之前有提示性的定语,因此与句子语境相符的物体颜色信息更加容易推理。填充句句式与实验句一致,只是句中包含的物体在之后探测图片中均未出现。实验另包括44张实验探测图片和44张填充图片,分别与实验句和填充句相对应(实验材料举例见图 2)。

图 2 实验2材料举例

实验中所使用的材料在实验前进行评定,另选取18名自愿参加本实验但不参加正式实验的学生参与评定,评定方法同实验1。评定结果表明,实验中采用的每对图片与其物体名称的匹配程度没有显著差异,并且在七点量表中都高于4分。

3.2.3 设计与程序

2×2两因素被试内设计。自变量有两个,一个自变量是句子隐含颜色信息的深浅程度,分为深层隐含和浅层隐含条件。另一自变量是句子隐含物体颜色与探测图片中物体颜色的匹配关系,分为匹配与不匹配条件。因变量是对探测图片的再认时间和判断正确率。

由于实验2包含同一个事物的实验句子与图片的对应关系增加为8个版本,因此共设计8个实验序列,同一被试只阅读其中一个实验序列,从而避免同一事物的重复阅读。每一序列包括22个实验句图和22个填充句图。实验中实验句图和填充句图随机呈现。正式实验开始前有10个练习实验让被试熟悉实验任务,其他实验设计与实验程序同实验1。

3.3 结果与分析

对原始数据进行整理筛选,为确保被试是在认真阅读状态下对实验任务作出的反应,剔除错误率大于25%的被试数据,共2名被试被剔除,占被试总数的5.5%。同时将反应时在3个标准差以外的数据剔除。不同实验条件下被试对探测图片的平均再认时间和标准差结果见表 2

表 2 不同实验条件下探测图片的平均再认时间和标准差(ms)
再认时间标准差
深层匹配1272.59275.10
深层不匹配1304.96343.23
浅层匹配1231.06369.10
浅层不匹配1554.71480.17

分别以被试为随机变量(F1)和项目为随机变量(F2)进行两因素重复测量方差分析,结果发现,颜色隐含程度主效应显著,F1(1,33)=4.46,p=0.04,ηp2=0.119;F2(1,43)=31.89,p<0.01,ηp2=0.420,颜色深层隐含下图片的反应时快于颜色浅层隐含时。句图匹配主效应显著,F1(1,33)=22.20,p<0.01,ηp2=0.402;F2(1,43)=109.31,p<0.01,ηp2=0.713,被试对匹配条件下的图片判断时间快于不匹配条件时。匹配与否与颜色隐含程度两个自变量的交互作用显著,F1(1,33)=10.15,p<0.001,ηp2=0.235;F2(1,43)=68.31,p<0.01,ηp2=0.608。进一步简单效应分析表明,颜色深层隐含条件下,句图匹配与不匹配两者的反应时差异不显著(p>0.05);颜色浅层隐含条件下,匹配条件下被试对图片的反应时明显快于不匹配条件时图片反应时(p<0.01)。

实验2结果表明,当语境作用具有倾向性时,即使句中没有直接表述的物体颜色也会得到表征并影响之后的图片判断。然而当语境不清晰即物体颜色隐含较深时,读者并不会激活句中未提及的颜色信息其心理表征,从而说明语言理解中激活的知觉表征包含了事物在特定语境下的具体状态。然而,无论是实验1和实验2亦或前人有关颜色知觉模拟的研究,并没有考虑物体颜色本身的特性对于知觉模拟的影响,以及其与语境的相互作用。因此,实验3进一步探讨语境对于物体隐含颜色知觉表征的影响是否会因为物体颜色诊断性的改变而发生变化,从而更加明确语言理解中物体颜色属性的知觉表征的加工机制。

4 实验3 4.1 目的

进一步探讨高颜色诊断物体在不同句子语境作用下的知觉模拟过程,从而考察句子语境对知觉模拟的作用是否会受到物体颜色诊断性的影响。

4.2 研究方法 4.2.1 被试

郑州大学36名本科生,所有被试均裸眼或矫正视力正常,母语为汉语,无任何阅读障碍和识图障碍。所有被试均未参加实验1和实验2。

4.2.2 实验材料

对实验2的材料进行改编,改编后的正式实验材料共包括64个实验句和32个填充句。实验3与实验2材料的区别是实验3中对于实验句中的关键物进行了严格的控制。首先根据Tanaka和Presnell(1999)研究中所采用的经过事先评定的所有高颜色诊断性物体,编排为物体列表。另选取20名不参加正式实验的被试,要求他们从列表中选择他们认为“该物体具有一个特定颜色”的物体,最终选择出16个物体作为正式实验材料中所涉及的物体,所有物体的被选择率高于90%,即有超过90%的被试认为这一物体具有某一种特定颜色(实验3材料举例见图 3)。

图 3 实验3材料举例
4.2.3 设计与程序

2×2两因素被试内设计。两个自变量分别是句子隐含颜色信息的深浅程度和句子隐含物体颜色与探测图片中物体颜色的匹配关系。因变量是对探测图片的再认时间和判断正确率。实验程序与任务同实验2。

4.3 结果与分析

原始数据的筛选标准同前两个实验,共有4名被试数据被剔除,占被试总数的11.1%。不同实验条件下被试对图片的平均判断时间和标准差见表 3

表 3 不同实验条件下探测图片的平均再认时间和标准差(ms)
再认时间标准差
深层匹配1061.71250.25
深层不匹配1413.31403.98
浅层匹配981.53259.10
浅层不匹配1378.25315.39

采用两因素重复测量方差分析,以被试为随机变量,颜色隐含程度的主效应不显著,F1(1,31)= 0.89,p=0.35,ηp2=0.028,句图匹配的主效应显著,F1(1,31)= 88.72,p <0.001,ηp2=0.741,匹配条件下被试对图片的反应时快于不匹配条件下的反应时。颜色隐含程度与匹配关系的交互作用不显著,F1(1,31)=0.85,p=0.36,ηp2=0.027。以项目为随机变量,句子隐含颜色信息深浅程度主效应显著,F2(1,31)= 8.54,p=0.006,ηp2=0.216;句图匹配主效应显著,F2(1,31)=595.18,p<0.001,ηp2=0.950;隐含颜色信息深浅与匹配交互作用不显著,F2(1,31)=2.37,p=0.13,ηp2=0.071。

实验3的结果表明,对于高颜色诊断物体,当颜色与物体本身的关联唯一且密切时,无论语境是否有支持作用,均不会影响读者在阅读中即时激活物体颜色的知觉表征。

5 讨论 5.1 句子理解中隐含物体颜色的知觉模拟过程

本研究以句子中隐含的颜色信息为线索,通过三个实验验证了知觉符号系统有关语言理解中知觉表征的假设,并进一步探讨了语言理解中对于事物及其颜色属性进行知觉模拟过程的具体条件。

当前实验1发现句子中隐含的物体颜色同样会在读者的头脑中得到表征并影响之后的加工。但实验1结果与Connell的研究存在矛盾,难以从根本上解释不一致的原因。实验2在实验1的基础上,改变语境对隐含信息的可推理程度,证明语境是否具有支持性直接影响具体的知觉表征。只有当语境具有支持作用时隐含的特定颜色才会伴随物体得到表征。实验3进一步探讨了颜色诊断性和语境在知觉模拟中的共同作用,结果表明当颜色作为稳定的物体属性时,无论语境是否具有支持性,读者在语言理解中都会自动激活有关物体及其颜色的知觉表征。这一研究结果延伸了有关知觉符号系统的理论假说,说明人们头脑中形成的知觉表征不是单一、固定的,而是灵活变化的。明确语言理解中的知觉模拟过程,既要考虑到具体的语言环境,同时也要考虑到物体属性的自身特点,物体属性的稳定与否以及语境是否丰富都会使得读者形成灵活的知觉表征。

5.2 语境对句子隐含颜色知觉模拟过程的影响

当前研究结果一定程度上解释了过往研究未能达成较为一致结论的原因之一,即不同实验中对具体的言语表述控制不尽相同。Zwaan等人(2009)虽然发现知觉颜色与颜色词相一致时会促进颜色词的判断,但实验只考察了词水平上的外显颜色表征。尽管Connell同样采用了句图匹配范式对物体颜色表征的内隐水平进行探讨,但先前大多研究中句子语境均具有一定倾向性。例如,有关隐含形状的实验中(Zwaan et al.,2002),“天空中/笼子里有一只老鹰”前者的推理情境明显更偏向张开翅膀的老鹰,后者则倾向合起翅膀的老鹰。另一隐含物体方位的实验(Stanfield & Zwaan,2001),“他往墙上/地上钉钉子”,前者根据语境推理是横向的钉子而后者则只可能是竖向的钉子。事实上,这种研究范式的特点正是在句子中不直接提及某一事物的具体属性,但通过语境达到对该事物属性的推理或预期,从而了解读者在头脑中关于事物的表征是否也会包含这一假定状态。而Connell的实验材料并不能根据语境推理句子隐含的物体特定颜色。“约翰看见盘子里/橱窗里的牛排”对应的牛排颜色并不具有明显倾向性。因此,该实验结果并不能证明读者所形成的不是知觉符号表征,而是由于其研究中使用的材料并不能激活与特定颜色有关的物体表征。

当前研究结果表明当句子语境更加丰富时,读者能够形成有关物体隐含颜色的知觉表征。并且实验2进一步说明当语境不具有任何导向时,物体颜色并不能通过语境进行推理,读者因而无法形成与颜色有关的知觉表征。因此,知觉符号系统具有其合理性,但是知觉表征的激活是有条件的。当句子表述本身暗含有物体某种属性或特征时,激活与该属性或特征对应的知觉表征是有意义和必要时,读者才会激活对应的心理表征。

5.3 颜色诊断性对句子隐含颜色知觉模拟过程的影响

除了考虑到语境对于句子理解中知觉模拟的影响,研究另一发现就是物体颜色属性的自身特点如颜色诊断性同样是影响知觉模拟的重要因素。颜色诊断性直接决定颜色与物体的关联程度,从而决定物体的心理表征是否会包含颜色信息。先前已有研究证明对于高颜色诊断性物体,与物体一一对应的颜色信息往往能够促进物体的识别过程(Bramo et al.,2010; 2011; Davidoff & Ostergaard,1988; Humphrey,Goodale,Jakobson,& Servos,1994; Price & Humphreys,1989; Tanaka & Presnell,1999; Wurm,Legge,Isenberg,& Luebker,1993)。

虽然以上实验多是知觉层面的,并不直接涉及语义理解和知识表征,但正如知觉符号系统所认为的,知识与概念的表征与感知觉经验是相对应的,知识表征同样具有知觉特点。在知觉过程中物体所具有的重要属性特征同时也会影响其在头脑中所形成的长时心理表征。因此探讨抽象的知识表征不应忽略在物体的知觉经验中发挥重要作用的相关因素。出于这一思考,当前研究认为“颜色诊断性”作为物体知觉中的重要特征应包含于物体的颜色心理表征中。实验结果发现,即使是字面表述没有直接提及的颜色信息,无论语境是否支持,读者在句子理解时都会自动激活与物体具有密切对应关系的颜色信息。这一结果说明知识表征的确具有知觉特点,与事物感知经验有关的信息同样会影响事物的心理表征。此外,实验3结果也提示以往有关形状、方位等其他物体信息的研究同样有必要进一步明确物体的具体特征是如何影响语言理解中所形成的事物其知觉表征的。

6 结论

本研究通过一系列实验探讨了语言理解中读者对隐含物体颜色信息的心理加工过程。研究表明,当语境对于句子中没有提及的物体颜色能够产生一定推理时,即使是隐含的物体颜色信息也会在句子加工中得到表征。并且,对于高颜色诊断性物体,颜色作为物体的稳定属性,即使没有充分的语境推理,读者仍会在语言理解中即时激活物体的颜色知觉表征。从而说明语言理解中物体隐含颜色的知觉模拟过程会受到物体颜色自身特点和语境作用影响。句子语境能够促使知觉模拟的发生,但颜色诊断性会影响知觉模拟过程中语境具体是否发挥作用。

参考文献
Aziz-Zadeh, L., Wilson. S., Rizzolatti, G., & Iacoboni, M. (2006). Congruent Embodied Representations for Visually Presented Actions and Linguistic Phrases Describing Actions. Current Biology. 16(18), 1818-1823.
Barsalou, L. W. (1999). Perceptual symbol systems. Behavioral and Brain Sciences, 22(4), 577-660.
Biederman, I. (1987). Recognition-by-components:A theory of human image understanding. Psychological Review, 94(2), 115-147.
Bramão, I., Faisca, L., Forkstam, C., Reis, A., & Petersson, K, M. (2010). Cortical brain regions associated with color processing:An fMRI study. The Open Neuroimaging Journal, 4, 164-173.
Bramão, I., Reis, A., Faisca, L., & Petersson, K, M., (2011). The role of color information on object recognition:A review and meta-analysis. Acta Psychologica, 138(1), 244-253.
Connell, L. (2007). Representing object colour in language comprehension. Cognition, 102(3), 476-485.
Coppens, L. C., Gootjes, L. & Zwaan, R. A. (2012). Incidental picture exposure affects later reading:evidence from N400. Brain and Language, 122(1), 64-69.
Davidoff, J., & Ostergaard, A. (1988). The role of colour in categorial judgements. Quarterly Journal of Experimental Psychology, 40(3), 533-544.
Garbarini, F., & Adenzato, M.(2004). At the root of embodied cognition:Cognitive science meets neurophysiology. Brain and Cognition, 56(1), 100-106.
Hauk, O., Johnsrude, I., & Pulvermuller, F. (2004). Somatotopic Representation of Action Words in Human Motor and Premotor Cortex. Neuron, 41(2), 301-307.
Humphreys G. K., & Goodale, M. A., Jakobson, L. S., & Servos, P. (1994). The role of surface information in object recognition:Studies of a visual form agnosic and normal subjects. Perception, 23(12), 1457-1481.
Newell, A., & Simon, H. A. (1972). Human problem solving. Englewood Cliffs. N.J.:Prentice-Hall.
Price, C., & Humphreys, G. W. (1989). The effects of surface detail on object categorization and naming. The Quarterly Journal of Experimental Psychology, 41(4), 797-827.
Richter, T., & Zwaan, R. A. (2009). Processing of color words activates color representations. Cognition, 111(3), 383-389.
Stanfield, R. A., & Zwaan, R. A. (2001). The effect of implied orientation derived from verbal context on picture recognition. Psychological Science, 12(2), 153-156.
Tanaka, J. W., & Presnell, L. M. (1999). Color diagnosticity in object recognition. Perception & Psychophysics, 61(6), 1140-1153.
Tettamanti, M., Buccino, G., Saccuman, M. C., Gallese, V., Danna, M., & Scifo, P. (2005). Listening to Action-related Sentence Activates Fronto-parietal Motor Circuits. Journal of Cognitive Neuroscience, 17(2),273-281.
Wurm, L. H., Legge, G. E., Isenberg, L. M., & Luebker, A. (1993). Color improves object recognition in normal and low vision. Journal of Experimental Psychology:Human Perception and Performance, 19(4), 899-911.
Zwaan, R. A., Stanfield, R. A., & Yaxley, R. H. (2002). Language comprehenders mentally represent the shape of objects. Psychological Science, 13(2), 168-171.
Zwaan, R. A., & Pecher, D. (2012). Revisiting Mental Simulation in Language Comprehension:Six Replication Attempts. PLoS ONE, 7(12), e51382.
Zwaan, R. A.,& Yaxley. R. H. (2003a). Spatial iconicity affects semantic relatedness judgments. Psychonomic Bulletin & Review, 10(4), 954-958.
Zwaan, R. A.,& Yaxley. R. H. (2003b). Hemispheric differences in semantic-relatedness judgments. Cognition, 87(3), 79-86.
杜语, 王瑞明. (2011). 长时重复启动范式下言语理解中的信息表征.应用心理学, 17(4), 346-353.
李其维. (2008). 认知革命与第二代认知科学奏议. 心理学报, 40(12), 1306-1327.
李莹, 王瑞明, 莫雷. (2005). 物体隐含形状信息对图画再认的影响. 心理科学, 28(3), 588-590.
李莹, 王瑞明, 莫雷. (2007). 否定句理解中知觉仿真的动态过程. 心理科学, 30(4), 791-795.
莫雷, 伍丽梅, 王瑞明. (2006). 物体的空间关系对语义相关判断的影响. 心理科学, 29(4), 770-773.
张常青, 王瑞明, 谢久书, 孙逊. (2013). 颜色概念的知觉符号表征与命题符号表征. 心理与行为研究. 11(4), 463-469.
张盼, 鲁忠义. (2013). 句子理解中颜色信息的心理表征. 心理学报.45(4), 406-416.