自动化学报  2018, Vol. 44 Issue (1): 1-12   PDF    
间接互惠与合作演化的若干问题研究进展
张艳玲1, 刘爱志1, 孙长银2     
1. 北京科技大学自动化学院 北京 100083;
2. 东南大学自动化学院 南京 210096
摘要: 2005年Science杂志指出"合作行为如何进化"是21世纪最关键的25个科学问题之一.间接互惠如何促进合作演化的研究已吸引了包括经济学家、社会学家和演化生物学家等众多学者的关注.这是由于:人类社会道德的形成、社会化分工、语言的出现、人类大脑的进化等都和间接互惠密不可分;随着经济全球化和网络时代的到来,依赖声望和信誉的陌生个体间的交易日益频繁,局部信息条件下个体的信任被利用的"道德风险"逐渐增大.本文所关注的间接互惠是以声望为核心的"下游互惠",具体而言,个体通过帮助他人建立自己在群体中的好声望,从而期待未来获得他人的帮助.可见,声望是"下游互惠"发挥作用的关键.声望的建立引发了两方面的研究:1)如何评价个体声望的好与坏,焦点是何种声望评估准则能够促进合作的演化;2)个体的声望如何在群体中快速、准确、广泛地传播,使得陌生个体间能够获得彼此的声望信息,其中八卦这种声望传播方式成为间接互惠的研究热点之一.基于声望的间接互惠研究前景广阔,未来可能的研究方向主要有复杂网络上的间接互惠、声望传播系统的鲁棒性、声望共享系统的建立和间接互惠在P2P网络中的应用.
关键词: 演化博弈论     间接互惠     声望评估准则     八卦     P2P网络    
Development of Several Studies on Indirect Reciprocity and the Evolution of Cooperation
ZHANG Yan-Ling1, LIU Ai-Zhi1, SUN Chang-Yin2     
1. School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083;
2. School of Automation, Southeast University, Nanjing 210096
Manuscript received : April 14, 2017, accepted: September 6, 2017.
Foundation Item: Supported by National Natural Science Foundation of China (61520106009, 61533008, 61603036), Fundamental Research Funds for the Central Universities (FRF-TP-15-116A1), China Postdoctoral Science Foundation (2015M580989)
Author brief: ZHANG Yan-Ling The teachers postdoctoral at the School of Automation and Electrical Engineering, University of Science and Technology Beijing. She received her Ph. D. degree from Peking University in 2014. Her research interest covers evolutionary game dynamics;
LIU Ai-Zhi Ph. D. candidate at the School of Automation and Electrical Engineering, University of Science and Technology Beijing. He received his master degree from University of Science and Technology Beijing in 2014. His research interest covers complex system modeling and evolutionary game dynamics
Corresponding author. SUN Chang-Yin Professor at the School of Automation, Southeast University. His research interest covers artiflcial intelligence, neural networks, theory and design of intelligent control systems, and pattern recognition. Corresponding author of this paper
Recommended by Associate Editor ZHANG Hua-Guang
Abstract: How does cooperation evolve' has been considered as one of the most important scientific problems in the 21st century since 2005. The study about indirect reciprocity has attracted increasing attention from researchers such as economists, sociologists, and evolutionary biologists. There are mainly two reasons for this:Indirect reciprocity is closely related to the formation of human morality, socialized labor division, emergence of language, human brain evolution, and many other social developments; the deal among strangers, which mainly depends on reputation and credit, becomes more and more frequent with the economic globalization and the Internet era coming, thus the 'moral risk' of individual trust being exploited is increasing under local information conditions. In this paper, we focus on 'downstream reciprocity' which belongs to a form of indirect reciprocity and is based on reputation, specifically, individuals can obtain good reputation by helping others and then look forward to getting others' help in future. Obviously, reputation is the key factor for 'downstream reciprocity' to work. The establishment of reputation has motivated two studies:How do we define good reputation and bad reputation? Such studies aim to answer which reputation evaluation criterion can promote the evolution of cooperation; how does individual reputation information spread among strangers quickly, accurately, and widely so that individuals can know each other's reputation? Here, gossip, as one way of reputation dispersal, becomes one hot research topic. Indirect reciprocity based on reputation is a promising study, and the possible future research topics are indirect reciprocity in complex networks, robustness of reputation dispersal system, establishment of reputation sharing system, and application of indirect reciprocity in the P2P network.
Key words: Evolutionary game theory     indirect reciprocity     reputation evaluation criterion     gossip     P2P network    

达尔文的进化论认为"物竞天择、适者生存", 说明竞争在进化中起核心的作用[1].依据这一理论, 在"弱肉强食"的生存斗争中, 适应性强的个体胜出, 适应性差的个体被淘汰.从而在激烈的生存斗争中, 每个个体均会从自身利益出发, 变得利己自私、唯利是图.然而, 从细菌群落到蜂群蚁群, 从狼群狮群围捕猎物到群居的大猩猩, 再到复杂而有序的人类社会, 合作行为无处不在[1-4].显然, 帮助对手会降低自身的适应度, 从而削弱自身的竞争优势, 合作的存在看似并不合理.面对广泛存在的合作行为, 达尔文本人也深感困惑, 在其著作中相应的解释只是一笔带过[5].

合作行为广泛存在, 同时在很多领域中又十分匮乏.研究促进合作涌现的机制有以下三点益处: 1)有助于解释众多产生原因未知的现象, 例如, 细胞的癌变[6]、语言的产生[7]和集群行为[8]; 2)有助于解决我们面临的全球性问题, 例如, "公地悲剧" [9]、环境恶化[10]和资源枯竭[11]; 3)有助于破解互联网时代在虚拟世界中我们遇到的新问题, 例如, 网络欺诈[12]等违法犯罪行为.由此可见, 研究促进合作演化的机制对人类发展有着重大的现实意义和时代紧迫感.

如何研究合作行为的演化?这是一个热点问题, 2005年 $Science$ 杂志就指出"合作行为如何进化"是21世纪最关键的25个科学问题之一[13].演化博弈论(Evolutionary game theory)为研究合作的演化提供一个有力的数学框架. Smith等首次将von Neumann开创的博弈论观点(大脑在利益冲突时做出理性决定)扩展为根据自然选择而得出决定[14], 这标志着演化博弈论的开创.近年来, 国内外越来越多的学者利用此理论研究促进合作涌现的机制[15-37].其中最著名的是哈佛大学的Nowak教授, 他对"综合进化论" (这一理论将突变、选择和进化的基本概念整合到一个数学框架中)的思想进行了扩展, 将囚徒困境放到演化的群体中进行研究. Nowak首次总结了促进合作涌现的5大机制[38]:亲缘选择(Kin selection)、直接互惠(Direct selection)、间接互惠(Indirect selection)、网络互惠(Network reciprocity)和群组选择(Group selection).亲缘选择意味着, 与谁的血缘关系越近, 就越倾向与之合作; 直接互惠意味着, 今天我帮助你, 明天你会帮助我; 间接互惠意味着, 今天我帮助你, 明天会有他人帮助我; 网络互惠意味着, 个体仅仅与邻居进行博弈, 合作者团簇最终胜出背叛者团簇; 群组选择意味着, 竞争既发生在个体之间, 也发生在群组之间.除了这5大机制, 最近的综述还归纳出另外5种促进合作演化的机制[39]:绿胡子选择(Green beard selection)、强互惠性(Strong reciprocity)、有成本的示好(Costly signaling)、集合选择(Set selection)和选择性参与(Optional participation).绿胡子选择意味着, 相似性越高的个体之间越容易发生合作; 强互惠性意味着, 个体愿意牺牲自身利益惩罚背叛行为; 有成本的示好意味着, 个体愿意承担成本吸引其他个体的关注; 集合选择意味着, 个体仅仅与相同集合的个体进行交互; 选择性参与意味着, 个体有权利拒绝与特定个体进行博弈.

1 关于间接互惠的概述 1.1 研究间接互惠的意义

间接互惠是促进合作涌现的重要机制之一.相对于直接互惠, 间接互惠不再要求相同的个体间重复相遇, 同时利他个体能够从第三方获得收益, 这可以很好地解释陌生个体间的合作行为[40-46].大量的非亲缘、非直接的间接互惠行为在人类社会和动物世界中广泛存在.特别地, 人类社会中语言的出现[7, 47]、道德规范的形成[38]、社会的分工[39]以及人类大脑的发育[47]都与间接互惠密不可分.在经济全球化和进入网络时代的背景下, 电子商务大大地增加了陌生个体间交易的频率, 陌生个体间的一次性交互逐步取代传统的相识个体间的重复交互[37, 48-52].此时的交易主要依赖于声望和信任, 从而局部信息条件下个体信任被利用的"道德风险"不断增大[45].因此, 针对间接互惠如何促进合作涌现的研究吸引了演化生物学家、经济学家和社会科学家等学者的极大兴趣.

1.2 间接互惠的分类和研究方法

间接互惠包括"上游互惠" (Upstream reciprocity)、"下游互惠" (Downstream reciprocity)和"广义互惠" (Generalized reciprocity)三种形式[45, 53-57].如图 1所示, "上游互惠"指的是, $B$ 得到 $A$ 的帮助后受到激励, 继而帮助 $C$ ; "下游互惠"指的是, $C$ 观察到 $A$ 曾经帮助了 $B$ , 因此帮助 $A$ , 这是一种建立在声望基础上的间接互惠; "广义互惠"指的是, $D$ 观察到 $A$ 帮助 $B$ , 于是 $D$ 帮助 $C$ . "上游互惠"并不能单独促进合作的涌现, 只有与直接互惠或者网络互惠相结合才能促进合作的涌现[56-57]. "下游互惠"和"广义互惠"均可单独促进合作的涌现, 不过前者是研究间接互惠的主流方向, 而关于后者的相关研究还甚少.目前, 针对间接互惠的研究方法主要有理论分析、蒙特卡罗仿真(Monte Carlo simulation)和实验验证(包括实验室实验、实地实验和在线实验).

图 1 间接互惠的三种形式 Figure 1 Three kinds of indirect reciprocity

接下来的文章从以下三方面归纳总结关于"下游互惠"的研究:经典的博弈模型、声望评估准则与行为准则和基于八卦的声望信息传播.

2 经典的博弈模型

在演化博弈论框架下研究间接互惠, 需要将个体之间发生的交互行为抽象为博弈模型.目前, 常被用来研究间接互惠的博弈模型包括捐助博弈(Donation game) [43-44, 58-72]、信任博弈(Trust game) [73-75]、独裁者博弈(Dictator game) [76-82]和公共品博弈(Public goods game) [83-88].

1) 捐助博弈, 如图 2 (a)所示.一方为捐助者 $A$ , 另一方为接受者 $B$ :如果 $A$ 给予 $B$ 捐助, 则 $A$ 付出成本 $c$ $B$ 得到收益 $b$ ( $b>c$ ); 如果 $A$ 不给予 $B$ 捐助, 则双方均未获得收益且没有损失.

图 2 博弈模型及收益矩阵 Figure 2 Games and their payoff matrices

2) 信任博弈, 如图 2 (b)所示.一方为投资者 $A$ , 另一方为响应者 $B$ : $A$ 将部分资金 $c$ (总额为 $R$ , $0\leq c\leq R$ )给予 $B$ , 从而 $B$ 获得收益 $r\times c$ ( $r>1$ ); 随后, $B$ 决定将其获得的部分收益 $a$ ( $0\leq a\leq r\times c$ )返还给 $A$ .最后, $A$ 获得收益 $R-c+a$ , $B$ 获得收益 $r\times c-a$ .

3) 独裁者博弈, 如图 2 (c)所示.一方为独裁者 $A$ , 另一方为接受者 $B$ : $A$ 将部分资金 $c$ (总额为 $R$ , $0\leq c\leq R$ )分给 $B$ .无论 $A$ 给了 $B$ 多少, $B$ 只能接受, 没有拒绝的权利, 从而 $B$ 得到收益 $c$ , 而 $A$ 获得其余收益 $R-c$ .

4) 公共品博弈, 如图 2 (d)所示.博弈的成员同时向公共资源池进行投资, 投资总额乘以增益系数 $r$ ( $1<r<$ 博弈人数)后平均分配给所有博弈成员, 每个成员的收益为所获得的回报减去自身的投资额.

3 声望评估准则与行为准则 3.1 常见的声望评估准则及其相关研究

声望是间接互惠发挥作用的核心, 然而声望的建立首先面临的问题是如何评价个体声望的好与坏, 即如何构建声望评估准则.目前, 被广泛研究的评估准则包括"一阶评估"、"二阶评估"和"三阶评估" [43-44, 59-71, 85-101], 如表 1所示.