在计算机科学中，以图灵可计算性为“可计算”的判别标准，以算法复杂度为实际“计算”的可行性度量，形成了一套完整的计算可解性度量体系，给出“计算”问题在不同抽象或具体层次上可解的标准和条件^[1-2]。显然，人工智能也不可缺少类似的可解性度量体系，而且这种需要已十分迫切。

然而，人工智能尚未形成对应于图灵机和Church-Turing论题的人工智能理论基础，也没有形成“智能”问题的可解性度量体系，迄今未获得“智能”问题在不同应用场景中的可解性判别标准和可解性条件。为此，本文转换思路，以60多年来人工智能研究成果的技术概括为基础，尝试给出现有人工智能技术的能力边界和应用条件。

人工智能研究已形成了至少几千种不同的技术路线，其中很多技术路线可用人工智能的两种经典思维^[3]加以概括。这种概括使得对人工智能的认识不再局限于技术路线层面，而上升到“机器思维”的高度。两种经典思维并不代表人工智能的全部，但它们在近期应用中具有关键作用，也是本文构建人工智能可解性度量体系尝试的最可依赖的现有基础，本文将概述人工智能两种经典思维以及它们的集成。在此基础上，本文提出封闭性准则以可刻画现有人工智能技术的能力边界，提出强封闭性准则以刻画现有人工智能技术的应用条件，并重点回答下列问题：现有人工智能技术能解决什么问题、不能解决什么问题？现有人工智能技术能不能大规模产业应用？什么条件下可以应用、什么条件下难以应用？人工智能当前风险如何？最后，简要讨论封闭性准则和强封闭性准则在人工智能基础研究、产业应用和伦理体系建设中的意义与作用。

1 基于模型的暴力法

假设D是现实世界中的一个应用场景。D的一个领域模型M(D)=<M, Q, g>是一个三元组，其中M是一个数学结构，称为领域模型，由一组参数和它们之间的关系构成；Q是D中的一组待解问题；g是一个广义映射，称为降射(grounding)，将M的参数和参数间关系对应于D的要素和要素间关系，并保持参数间关系(参数p和p′ 在M中有关系r当且仅当g(p)和g(p′)在D中有关系g(r))，使得Q描述的D中的现实问题可以在M上抽象地求解。由于D通常不是一个数学论域，所以一般情况下降射g不是数学映射，也无法被形式化表达。M的参数和关系合称为M的元素。

第1种人工智能经典思维是基于模型的暴力法，其基本原理是：1)建立场景D的一个精确模型M(D)=<M, Q, g>；2)构建一个表示M的知识库或状态空间K^M，选择一个推理机reasoner^{[3- 4]}或一种搜索算法^[5]searcher，得到扩展模型M^*(D)=<M(D), K^M, reasoner/searcher>，使得在K^M上reasoner的推理或searcher的搜索是计算可行的；3)对于Q中的任何问题q，在K^M上用reasoner或searcher找出q的一个正确回答。使用推理机或搜索算法的暴力法分别称为推理法和搜索法。

暴力法的基本前提是：应用场景存在一个精确模型M(D)=<M, Q, g>，其中M是良定义的、精确的符号结构。为了使用推理法，需要将精确模型M表达成一个知识库K^M；当采用搜索法时，需要将M表达成一个状态空间K^M。推理机和搜索算法往往由专业团队长期研发而成，而K^M则需由每一个具体应用的开发者手工编写。

以命题逻辑中的推理法为例。在命题逻辑^[6]中将M表达成一个知识库K^M，相应的推理机reasoner一般也是基于命题逻辑的，Q也要在命题逻辑中表达。对于任何q∈Q，当在命题逻辑中有K^M $ \vdash $ q时，reasoner回答yes；当K^M $ \vdash $ ¬q时，reasoner回答no(其中¬q代表q的否定)。因此，reasoner的开发并非仅仅依靠开发者的直觉，而是以命题逻辑为严格标准，其正确性证明是有理论保证的(虽然具体证明可能存在各种实际困难)，这种情况在工程方法论中称为可证正确性。

例如，“就餐”场景的有关知识可以人工编写为一个知识库，其中部分知识如表1所示，推理机对一些问题的回答如表2所示，注意这些回答并不包含在知识库中。

一般地，如果一个逻辑系统具有可靠性，那么该系统中的推理具有保真性^[6]。保真性的含义是“结论保持前提的真”，即只要推理的前提在任何一种意义上是“真的”，则推理的结论在相同的意义上也是“真的”。所以，对于任何一个M^*(D)=<M(D), K^M, reasoner/searcher>，如果推理机reasoner基于一个具有可靠性的逻辑系统，并且K^M是“真的”，则对Q中任何问题q的回答都是“真的”。这表明，一个具有保真性的推理系统可以应用于任何一个具体场景−不管该场景中“真”的具体含义是什么，只要在该场景中“真”的含义保持一致就可以应用。这就为推理法的普遍应用奠定了坚实的理论基础。

可证正确性是一种比可解释性强得多的数学性质，而且是迄今为止人类所建立的最强意义上的“可靠性”性质。换言之，在整个科学中没有比保真性更强的通用可靠性机制，工程上也没有比可证正确性更强的可靠性概念。这是暴力法在人工智能三次浪潮中延续不断，并占据第一次和第二次浪潮主流的根本原因。

通常认为暴力法的主要障碍在于知识获取^{[4, 7-8]}。一个知识库的“正确性”以及相对于一个应用场景的“充分性”，至今没有形成公认的标准，也没有形成知识库建造的有效技术，致使知识库构建比推理机构建困难得多^{[4, 7]}，暴力法的理论优势−保真性和可证正确性−的效力受到根本性限制。

2 基于元模型的训练法

元模型(meta-model)是模型的模型。元模型的表达形式可以是形式化的(如在二阶逻辑中建立的一阶逻辑系统的元模型)，但通常是非形式化的。训练法在不同情况下需要建立不同的元模型，一个应用场景D的元模型通常至少包含一组包含标注的“标准数据”集T和一套评价准则E，记为 ${\cal{M}}\left( {{D}} \right)$ =<T, E>。评价准则E规定了D的待解问题集Q及求解标准，如求解图像分类问题的一个基本评价指标是分类错误率。

第2种人工智能经典思维是基于元模型的训练法，其基本工作原理是：1)针对应用场景D，设计元模型 ${\cal{M}}\left( {{D}} \right)$ ，采集标准数据集T、确定评价准则E；2)依据 ${\cal{M}}\left( {{D}} \right)$ ，选择一种合适的人工神经网络m和一个合适的学习算法t，得到扩展的元模型M^*(D)=<T, E, m, t>；3)依数据拟合原理，以T中部分数据为训练数据，用算法t训练人工神经网络m的连接权重，使得训练后m的输出总误差最小。

如果依据 ${{\cal{M}}^ * }\left( {D} \right)$ =<T, E, m, t>，训练后m达到了E规定的全部要求，则称 ${{\cal{M}}^ * }\left( {D} \right)$ 是训练成功的。 ${{\cal{M}}^ * }\left( {D} \right)$ 训练成功意味着：依据E规定的标准，用训练法成功地解决了D中的待解问题。例如，在图像分类任务中，一些经过训练的深层神经网络在给定数据集T上的分类错误率已低于人类的错误率，如果评价标准E是“在给定数据集T上的分类错误率低于人类的错误率”，则这个图像人类任务是训练成功的。

训练法隐含着必须人工完成的大量工作，包括：设计学习目标、决定评价准则、采集数据并标注、选择/设计学习算法、选择测试平台和工具、设计测试方法等。例如在ImageNet图像分类比赛中，组织者对大量原始图片中的动物或物品标注一个分类号(0~999的整数)，如表3所示。其中，将图片分成1 000类不是由训练过程自主完成的，而是设计者做出的一项决策。

训练法的理论基础进展状况远远落后于暴力法，不仅没有可证正确性，甚至没有可解释性，这是训练法基础理论研究面临的巨大挑战。

3 暴力法与训练法的互补集成

训练法和暴力法都存在明显短板。工程上，训练法的主要短板之一是需要对大量原始数据进行人工标注，暴力法的主要短板是需要人工编写知识库或制定状态空间。一定条件下，暴力法和训练法的结合可同时消除或减弱上述两大短板，AlphaGo Zero^[9]是这种尝试的一个成功案例。“集成智能”已成为未来发展的首要优先方向^[10]。

AlphaGo Zero的暴力法模型是对经典MDP模型的修改。一个经典MDP模型^[11]的主要元素包括：状态s(代表棋局)、行动a(代表落子)、状态转移函数T(s, a, s′)、回报函数r、状态值函数V(s)、行动值函数Q(s, a)等。AlphaGo Zero对这些元素的定义做了修改，核心的改变是将状态值函数V(s)的定义从“棋局s的期望效用”改为“棋局s下的己方平均胜率”，从根本上明确了AlphaGo Zero的核心思想，为AlphaGo Zero各模块的协调一致构建了统一的基础架构，为AlphaGo Zero的巨大成功奠定了坚实的理论基础(详细说明见文献[3])。

经上述修改，形成了AlphaGo Zero暴力法模型M(D)=<M, Q, g>中的M。M(D)中的待解问题Q是一个博弈策略π(s)，其中π是从任意棋局s到落子a的射影，Q的直观含义是：对任意一个棋局s，通过M上的推理或搜索，找出s上的最佳落子a =π(s)。表4总结了AlphaGo Zero的暴力法模型M(D)中M和Q的主要元素，以及与经典的围棋决策论规划模型的对照。

同时，AlphaGo Zero还建立了一个训练法的元模型 ${\cal{M}}\left( {{D}} \right)$ =<T, E>，T的初值设为空集，E只含一个指标“赢棋”，因为AlphaGo Zero只求获胜，不考虑赢多少、用时多少等其他指标。AlphaGo Zero还建立了一个训练法的扩展元模型 ${{\cal{M}}^ * }\left( {D} \right)$ =<T, E, m, t>，其中T的数据是通过AlphaGo Zero的自博自动产生的，每一条数据包括一局自博所产生的棋局序列、落子序列和胜负结果，以胜负结果(1/−1)作为标注；t是强化学习算法；m是一个最终表示π(s)的残差网络，它的输入是任意棋局s，输出是19×19+1个概率值，分别表示棋局s下棋盘上19×19个点和pass的己方平均胜率。训练好的m就是AlphaGo Zero的自学结果，也就是待解问题Q的“回答”(即博弈策略π(s))。在训练完成后的对弈实战中，对任意棋局s，AlphaGo Zero选择m输出的概率最高的点或pass，作为自己的最佳落子位置(即最优博弈决策)。

AlphaGo Zero的求解过程如下：1)构建围棋的暴力法模型M(D)和训练法元模型 ${\cal{M}}\left( {D} \right)$ =<T, E>。2)选择蒙特卡洛树搜索作为searcher，在M(D)上进行2 900万局自博，自动收集每一局自博所产生的棋局序列、落子序列和胜负结果作为T的一条数据。3)设置扩展的元模型 ${{\cal{M}}^ * }\left( {D} \right)$ =<T, E, m, t>，其中T更新为第2步收集的数据集，t是强化学习算法，m是最终表示博弈策略π(s)的残差网络，以T中数据用t训练m，使m输出的总偏差最小^[3]。

AlphaGo Zero带来如下观察：1)一定条件下暴力法可以克服训练法的人工标注难点，AlphaGo Zero利用暴力法的决策论规划模型和蒙特卡洛树搜索，自动获得了强化学习所需的数据及精确标注。2)一定条件下训练法可以克服暴力法的知识获取难点，AlphaGo Zero无需人工编写大量难以形式化的围棋博弈知识，而是通过强化学习直接获得围棋博弈策略π(s)。3)暴力法和训练法的结合可部分改变训练法缺乏可解释性的缺陷，得到一种宏观可解释性。例如，AlphaGo Zero系统的核心构件−建模、自博、搜索、强化学习和围棋博弈决策，都是围绕平均胜率展开的，故平均胜率就是AlphaGo Zero系统的宏观解释，解释了该系统的宏观行为原理。欠缺的是微观解释：为什么AlphaGo Zero的残差网络表示的是平均胜率？有什么保证？

4 封闭性

目前在人工智能中可定义两种封闭性−依模型封闭性和依训练封闭性。如果一个应用场景依模型封闭或依训练封闭，则该场景具有封闭性。两种封闭性分别刻画了暴力法和训练法在理论上的能力边界−不具备封闭性的应用场景，在理论上无法用暴力法或训练法求解，至少不存在可解的理论保证。因此，封闭性是一个极为重要的理论性指标，故又称为封闭性准则^[11]。

4.1 依模型封闭

一个应用场景D是依模型封闭的，如果存在一个满足下列全部条件的模型M(D)=<M, Q, g>：1)问题确定性：Q中任何一个问题q的回答A(q)是唯一确定的；2)模型可计算性：存在扩展模型M^*(D)=<M(D), K^M, reasoner/searcher>，使得reasoner或searcher是图灵可计算的，并且推理/搜索的结果正确(以A(q)为标准)；3)降射完闭性：g是完闭的，即每一个M元素e都在D中存在唯一、固定的对应物g(e)，不同的e对应于不同的g(e)，并且对应物集合{g(e)∈D|e是M的一个元素}包含场景D的所有不可忽略的要素。

“问题确定性”要求的必要性说明如下。在计算机科学中，称一个函数f (x)是图灵可计算的，首先预设对所有x，f (x)的值是确定的^[1]。然而人工智能面对的很多场景不满足这个预设，例如在开放领域人机对话中，Q包含哪些问题、这些问题的“正确”回答是什么，往往是不确定的，即使对话系统对所有问题都给出了回答，也不能确定回答是否“正确”。因此，仅仅要求对话系统的reasoner或searcher是图灵可计算的，并不完全符合图灵可计算性的本意。

降射完闭性是人工智能中最难以把握、最易被忽视、最具挑战性的。在简单场景的建模中，完闭性往往被不知不觉地违反，从而导致难以觉察的错误；而在很多复杂场景的建模中，满足完闭性要求通常是极其困难的^[4]。导致降射不完闭的3种常见情况^[3]如下：1)对象不确定性−某些对象变体的分类规则难以穷尽地显式表达，导致分类困难，比如即使概念“杯子”在模型中的内涵描述是明确的，其外延和降射却可能无法确定；2)属性不确定性−现实场景的某些属性是含糊的和场景依赖的，难以穷尽地显式表达，导致这些属性在真实世界中的对应物难以确定；3)关联不确定性−对象/属性与场景在真实世界中的关联难以确定，也难以穷尽地显式表达。这是暴力法在理论基础研究中遇到的深层挑战。

理论上，如果一个场景是依模型封闭的，则用暴力法是可解的，即存在推理机或搜索算法，对Q中每个问题给出正确的回答；反之，一个场景只要不满足3个条件中的任何一条，就是非封闭的，该场景用暴力法在理论上是不可解的，或至少没有可解的理论保证。

4.2 依训练封闭

首先定义“代表集”。任给训练法的一个扩展的元模型 ${{\cal{M}}^ * }\left( {D} \right)$ =<T, E, m, t>，假设场景D的全体相关数据的集合为T^*。T^*的一个子集 $T^\circ $ 称为D的一个代表集，如果 $T^\circ $ 的训练效果不低于T^*的训练效果，即，如果以T^*中数据用t训练出的人工神经元网络m能达到E的全部指标，则以 $T^\circ $ 中数据用t训练出的m也能达到E的全部指标。

例如，假设D是一个图像分类任务，E规定的指标是分类错误率ε。如果用T^*训练出的人工神经元网络m的错误率不高于ε，那么用 $T^\circ $ 训练出的人工神经元网络m的错误率也不高于ε，则 $T^\circ $ 是D的一个代表集。实际应用中，T^*通常是得不到的，只能利用它的某个子集，可是并非T^*的任意子集T都能够保证训练效果。故本文引入代表集 $T^\circ $ 。

一个应用场景D是依训练封闭的，如果存在D的一个元模型 ${\cal{M}}\left( {D} \right)$ =< $T^\circ $ , E>，满足下列2个条件：1) $T^\circ $ 是D的一个代表集，并且是有限确定的，即 $T^\circ $ 是一个有限集，它的每一条数据的内容包括标注都是完全给定的；2)存在一个扩展的元模型 ${{\cal{M}}^ * }\left( {D} \right)$ =< $T^\circ $ , E, m, t>，使得 ${{\cal{M}}^ * }\left( {D} \right)$ 是训练成功的。

直观上，一个场景D是依训练封闭的，需要具备一套评价准则E、一个有限确定的代表集 $T^\circ $ 、一种合适的人工神经元网络m和一个合适的学习算法t，使得以 $T^\circ $ 用t训练后m达到E的全部评价指标。其中，学习算法t被默认为图灵可计算的。一个场景D能否获得满足以上条件的E、 $T^\circ $ 、m和t，通常没有理论保障，只能依靠训练者的经验和摸索。

理论上，如果一个场景是依训练封闭的，则用训练法可解；反之，如果一个场景不是依训练封闭的，则是不可解的，或至少可解性没有理论保证。例如，如果场景D不存在代表集 $T^\circ $ ，则“扩展的元模型 ${{\cal{M}}^ * }\left( {{D}} \right)$ =< $T^\circ $ , E, m, t>训练成功”是无定义的。

5 强封闭性

封闭性准则给出了暴力法和训练法在理论上的能力边界。但是，封闭性准则要求的所有条件都默认为理论上成立，这不符合实际应用的要求，导致满足封闭性准则的场景在工程上仍然不可解。例如，依模型封闭要求存在满足一定条件的扩展模型，其中的“存在”默认为理论上存在，而不是在工程应用中实际地构建出来。

对封闭性准则的另一项重大挑战来自脆弱性。自20世纪80年代以来，脆弱性已成为现有人工智能技术实际应用的主要瓶颈，训练法和暴力法都深受其害。脆弱性的主要表现是：如果智能系统的输入不在知识库或训练好的人工神经网络的有效范围内，系统可产生错误的输出。实际应用中无处不在的感知噪声是脆弱性的一个主要原因。例如，在文献[12]报告的测试中，先用一个著名商用机器学习系统训练出一个深层神经网络，该网络可以很低的误识别率从照片中识别各种枪支。然后，人为修改这些照片上的少量像素(代表感知噪声)，而这些修改对人眼识别没有任何影响，可是训练好的深层神经网络对于被修改照片的误识别率却大幅升高，而且会发生离奇的错误。2013年以来，针对深度学习已发现大量类似的例子。

上述困难目前在理论上无解，但一定条件下是工程上可解的。本文将这些条件概括为强封闭性准则，在符合该准则的工程项目中可应用暴力法、训练法或它们的集成。

一个场景D在一个工程项目P中具有强封闭性，如果满足下列所有条件：1)场景D具有封闭性；2)场景D具有失误非致命性，即应用于场景D的智能系统的失误不产生致命的后果；3)基础条件成熟性，即封闭性包含的所有要求在项目P中都得到实际满足。

基础条件成熟性要求，暴力法需要的问题确定性、模型可计算性(包括推理机/搜索算法存在性)、降射完闭性，训练法需要的代表集存在性、元模型存在性、扩展元模型存在性及训练成功等条件，都在工程项目中得到实际满足。因此，强封闭性准则是与具体工程项目相关的，工程团队的实力，工程的工期、投入和其他资源的不同，都可能影响一个工程项目是否符合强封闭性准则。

即使一个工程项目完全满足基础条件成熟性，由于脆弱性的困扰，仍无法保证智能系统不出现失误，包括致命性失误。为此，强封闭性准则引入了失误非致命性要求。失误非致命性和基础条件成熟性往往需要通过场景封闭化才能够满足。目前主要有两种封闭化手段：场景裁剪和场景改造，二者普遍适用于人工智能在信息产业和实体经济行业中的应用。

场景裁剪的原理是：以智能系统的可靠性、安全性为目标，对应用场景进行取舍，排除可能导致致命性失误或违反基础条件成熟性要求的情况。例如，在训练法中，为了规避无法获得代表集的难点，可将应用场景限制在环境变化可忽略或可控的范围内，在这种环境中可以获得质量足够高的训练数据集作为代表集。

场景改造的原理是：以环境可控性为目标，通过对应用场景的改造或部分改造，使之封闭化、准封闭化或局部封闭化。封闭化场景完全符合强封闭性准则；准封闭化场景基本满足基础条件成熟性，同时满足失误非致命性；局部封闭化是在场景的某些局部实现封闭化。场景改造在汽车制造业自动化中取得巨大成功，目前正在快速扩展到其他制造业行业，并且智能化程度不断提升，对农业、服务业的很多部门也是适用的。

对一部分场景(如开放领域人机对话)而言，只要符合失误非致命性，即使另外两项要求不完全满足，也可能被接受。关于强封闭性准则的通俗解释见文献[12]。

6 讨论

经历了三次浪潮、仍受封闭性限制的人工智能，当前面临的最大疑问是能否找到大规模应用的可行途径。本文给出了一个回答：符合强封闭性准则的工程项目可成功地应用现有人工智能技术，不符合的不能。现实中，满足强封闭性准则的行业部门大量存在，尤其在制造业、智慧农业等行业。然而，目前大部分人工智能工程项目并不符合强封闭性准则，由此带来的困难和困扰正在呈现出来。

根据封闭性准则，暴力法是基于知识的，而知识本质上是完毕降射，完闭性隐含着对场景中存在的各种“主体”的行为效果的充分把握。因此，知识实际上包含着语用，而人工智能的主流观点将知识理解为单纯的语义，极少考虑语用。文献[13-15]建立了机器人概念模型与行动模型之间的语用关联，并为语用的有效表达引入了多型知识。近年来随着可解释性引起关注，机器人概念模型与行动模型的关联得到了更多研究^[16]。事实上，语用观点更恰当地反映了“智能问题”与“计算问题”的本质区别：“计算”主要涉及算法及计算资源，而“智能”则广泛涉及对现实世界的把握和交互^{[5, 14, 17-18]}。

近年来，降射引起了人工智能研究者的关注^{[15, 18-19]}，然而暴力法尚未形成降射完闭性的成熟理论和技术。训练法的一个基本出发点是从带标注数据“提取知识”，从而绕过这一核心难点。该努力在封闭性范围内取得了里程碑式进展，在非封闭性条件下未取得预期成功，两种情况下均带来不可解释的新难题。可见降射完闭性是无法回避的一项基础挑战。

封闭性准则给出了暴力法和训练法理论上的能力边界，即在非封闭场景中暴力法和训练法的应用没有成功保证。然而对很多产业部门特别是生活场景而言，封闭化往往是不适用的，发展开放性场景中的人工智能技术是一项长期追求，国内外学者进行了大量尝试和探索^{[3-4, 14-15, 17, 19-21]}。在前期工作的基础上，本文进一步给出了开放性的一种理论上更系统的解释：不满足封闭性准则的是理论上的开放性；不满足强封闭性准则的是工程上的开放性，从而为探索开放性人工智能提供了新的参考。

在强封闭性准则范围内，现有人工智能技术的实际应用通常需要经过由人完成的场景裁剪或场景改造，所以人工智能不可能脱离人类而独立发展，不存在技术失控的风险。另一方面，对人工智能的技术误判已成为当前人工智能发展的首要障碍，将带来应用受阻、管理失误、技术误用等后果和风险。封闭性和强封闭性准则为消除技术误判提供了依据，有助于建立符合技术真实性和社会发展需求的人工智能伦理体系^[21]。