Next generation deep learning: thinking and some problems
-
-
尽管深度学习技术得到了长足的发展，然而发展过程中，存在诸多理论问题需要进一步深入的研究和关注。深度学习的基本思想就是模拟人脑的信息处理机制，希望能够对自然信息，尤其是声音、语言、文字、图像进行很好的处理。而这些是传统的计算机方法难以做到的。但是目前深度学习对于人脑的知识处理机制和推理机制了解的还不够，同时也实现的不够。深度神经网络主要是通过学习和优化来实现对数据的计算处理，从而产生了对海量大数据样本的训练问题、稀疏编码与表征问题、泛化问题、可解释性问题和鲁棒性问题。下面从从类脑启发、物理启发和进化启发等三个方面讨论深度学习的表征、学习与优化理论。
类脑启发的深度学习从类脑感知到认知是一个复杂的过程。我们不仅要从心理学、哲学、语言、人类学、人工智能、神经科学角度去考虑，更重要的，我们要从触觉、听觉、视觉去思考。神经网络源于脑神经的计算，但是当我们回顾生物学中脑神经信息处理过程会发现，真实的生物大脑中并不是用简单的计算来实现大脑认知功能的。例如脑的稀疏性、学习性、选择性、方向性、知识性和多样性等，都是值得借鉴的地方。
物理启发的深度学习机器学习和物理科学共同的核心是提取特征与规则，本质区别是规则的使用条件。物理科学从随机或者非随机的过程中“提取特征”，并获得在已知的适用条件下的显式规律。机器学习从随机或非随机的过程中提取特征，并获得在未知的适用条件下的隐式“规律”。彼此之间是互通的，也是可以借鉴的。
进化启发的深度学习遗传基因如何在进化计算中起到重要的作用。可以说，进化优化和类脑学习是人工智能的核心，也是人工智能算法的基础。我们怎样从生物进化的角度来实现类脑智能学习，并把它们相结合，进而有效地实现数据的训练和知识的推理。全局进化的达尔文主义和局部学习的拉马克、班德温主义是构成进化优化算法的基本思想，从而有效地将学习表征与优化紧密地结合起来。
最后，下一代深度学习或者下一代人工智能还需要我们思考以下的问题：1）数据与知识协同的优化与建模。2）类脑深度学习的学习与优化。3）Beyond Sigmoid的多尺度表征学习。4）深度学习、特征学习与通用逼近。5）Beyond BP的学习、进化与优化。6）感知与认知的协同建模与优化。7）记忆与遗忘机制的建模。8）安全可信的深度学习系统理论。9）轻量高效的深度学习模型。10）大数据小样本的深度学习。11）深度学习绿色迁移的系统理论。12）深度学习知识归纳与推理问题。13）开放环境的场景应用问题。14）Science for DL的建模、优化与学习。15）DL for Science的一般框架与范式。
深度学习理论的研究，我们还有很长的路要走，我们不仅要扎扎实实地工作，更要深入地思考，深度学习理论才能有更好的发展。
