1.2.2　机器学习的发展历程

机器学习作为人工智能研究的重要分支，其发展过程大体上可以分为五个阶段：

（1）萌芽期

20世纪40年代是机器学习的萌芽期。在这一时期，心理学家McCulloch和数理逻辑学家Pitts在分析生物学中神经元的基本特性的基础上，提出M-P神经元模型。神经元是神经网络中最基本的组成部分。在M-P神经元模型中，每个神经元可以从其他神经元接收信号，将其进行加权处理，并与神经元内部的阈值进行比较，通过神经元激活函数产生输出。

（2）热烈期

20世纪50年代中期到60年代中期是机器学习发展的热烈时期。指导这一时期研究的理论基础是20世纪40年代提出的神经网络模型。这个阶段所研究的是“没有知识”的学习，研究目标是各种自适应系统和自组织系统，主要通过不断修改系统的控制参数来改进系统的执行能力，不涉及与具体任务相关的知识。这一时期的标志是经典学习规则的提出。1957年，美国神经学家Rosenblatt提出了最简单的前向人工神经网络——感知器，同时求解算法也相应诞生。1962年，Novikoff推导并证明在样本线性可分的情况下，经过有限次迭代，感知器总能收敛。这为感知器学习规则的应用奠定了理论基础。

这一时期的研究催生了模式识别这门学科的产生，同时形成了机器学习的两种重要方法，即判别函数法和进化学习。塞缪尔的下棋程序就是使用判别函数法的典型例子。然而，这种不涉及任务相关知识的感知型学习系统具有很大的局限性。但无论是进化学习、神经元模型或是判别函数法，所取得的学习结果都很有限，并不能满足人们对机器学习系统的期望。

（3）冷静期

20世纪60年代中期到70年代中期，机器学习的发展进入冷静期。在这一时期，理论的缺乏制约了人工神经网络的发展，并且随着解决问题难度的提升，计算机有限的内存和处理速度使得机器学习的应用越来越受到局限。虽然温斯顿（Winston）和海斯•罗思（Hayes Roth）等通过模拟人类的概念学习过程，提出了结构学习系统和归纳学习系统，但是都只能学习单一概念，并不能实际投入使用，机器学习的研究转入低潮。

（4）复兴期

20世纪70年代中期到80年代末是机器学习的复兴期。在这个时期，人们开始探索各种学习策略和学习方法，使机器从学习单个概念扩展到学习多个概念，并且开始把学习系统和各种实际应用结合起来，这大大促进了机器学习的发展。在第一个专家学习系统出现之后，机器归纳学习系统成为这一时期的研究主流，自动知识获取成为本阶段机器学习的主要应用研究目标。1980年，美国卡内基梅隆大学（CMU）举办了第一届机器学习国际研讨会，标志着机器学习研究在全世界范围的复兴。此后，机器归纳学习系统投入应用。1986年，机器学习领域的专业期刊Machine Learning创刊，意味着机器学习再次成为理论界及产业界关注的焦点，机器学习进入了蓬勃发展的新时期。

（5）多元发展时期

在前面几个阶段，机器学习的研究主要集中在人工神经网络和学习规则的衍变方面。20世纪90年代之后，机器学习进入多元发展时期，除了人工神经网络算法之外，关于其他学习算法的研究也开始兴起。例如，1986年，澳大利亚计算机科学家罗斯•昆兰在Machine Learning上发表了著名的ID3算法，开始了对机器学习中决策树学习算法的研究。1995年，苏联统计学家瓦普尼克在Machine Learning上发表支持向量机（Support Vector Machine，SVM），自此以SVM为代表的统计学习便大放异彩。2006年，深度学习被提出，其通过逐层学习方式解决多隐含层神经网络的初值选择问题，从而提升分类学习效果。与此同时，结合多种学习方法，取长补短的集成学习系统研究正在兴起。集成学习与深度学习的提出，成为机器学习的重要延伸。当前，集成学习和深度学习已经成为机器学习中最热门的研究领域。进而，数据挖掘和知识发现在金融管理、商业销售、生物医学等领域得到成功应用，给机器学习的研究与应用注入了新的活力。