机器学习的发展还不到100年,在这几十年的时间里,不同的时间阶段产生了不同的流派,抢占一时风头。但随着基础物理技术的进步,部分流派也慢慢归于历史。但它们的思想,当时面临的问题,却给后续的机器学习人们,留下了宝贵的财富。
- 在20世纪50年代到70年代初,人工智能处于“推理期“,那时人们以为只要赋予机器逻辑推理能力,机器就能具有智能。
- 从20世纪70年代中期开始,人工智能研究进入“知识期“,在这一时期大量专家系统问世。
- 在20世纪50年代中后期,基于神经网络的“连接主义“( connectionism)学习开始出现。
- 代表性的工作有”感知机“(perceptron)。
- 在20世纪六七十年代,基于逻辑表示的“符号主义“(symbolism)学习技术蓬勃发展。
- 在20世纪80年代,”从样例中学习“的一大主流是符号主义学习;
- 其代表包括决策树(decision tree)和基于逻辑的学习。
- 在20世纪90年代中期之前,”从样例中学习“的另一主流技术是基于神经网络的连接主义学习。连接主义学习产生是”黑箱“模型。
- 在20年的90年代中期,”统计学习“( statistical learning)闪亮登场宾馆迅速占据主流舞台,代表性技术是支持向量机(support vector machine,简称SVM)以及更一般的”核方法“(kernel methods)。
- 在21世纪初,连接主义学习卷土重来,掀起了以”深度学习“为名的热潮。