杨立昆的科学之路

马毅
加州大学伯克利分校电子工程与计算机系教授

非常荣幸受邀给杨立昆教授的新书中文版作序。我和杨立昆相识于计算机视觉领域的大会，至今应该有十多年了。在科研方向上，我们一直都非常关心一个共同的基本问题：如何正确有效地表示图像数据的内在结构。杨立昆非常重视从实际数据和任务出发，例如针对图像分类的卷积网络和自动编码方面的开创性工作；而我比较偏重描述图像数据内在的低维结构的基本数学模型，例如稀疏结构和多子空间模型。虽然我们研究的侧重点不太一样，但因为大方向一致，对对方的工作一直都非常了解。在很长一段时间里，由于我们的工作在实用性方面还没有充分体现出来，而在计算机视觉领域又比较小众甚至另类，因此也有些惺惺相惜。科学探索，绝对不能因为一时不被大多数人认可就放弃正确的方向。杨立昆在新书里生动地描述了他们在深度学习方面艰辛探索与努力坚持的心路历程。相信这些亲身体验，对年轻的科研人员应该有非常好的教育意义。

今天，我们可以看到这些当初不被主流认可与看好的工作产生了多么深远的影响：深度卷积网络以及稀疏结构基本上是所有实用深度模型，甚至是任何高维数据模型必不可少的基本元素。2016年暑假，深度学习、压缩感知、优化算法以及调和分析领域的一群前沿学者，聚集到墨西哥美丽的瓦哈卡（Oaxaca）的数学研究所，一起交流和探讨这些领域及其相关领域的进一步发展。杨立昆和我应该是计算机视觉领域仅有的两位参会者。当时我还带了家人。杨和我们一家还有不少学生一起去参观了玛雅遗址。也是在这次研讨会上，通过与杨交流，我第一次开始真正意识到深度模型与低维结构的内在联系。当时我还在上海科技大学执教，所以顺便邀请杨在2017年上海科技大学信息学院的学术年会上做一个关于深度学习的主题演讲。我记得当时那场演讲现场观众有800多人，而通过在线直播参加的有四五千人。这可能就是他在书的中文版自序中提到的在中国受到明星一样待遇的一个例证。那次年会后，为尽地主之谊，我专门陪杨和他的夫人一起去了上海的朱家角游玩。一路上，杨对中国文化非常感兴趣，买了不少纪念品，直到他夫人阻拦为止。

2018年我回到美国，因为我们俩都意识到深度网络与低维结构的密切联系，所以杨和我进行了多次交流。2019年，我专程去纽约大学拜访了他。一方面是当面祝贺他获得了图灵奖，另一方面是与他深入探讨深度网络的理论研究方向。当时深度网络虽然在实践上取得了巨大成功，但其内在机制和理论基础却不清楚。我记得我们在他纽约大学的办公室讨论了整整一个下午，出来时天已经黑了。我们一下午的讨论就围绕一个中心主题：深度网络究竟在优化什么。杨立昆认为可以从类似于物理学中的能量方面找灵感，而我感觉应该从数据的低维结构表示入手。虽然具体想法有异，但目的和方向非常一致。我也是从这次讨论中清楚地意识到，任何成功的理论框架，不仅要弄清楚深度学习的目的，而且从这个目的出发必须能很自然地解释深度网络的主要结构。可以这么讲，这次讨论是我近两年从数据压缩的角度，用第一性原理阐释深度网络的真正起点。有趣的是，这项工作居然真的把深度卷积网络与低维子空间结构完全有机地结合在一个统一的理论框架下。

很多时候，一些看似很难的问题可能并不像想象的那么艰深，而真正难的是在不知道方向和答案的时候有没有勇气全身心地投入。杨立昆以他非凡的直觉和洞察力，为我们从基础理论层面研究深度网络指引了正确的方向，而且从很大程度上，让我们避免了做理论时最容易犯的错误：闭门造车。我讲述与杨立昆交流合作的故事，是希望年轻学者充分认识到理论与实践联系的重要性，以及在科研中不断拓宽视野、兼容并蓄、与多个交叉领域的同事交流合作的重要性！

杨在他这本新书里以生动翔实的事实传授了很多类似的道理。这本书不仅深入浅出地介绍了人工智能、深度学习的发展历程与核心原理，更重要的是作者通过亲身经历和体验，介绍了如何探索思考科研问题的方法。我以前一直敬仰杨立昆是一个了不起的学者，读了这本书才发现他的知识面如此之广，文笔如此之生动。因此，这是一本不可多得的好书，细心的读者一定会受益匪浅。