自然语言理解与行业知识图谱:概念、方法与工程落地
上QQ阅读APP看书,第一时间看更新

推荐序一

随着深度学习、云计算和大数据技术的蓬勃发展,人工智能再次成为火爆的话题,一时间万物皆可智能,无智能则无话题。人工智能似乎有望成为像电力一样的基础设施,给各行各业带来颠覆性的变革。然而,时至今日,我们发现人工智能仍然不成熟。作为一个研究方向或学科,人工智能的发展实际上历经几度兴衰,从早期的符号主义学派,到后来的连接主义学派、行动主义学派,再到各派的碰撞与融合,我们至今还没有找到通用智能的钥匙。很多专家学者将人工智能划分为计算、感知、认知、创造等不同层级,当下认知智能成为下一步的着眼点,而认知的关键来自大脑分析、神经计算、自然语言理解。作为交互信息来源的自然语言,其处理和解读一直是人工智能最大的难题之一,自然语言理解也成为人工智能皇冠上的明珠。

作为通向认知的必经之路,如何让机器理解自然语言?从早期的符号学习,到后来的统计学习,再到后来人们发现上述自然语言处理还需要语义知识的配合,基于语义知识搭建的知识图谱就成为关键一环。2010年,我毕业后加入微软亚洲研究院,跟随人工智能领域的著名研究员王海勋博士开启了十年的知识图谱、自然语言理解研究生涯。我们的研究小组是最早从事知识图谱研究的小组之一,所构建的概念知识图谱Probase(正式发布名为Microsoft Concept Graph)也是世界上最大的常识知识图谱。2012年谷歌正式发布“Google Knowledge Graph”项目,使得各大互联网公司纷纷构建各自领域的百科知识图谱,并将其作为公司底层基础设施之一。知识图谱进入了一个繁荣发展期,从开放的DBpedia、YAGO、Freebase、Wikidata、ConceptNet、Microsoft Concept Graph,到相对封闭的Google Knowledge Graph、微软Satori、百度知识图谱、阿里藏经阁、美团大脑等,各种知识图谱不断涌现,为语言理解奠定了重要的知识基础。依托通用百科知识、常识知识、语言知识,以及基于符号的逻辑推理、基于统计的机器学习和深度神经网络学习算法,自然语言处理和语义理解的应用步伐在不断加快。目前,市面上智能音箱、智能导航、智能客服、聊天机器人、机器翻译工具等基于自然语言处理的人工智能产品纷纷落地。

然而,我在这个行业深耕十余年后,对人工智能技术的理解越深,就越对这个领域心存敬畏。面向通用语言理解任务的“银弹”级方法难以寻找,特别是在开放的网络连接世界中,语言描述的多样性、歧义性、口语化会给计算机处理和解读带来重重困难。本书则提供了一个新视角:认知智能在垂直行业中更具有现实意义!通过行业需求的限制,能够提供一个有约束的语义空间,这样就可以对很多错误认知进行校正。通过知识图谱相关理论、方法、技术向各行各业赋能,将推动语言理解成果向行业转移、转化,使之更具有落地实操的价值。一些垂直行业(例如金融、医疗、公安、电商等)及细分领域逐渐有相应的图谱产品落地。

但是到目前为止,语言理解服务多体现为项目合作、平台调用、服务赋能,推广性和落地效果面临更多的需求挑战。一方面供求双方在业务理解方面差距巨大,另一方面沟通合作也由于存在信息理解不对等问题而容易造成隔阂,严重制约认知项目或产品落地。只有围绕行业需求,结合行业知识构建知识图谱,将自然语言处理与知识图谱更好地融合,才能直击垂直行业落地应用的痛点。本书正是着眼于行业认知问题,分析当前自然语言理解的现状与不足,从知识产权行业视角切入,通过对自然语言理解的思考和各类算法模型的阐述,结合对知识图谱的认知,讲解作者团队几年来在自然语言处理和行业知识图谱方向的实践经验,探讨垂直行业认知的逻辑和解决方案。非常期待本书能够给更多人带来启发和思考,加速推进认知智能的光芒照进现实!

王仲远

快手技术副总裁、MMU负责人