自然语言理解与行业知识图谱:概念、方法与工程落地
上QQ阅读APP看书,第一时间看更新

2.2 语言理解任务

自然语言理解任务的本质是机器预测语言结构并提供反馈,再由评价系统预测评估。机器面对的是不同层次的语言理解任务。

语法学:给定文本怎样获得符合语法要求的内容?

语义学:给定文本的含义(概念、结构)是什么?

语用学:文本的目的是什么,怎么应用?

实际上,从自然语言处理的角度看,主要包括如下几类基本任务。

第一类任务:序列标注,例如词性标注、分词、命名实体识别和语义角色标注等。

第二类任务:分类聚类,例如文本分类、主题聚类和情感分类等。

第三类任务:关系匹配,例如文本匹配、语义相似性和句法逻辑判断等。

第四类任务:文本生成,例如文本摘要、机器翻译和写诗造句等。

其他的基本任务还包括图计算、异常检测等。一些语义、语用任务往往是上述基本任务的组合,如果组合多种算法任务,或进一步融合知识图谱,这类问题能够得到进一步解决。

本书介绍的自然语言处理主要对应着三大类任务,如表2-1所示。

表2-1 自然语言处理的三大类任务

这三大类任务也是本书的基本出发点,任务的层次分类可以帮助我们逐步拆解语言理解问题。下面将对每种任务层次中的具体任务进行逐项介绍。