上QQ阅读APP看书,第一时间看更新
1.1 基本脉络
自然语言理解涉及语言形态学、语法学、语义学和语用学等几个层次。其中,形态学主要研究词的内部结构和构词方法;语法学研究语言结构和序列规则;语义学则是研究语言各个单元的意义,以及讨论语言符号与现实对象之间的关系;语用学内涵广泛,需要综合语言上下文和应用场景等进行分析,最终实现理解和应用。实际上,语法结构涉及词汇的形态分析,而语义分析也离不开词汇的语义、语法结构分析和语用验证,因此在语言理解的过程中各个层次是彼此交织的。
那么,自然语言理解的标准是什么呢?1950年英国数学家图灵提出了经典的人工智能“图灵测试”标准,即通过测试一个系统的表现、反应以及相互作用是否与人类的个体表现一致来判断机器是否智能。这也间接给出了语言理解的标准。除此之外,还有很多其他的自然语言理解任务评测标准,比如,能否以不低于某个准确率来识别文本内容,能否自动生成摘要,能否翻译一种语言,能否复述输入文本等。换句话说,就是按照人的标准对机器系统进行评价,测试机器是否能够达到人类语言理解的标准和要求。随着语言交互的多样性、灵活性以及广泛性的持续发展,关于人脑和机器理解自然语言(语音和文字)的认知过程和机制是什么样的?如何实现语义的理解,也就是从语音输入、语音识别、语言处理、语音合成等过程形成的语言理解的完整含义是什么?这些都是亟待我们去探索和解决的问题。本书将主要围绕自然语言理解的核心——文本语言处理中文本语义理解的相关内容进行阐述。