1.4.1 表示学习的直观理解

表示学习一般指模型自动从数据中抽取特征或者表示的方法，是模型自动学习的过程。表示学习的重点是自动学习，它与传统机器学习中的特征工程（Feature Engineering）不同，特征工程主要指对于数据的人为处理提取，如处理缺失值、特征选择、类型转换、维度压缩等预处理手段。表示学习与特征工程的区别如图1-7所示。

近年来，以深度学习为代表的表示学习技术非常火热，在图像处理、语音识别和自然语言处理等领域获得广泛关注。那么，到底什么是表示学习呢？

图1-7 表示学习与特征工程的区别

在深度学习领域，表示是指通过模型的参数，采用何种形式、何种方式来表示模型的输入数据。表示学习的基本思路是不依赖于人工经验，自动地找到对于输入数据更好的表达，以方便后续任务。表示学习有很多种形式，比如卷积神经网络参数的有监督训练是一种有监督的表示学习形式，自编码器、受限玻尔兹曼机（RBM）、GPT、BERT等参数的无监督预训练是一种无监督的表示学习形式，词嵌入及预训练模型等之后再进行有监督微调是一种半监督的表示学习形式。

表示学习是对输入数据的简明表达，其目的就是方便后续任务。人类的表示学习处处都存在，如图1-8所示，“你找小张去火车站接小刘”这个过程就是一个典型的表示学习过程，同时说明了表示学习的主要目的。

图1-8 表示学习的直观理解

你向小张描述小刘的主要特征，而小张基于你的描述，在脑海中想象小刘的样子，最后在火车站找到小张，从维度角度来看，就是一个高维到低维再到高维的过程。

这个模型架构就是典型的自编码器的架构，很多生成模型（如AE、VAE、Transformer、Diffusion等）都采用类似的架构。图1-9为自编码器的架构。

图1-9 自编码器的架构