AIGC原理与实践:零基础学大语言模型、扩散模型和多模态模型
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

2.1.1 神经网络的核心组件

神经网络看起来很复杂,节点多、层数多、参数更多,但核心部分或组件不多。把这些组件确定后,这个神经网络基本就确定了。这些核心组件包括如下几个部分。

● 层:神经网络的基本结构,将输入张量转换为输出张量。

● 模型:层构成的网络。

● 损失函数:参数学习的目标函数,通过最小化损失函数来学习各种参数。

● 优化器:如何使损失函数最小,这就涉及优化器。

当然,这些核心组件不是独立的,它们之间、它们与神经网络其他组件之间有着密切关系。为便于大家理解,我们把这些关键组件及相互关系用图2-1表示。

图2-1 神经网络关键组件及相互关系示意图

多个层链接在一起构成一个模型或网络,输入数据通过这个模型转换为预测值。预测值与真实值共同构成损失函数的输入,损失函数输出损失值(损失值可以是距离、概率值等),该损失值用于衡量预测值与目标结果的匹配或相似程度。优化器利用损失值更新权重参数,目标是使损失值越来越小。这是一个循环过程,当损失值达到一个阈值或循环次数达到指定次数时,循环结束。

接下来利用PyTorch的nn工具箱,构建一个神经网络实例。nn工具箱中对这些组件都有现成的包或类,可以直接使用,非常方便。