![速通深度学习数学基础](https://wfqqreader-1252317822.image.myqcloud.com/cover/778/47793778/b_47793778.jpg)
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人
1.3 向量的基本性质
1.3.1 向量的基本运算
向量可以看作一个矢量,即既有大小、又有方向的量。例如,在2维坐标系中,如图1-6所示。
![](https://epubservercos.yuewen.com/D80F69/27210566704740106/epubprivate/OEBPS/Images/txt001_25.jpg?sign=1734432588-zvdl3QidNnTqIA9G0EnzEqfSVhx7nOfb-0-a3ba9a7e3357f57a91e10fae799dc646)
图1-6
向量之间可以进行数学运算,例如对于2维向量和
,加法运算为
![](https://epubservercos.yuewen.com/D80F69/27210566704740106/epubprivate/OEBPS/Images/txt001_28.jpg?sign=1734432588-a6PLgsWMx6pjg1TA5qAF9wtxsY7Ydbce-0-f3a7b7b024d8958daf17bb20ee4eb6dd)
上式的几何意义,如图1-7所示。
![](https://epubservercos.yuewen.com/D80F69/27210566704740106/epubprivate/OEBPS/Images/txt001_29.jpg?sign=1734432588-gC8fi03sCnoWVrBEFeSC73vFDWOXWgkN-0-b709ee247c1123f6919f03373e3968bf)
图1-7
向量也可以和一个常数相乘,例如
![](https://epubservercos.yuewen.com/D80F69/27210566704740106/epubprivate/OEBPS/Images/txt001_30.jpg?sign=1734432588-3UCpmuH6s8i6Q59hJHbagJ9hGo2Oxolp-0-4839e8cbbf62f876f52c4b5d3f3387a6)
上式的几何意义相当于对向量进行k倍缩放。如果k<0,就相当于将向量的方向取反,如图1-8所示。
![](https://epubservercos.yuewen.com/D80F69/27210566704740106/epubprivate/OEBPS/Images/txt001_31.jpg?sign=1734432588-YGd3k4mH19YZKShhvNgLzww5Jxo2Ewbb-0-58cd01c806b805bfebd867d5d0a4048f)
图1-8
如果一个向量可以由其他向量加权求和表示,如
α1=k2α2+…+kmαm
则称α1可以由α2~αm线性表示。
在Attention模型中,模型输出其实是对输入的特征向量组α1,…,αm线性加权求和,即
![](https://epubservercos.yuewen.com/D80F69/27210566704740106/epubprivate/OEBPS/Images/txt001_32.jpg?sign=1734432588-GhTeKRIEc3dCESSdj3seponk2g0ArR5C-0-5f69c89fcc6724656d2f98cea04aabf5)
只不过权重k是通过模型计算产生的。
当使用多层Attention模型时,第二层的输出qi为h1,…,hm的线性组合,即
![](https://epubservercos.yuewen.com/D80F69/27210566704740106/epubprivate/OEBPS/Images/txt001_33.jpg?sign=1734432588-4FOixN6wjMkjZBp7jwDSY3lWMoY1drzz-0-98fbb6be8a7cfe147ab5235d6432e053)
可以发现,从效果看,qi可以直接用α1,…,αm的线性组合来表示,因此,中间层h1,…,hm就显得有些多余。这说明Attention模型一定要对输出进行非线性变换,否则“深度”就丧失了意义。这也是Transformer模块必须有前馈层FFN的原因之一。