1.4 有几何的地方,皆有空间
从线性方程组说起
从代数视角来看,矩阵乘法(matrix multiplication)代表线性映射(linear mapping)。比如,在Am×nxn×1=bm×1中,矩阵Am×n扮演的角色就是完成x→b的线性映射。列向量xn×1在中,列向量bm×1在中。
Am×nxn×1=bm×1也叫做线性方程组(system of linear equations)。在鸢尾花书《数学要素》“鸡兔同笼三部曲”中,我们用线性方程组解决过鸡兔同笼问题。下面我们简单回顾一下。
《孙子算经》这样引出鸡兔同笼问题:“今有雉兔同笼,上有三十五头,下有九十四足,问雉兔各几何?”
将这个问题写成线性方程组为
即
未知变量构成的列向量x可以利用下式求解,即
式中:逆矩阵A−1完成b→x的线性映射。
这里用到了矩阵乘法(matrix multiplication)、矩阵逆(matrix inverse)相关知识。本书第4、5、6三章将介绍矩阵相关运算,居于核心的运算当然是矩阵乘法。
几何视角
从几何视角来看,式(1.3)中矩阵A完成的是线性变换(linear transformation)。如图1.15所示,矩阵A把方方正正的方格变成平行四边形网格,对应的计算为
而式(1.6)的结果恰好是矩阵A=[a1, a2]的两个列向量a1和a2。
图1.15 矩阵A完成的线性变换
观察图1.15中的左图,整个直角坐标系整个方方正正的网格由[e1, e2]张成,就好比e1和e2是撑起这个二维空间的“骨架”。再看图1.15中的右图,[a1, a2]同样张成了整个直角坐标系,不同的是网格为平行四边形。[e1, e2]和[a1, a2]都叫做空间的基底(base)。
将A写成[a1, a2],展开得到
式(1.7)代表基底[a1, a2]中两个基底向量的线性组合。
本书将在第7章专门讲解基底、线性组合等向量空间概念。
从正圆到旋转椭圆
圆锥曲线,特别是椭圆,在鸢尾花书中扮演重要角色,这一切都源于多元高斯分布概率密度函数,而线性变换和椭圆又有着千丝万缕的联系。
如图1.16所示,同样利用矩阵A,我们可以把一个单位圆转化为旋转椭圆。图1.16中,任意向量x起点为原点,终点落在单位圆上,经过A的线性变换变成y=Ax。
图1.16旋转椭圆的半长轴长度约为4.67,半短轴长度约为0.43,半短轴和横轴夹角约为-16.85°。要获得这些椭圆信息,我们需要一个线性代数利器——特征值分解(eigen decomposition)。
图1.16 矩阵A将单位圆转化为旋转椭圆
特征值分解
相信读者对特征值分解并不陌生。如图1.17所示,我们在鸢尾花书《数学要素》鸡兔同笼三部曲的“鸡兔互变”中简单介绍过特征值分解,大家如果忘记了,建议回顾一下。
图1.17 鸡兔同笼三部曲中“鸡兔互变”(图片来自鸢尾花书《数学要素》第25章)
剧透一下,鸢尾花数据矩阵X本身并不能完成特征值分解。但是图1.18中的格拉姆矩阵G=XTX可以完成特征值分解,分解过程如图1.18所示。请大家特别注意图1.18中的矩阵V。正如图1.15右图中的A=[a1, a2]张成了一个平面,矩阵V=[v1, v2, v3, v4]则张成了一个四维空间!
图1.18 矩阵X的格拉姆矩阵的特征值分解
本书第13、14章专门探讨特征值分解。此外,本书将在第20、21章利用线性代数工具分析圆锥曲线和二次曲面。
奇异值分解
在矩阵分解(matrix decomposition)这个工具库中,最全能的工具叫奇异值分解(Singular Value Decomposition, SVD)。因为不管形状如何,任何实数矩阵都可以完成奇异值分解。
图1.19所示为对鸢尾花数据矩阵的SVD分解,其中的U和V都各自张成不同的空间。
本书第15、16章专门讲解奇异值分解,第23章则利用SVD分解引出四个空间。
图1.19 对矩阵X进行SVD分解