ML 之 线性代数 (3) 矩阵乘法 和 逆矩阵

矩阵乘法

矩阵乘法有 5 种计算方式,以下分别介绍

点乘法

假设 矩阵 A(m x p) 乘以矩阵 B(p x n),得到的矩阵是 C(m x n)

注意只有第一个矩阵的列数等于第二个矩阵的行数,才能相乘;同时之前也提到过矩阵乘法不适用交换律,所以位置很重要。

矩阵 C 的元素
$$
C_{ij}=\sum_{k=1}^p a_{ik}b_{kj}
$$
由此可以算出整个矩阵

列乘法

只能用矩阵 A* 矩阵 B 的列,即 $C_{coln}=A*B_{coln}$,即矩阵 C 的每一列都是矩阵 A 的列向量按对应 B 的列向量组合而来。

行乘法

只能用矩阵 A 的行向量 * 矩阵 B,即 $C_{rown}=A_{rown}*B$,即矩阵 C 的每一行都是矩阵 B 的行向量按对应 A 的行向量组合而来。

行列相乘法

矩阵 A(m*n) 乘以 矩阵 B(n*p):矩阵A的列乘以矩阵B的行,将得到 n 个 m*p 的矩阵,m 个矩阵之和即为乘积结果。

块乘法

这里只考虑方阵,实际上大小比列相同都可以使用这个方法,下面用图示展示这个方法
$$
\left[\begin{matrix} A \end{matrix}\right] * \left[\begin{matrix} B \end{matrix}\right]=\left[\begin{matrix} A_1 & A_2 \\ A_3 & A_4 \end{matrix}\right] * \left[\begin{matrix} B_1 & B_2 \\ B_3 & B_4 \end{matrix}\right]
$$

块乘法后续会详细讲解,这里只是提一下

逆矩阵

如果满足 $A^{-1}A=I$,则称 $A^{-1}$ 是 $A$ 的逆矩阵;

如果矩阵 A 是方阵,且存在逆矩阵则有 $A^{-1}A=I=AA^{-1}$

这样可逆的矩阵,也被称之为非奇异矩阵,is good matrix;与之对应的是奇异矩阵,不可逆

下面我们先讨论一下什么情况下不可逆
对于矩阵 A
$$
\left[\begin{matrix} 1 & 3 \\ 2 & 6 \end{matrix}\right]
$$
我们为什么说它是不可逆的呢?
可以有很多解释:

  1. 它的列向量是平行的无论如何组合 (combination,这个单词在计算机,数学领域非常重要),仍然是同样的向量方向,无法铺满一个 2 维空间。
  2. 它的行列式值为 0(后续会讲)
  3. 我们可以找到一个 非零 列向量 x,使 Ax=0,那么 A 就是不可逆的

针对第三点,详细说明
$$
Ax = \left[\begin{matrix} 1 & 3 \\ 2 & 6 \end{matrix}\right] * \left[\begin{matrix} 3 \\ -1 \end{matrix}\right] = 0
$$

讨论完不可逆,再来说说如何求逆矩阵
$$
\left[\begin{matrix} 1 & 3 \\ 2 & 7 \end{matrix}\right]
$$
先观察一下,它的列向量不平行,故可以组合出铺满二维空间的向量,所以是可逆的。

下面用 Gauss-Jordan 的方法来求逆矩阵,先用 A 拼接 I 组成增广矩阵,我们把左侧变为单位矩阵,则右侧就是逆矩阵
$$
\left[\begin{matrix} 1 & 3 \\ 2 & 7 \end{matrix}\right] \longrightarrow \left[\begin{matrix} 1 & 3 & | & 1 & 0 \\ 2 & 7 & | & 0 & 1 \end{matrix}\right]\\
\stackrel{E_{2,1}}{\longrightarrow} \left[\begin{matrix} 1 & 3 & | & 1 & 0 \\ 0 & 1 & | & -2 & 1 \end{matrix}\right]\\
\stackrel{E_{1,2}}{\longrightarrow} \left[\begin{matrix} 1 & 0 & | & 7 & -3 \\ 0 & 1 & | & -2 & 1 \end{matrix}\right]
$$

这个方法的原理是什么?$E[A | I]=[I | X]$ 这个表达式就是上述的过程,我们可以知道 EA=I,所以 E 就是 A 的逆矩阵,那么 E 的具体值是什么呢?它是 A 变 I 的若干步骤 ($E_{2,1}*E_{1,2}$,结合律),接着看这个表达式可以得到 EI=X=E,所以 X 就是 E,就是逆矩阵,即增广矩阵的右半部分就是逆矩阵。

$$
AA^{-1}=I, BB^{-1}=I\\
\Rightarrow A(BB^{-1})A^{-1}=I\\
\Rightarrow (AB)(A^{-1}B^{-1})=I
$$
由上述推导过程可以得到 $(AB)^{-1}=B^{-1}A^{-1}$


- - - - - - - - End Thank For Your Reading - - - - - - - -