Linear Algebra and Matrix

由 $m\times n$ 个数 $a_{ij}(i=1,2,\cdots ,m;j=1,2,\cdots ,n)$ 排成的 $m$ 行 $n$ 列的数表，称为 $m\times n$ 矩阵(Matrix)。矩阵一般用中括号或者大括号括起来，并可用大写黑体字母表示，记法如下：
$$\mathbf{A}=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$$

上面矩阵也可简记为： $(a_{ij})$

如果两个矩阵的行数相等、列数也相等，则称它们为 同型矩阵 。
行数和列数都为 $n$ 的矩阵称为 $n$ 阶方阵(Square matrix)。

首先介绍一下线性变换的概念。 $n$ 个变量 $x_1,x_2,\cdots ,x_n$ 与 $m$ 个变量 $y_1,y_2,\cdots ,y_m$ 之间的下面关系式：
$$\{\begin{array}{l}{y}_1=a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ y_2=a_{21}{x}_1+a_{32}{x}_2+\cdots +a_{2n}{x}_n\\ \cdots \\ y_m=a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n\end{array}$$
表示从变量 $x_1,x_2,\cdots ,x_n$ 到变量 $y_1,y_2,\cdots ,y_m$ 的一个 线性变换 。线性变换的系数 $a_{ij}$ 构成矩阵 $\mathbf{A}=(a_{ij})$ 。

总结： 矩阵和线性变换之间存在一一对应的关系，可以利用矩阵来研究线性变换，也可以利用线性变换来解释矩阵的含义。

介绍拉普拉斯展式前，先介绍“余子式”和“代数余子式”的概念。

在 $n$ 阶行列式中，把 $(i,j)$ 元 $a_{ij}$ 所在和第 $i$ 行和第 $j$ 列划去后，留下的 $n-1$ 阶行列式叫做 $(i,j)$ 元 $a_{ij}$ 的余子式，记作 $M_{ij}$ 。而 $(i,j)$ 元 $a_{ij}$ 的 代数余子式(Cofactor) 记作 $A_{ij}$ ，其定义为：
$$A_{ij}=(-1{)}^{i+j}{M}_{ij}$$

拉普拉斯展开(Laplace expansion)定理：行列式等于它的任一行（或列）的各元素与其对应的代数余子式乘积之和。

拉普拉斯展开式实例：
$$\left|\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right|=1\times \left|\begin{array}{cc}5& 6\\ 8& 9\end{array}\right|-2\times \left|\begin{array}{cc}4& 6\\ 7& 9\end{array}\right|+3\times \left|\begin{array}{cc}4& 5\\ 7& 8\end{array}\right|=1\times (-3)-2\times (-6)+3\times (-3)=0$$

当然，还可以按其它行（或列）进行展开，其结果是相同的。

如果线性方程组 $\mathbf{A}\mathit{x}=\mathit{b}$ 的系数行列式 $det(\mathbf{A})$ 不等于零，那么线性方程组 $\mathbf{A}\mathit{x}=\mathit{b}$ 有唯一解 ${\mathit{x}}_i=\frac{det({\mathbf{A}}_i)}{det(\mathbf{A})}$ ，其中 $det({\mathbf{A}}_i)$ 是把系数行列式 $det(\mathbf{A})$ 中的第 $i$ 列的元素用列向量 $\mathit{b}$ 代替后所得到的 $n$ 阶行列式。这就是克拉默法则(Cramer's rule)。

克拉默法则实例：求解下面线性方程组：
$$\{\begin{array}{l}x+3y-2z=5\\ 3x+5y+6z=7\\ 2x+4y+3z=8\end{array}$$
直接应用克拉默法则，可得：
$$x=\frac{\left|\begin{array}{ccc}5& 3& -2\\ 7& 5& 6\\ 8& 4& 3\end{array}\right|}{\left|\begin{array}{ccc}1& 3& -2\\ 3& 5& 6\\ 2& 4& 3\end{array}\right|},y=\frac{\left|\begin{array}{ccc}1& 5& -2\\ 3& 7& 6\\ 2& 8& 3\end{array}\right|}{\left|\begin{array}{ccc}1& 3& -2\\ 3& 5& 6\\ 2& 4& 3\end{array}\right|},z=\frac{\left|\begin{array}{ccc}1& 3& 5\\ 3& 5& 7\\ 2& 4& 8\end{array}\right|}{\left|\begin{array}{ccc}1& 3& -2\\ 3& 5& 6\\ 2& 4& 3\end{array}\right|}$$

参考：https://en.wikipedia.org/wiki/System_of_linear_equations#Cramer.27s_rule

设从 $\mathbf{X}$ 到 $\mathbf{Y}$ 有线性变换：
$$\mathbf{Y}=\mathbf{AX}$$
如果 $det(\mathbf{A})\ne 0$ ，则有：
$$\mathbf{X}={\mathbf{A}}^{-1}\mathbf{Y}$$
上式表示从 $\mathbf{Y}$ 到 $\mathbf{X}$ 的线性变换。所以逆矩阵相当于线性变换的逆变换。

已知 $det(\mathbf{A})\ne 0$ ，求二阶矩阵 $\mathbf{A}=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$ 的逆矩阵。
求解过程： $det(\mathbf{A})=ad-bc$ ， $\text{adj}(\mathbf{A})=\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right)$ ，所以 $${\mathbf{A}}^{-1}=\frac{1}{det(\mathbf{A})}\text{adj}(\mathbf{A})=\frac{1}{ad-bc}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right)$$

如果 $det(\mathbf{A})=0$ ，则称方阵 $\mathbf{A}$ 为奇异方阵，否则是非奇异方阵。

所有矩阵（包括不可逆矩阵）都存在伴随矩阵。如果矩阵可逆，那么它的逆矩阵和伴随矩阵之间只差一个系数 $\frac{1}{det(\mathbf{A})}$ 。

如果矩阵 $\mathbf{A}$ 经过有限次初等变换可变成矩阵 $\mathbf{B}$ ，就称矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 为等价矩阵(Equivalent Matrix)，记作： $\mathbf{A}\sim \mathbf{B}$ 。

对于 $m\times n$ 矩阵 $\mathbf{A}$ ，总可以经过初等变换把它化为下面形式（称为标准型，其特点是左上角是一个单位矩阵，其余元素都为 0）：
$$\mathbf{F}={\left(\begin{array}{cc}{\mathbf{E}}_r& \mathbf{O}\\ \mathbf{O}& \mathbf{O}\end{array}\right)}_{m\times n}$$

其中的数 $r$ 称为矩阵 $\mathbf{A}$ 的秩(Rank)，记作 $\text{Rank}(\mathbf{A})$ 。显然， “等价矩阵”和“秩相等矩阵”含义相同 。

例如，下面矩阵 $\mathbf{A}$ 经过初等变换 $c_3\leftrightarrow c_4,c_4+c_1+c_2,c_5-4c_1-3c_2+3c_3$ 后可变成标准型矩阵 $\mathbf{F}$ ：
$$\mathbf{A}=\left(\begin{array}{ccccc}1& 0& -1& 0& 4\\ 0& 1& -1& 0& 3\\ 0& 0& 0& 1& -3\\ 0& 0& 0& 0& 0\end{array}\right)\sim \left(\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right)=\mathbf{F}$$

可知上面矩阵 $\mathbf{A}$ 的秩为 3。

方阵的 LU 分解(LU decomposition)就是把它分解为一个下三角矩阵和一个上三角矩阵的乘积。 设 $\mathbf{A}$ 是一个方块矩阵。 $\mathbf{A}$ 的 LU 分解（'LU' stands for 'Lower Upper'）是将它分解成如下形式：
$$\mathbf{A}=\mathbf{L}\mathbf{U}$$
其中 $\mathbf{L}$ 和 $\mathbf{U}$ 分别是下三角矩阵和上三角矩阵。

方阵 $\mathbf{A}$ 可以进行 LU 分解的充要条件是：方阵 $\mathbf{A}$ 的各阶顺序主子式均不为零。

下面是对方阵 $\mathbf{A}$ 进行 LU 分解的实例：
$$\underset{\mathbf{A}}{\underbrace{\left(\begin{array}{ccc}1& 2& 3\\ 2& 5& 7\\ 3& 5& 3\end{array}\right)}}=\underset{\mathbf{L}}{\underbrace{\left(\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 3& -1& 1\end{array}\right)}}\underset{\mathbf{U}}{\underbrace{\left(\begin{array}{ccc}1& 2& 3\\ 0& 1& 1\\ 0& 0& -5\end{array}\right)}}$$

定义矩阵特征值时采用的关系式 $\mathbf{A}\mathit{x}=\lambda \mathit{x}$ 也可以写为：
$$(\mathbf{A}-\lambda \mathbf{E})\mathit{x}=\mathbf{0}$$
这是 $n$ 个未知数 $n$ 个方程的齐次线性方程组(Homogeneous Linear Equations)，它有非零解的充分必要条件是系数行列式为 0，即：
$$|\mathbf{A}-\lambda \mathbf{E}|=0$$
也即：
$$\left|\begin{array}{cccc}{a}_{11}-\lambda & a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}-\lambda & \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}-\lambda \end{array}\right|=0$$
上式是以 $\lambda$ 为未知数的一元 $n$ 次方程，称为矩阵 $\mathbf{A}$ 的特征方程(Characteristic polynomial)，其左端的 $|\mathbf{A}-\lambda \mathbf{E}|=0$ 是 $\lambda$ 的 $n$ 次多项多，称为矩阵 $\mathbf{A}$ 的特征多项式(Characteristic equation)。

特征方程在复数范围内恒有解。

求矩阵 $\mathbf{A}=\left(\begin{array}{cc}3& -1\\ -1& 3\end{array}\right)$ 的特征值和特征向量。

求解步骤如下：
由矩阵 $\mathbf{A}$ 的特征方程 $|\mathbf{A}-\lambda \mathbf{E}|=\left|\begin{array}{cc}3-\lambda & -1\\ -1& 3-\lambda \end{array}\right|=0$ ，可求得 $\mathbf{A}$ 的两个特征值为 ${\lambda }_1=2,{\lambda }_2=4$

当 ${\lambda }_1=2$ 时，对应的特征向量满足： $\left(\begin{array}{cc}3-2& -1\\ -1& 3-2\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$ ，可解得 $x_1=x_2$ ，所以对应的特征向量可取为：
$${\mathit{p}}_1=\left(\begin{array}{c}1\\ 1\end{array}\right)$$
当 ${\lambda }_2=4$ 时，可都求得 $x_1=-x_2$ ，所以对应的特征向量可取为：
$${\mathit{p}}_2=\left(\begin{array}{c}-1\\ 1\end{array}\right)$$

注：若 ${\mathit{p}}_i$ 是矩阵 $\mathbf{A}$ 的对应于特征值 ${\lambda }_i$ 的特征向量，则 $k{\mathit{p}}_i(k\ne 0)$ 也是对应于特征值 ${\lambda }_i$ 的特征向量。

通过求解特征方程来得到特征值，这种方法的效率太低，当矩阵的阶数比较大时不可行。

一些高效的求特征值算法可参考：https://en.wikipedia.org/wiki/Eigenvalue_algorithm

给定向量组 $A:{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},\cdots ,{\mathit{a}}_{\mathit{m}}$ ，如果存在不全为零的数 $k_1,k_2,\cdots ,k_m$ ，使：
$$k_1{\mathit{a}}_{\mathbf{1}}+k_2{\mathit{a}}_{\mathbf{2}}+\cdots +k_m{\mathit{a}}_{\mathit{m}}=\mathbf{0}$$
则称向量组 $A$ 是 线性相关 的，否则称它线性无关。

给定向量组 $A:{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},\cdots ,{\mathit{a}}_{\mathit{m}}$ 和向量 $\mathit{b}$ ，如果存在一组数 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$ ，使：
$$\mathit{b}={\lambda }_1{\mathit{a}}_{\mathbf{1}}+{\lambda }_2{\mathit{a}}_{\mathbf{2}}+\cdots +{\lambda }_m{\mathit{a}}_{\mathit{m}}$$
则称向量 $\mathit{b}$ 能由向量组 $A$ 线性表示 。

设有 $n$ 维向量：
$$\mathit{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right),\mathit{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$$
向量 $\mathit{x}$ 和 $\mathit{y}$ 的 内积(Inner product) 记为 $⟨\mathit{x},\mathit{y}⟩$ ，有时也记作 $[\mathit{x},\mathit{y}]$ ，其定义为：
$$⟨\mathit{x},\mathit{y}⟩=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$$

向量的内积是两个向量的一种运算，其结果是一个实数。

如果 $⟨\mathit{x},\mathit{y}⟩=0$ ，则称向量 $\mathit{x}$ 和 $\mathit{y}$ 正交 。

向量 $\mathit{x}$ 的范数（或长度）记为 $\Vert \mathit{x}\Vert$ ，其定义为：
$$\Vert \mathit{x}\Vert =\sqrt{⟨\mathit{x},\mathit{x}⟩}=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}$$

当 $\Vert \mathit{x}\Vert =1$ 时，称 $\mathit{x}$ 为 单位向量 。

有时，我们会看到无穷范数（Infinity Norm）的记号，它的定义为： $$\Vert \mathit{x}{\Vert }_{\mathrm{\infty }}=max(|x_1|,|x_2|,\cdots ,|x_n|)$$ 也就是说，向量的无穷范数是向量元素绝对值的最大值。比如向量 $\mathit{x}=\left(\begin{array}{c}2\\ -3\\ 5\\ -7\end{array}\right)$ ，则 $\Vert \mathit{x}{\Vert }_{\mathrm{\infty }}=max(|2|,|-3|,|5|,|-7|)=7$ 。

在几何中，内积(Inner product)又称为点积(dot product)。两向量点积记作 $\mathit{x}\cdot \mathit{y}$ ，有： $\mathit{x}\cdot \mathit{y}=\Vert \mathit{x}\Vert \Vert \mathit{y}\Vert \cos \theta$ ，其中， $\theta$ 称为两向量的夹角。

如果两向量夹角为 ${90}^{\circ }$ ，则其内积为 $\mathit{x}\cdot \mathit{y}=0$ 。
如果两向量夹角为 $0^{\circ }$ ，则其内积为 $\mathit{x}\cdot \mathit{y}=\Vert \mathit{x}\Vert \Vert \mathit{y}\Vert$ 。

总结： 内积（点积）反映着两向量的夹角大小 。

设 $V$ 为 $n$ 维向量的集合，如果集合 $V$ 非空，且 集合 $V$ 对于向量的加法和乘数两种运算封闭，那么就称集合 $V$ 为向量空间(Vector space) 。
“对于向量的加法和乘数两种运算封闭”的含义是：若 $\mathit{a}\in V,\mathit{b}\in V$ ，则 $\mathit{a}+\mathit{b}\in V$ ；若 $\mathit{a}\in V,\lambda \in \mathbb{R}$ ，则 $\lambda \mathit{a}\in V$ 。

3 维向量的全体 ${\mathbb{R}}^3$ 是一个向量空间。因为任意两个 3 维向量之和仍然是 3 维向量，数 $\lambda$ 乘 3 维向量也仍然是 3 维向量，它们都属于 ${\mathbb{R}}^3$ 。我们可以用有向线段形象地表示 3 维向量，从而向量空间 ${\mathbb{R}}^3$ 可形象地看作以坐标原点为起点的全体的有向线段。类似地， $n$ 维向量的全体 ${\mathbb{R}}^n$ 也是一个向量空间，不过当 $n>3$ 时，它没有直观的几何意义。

向量空间的严格定义如下：设 $V$ 是一个非空集合， $\mathbb{R}$ 为实数域。如果对于任意两个元素 $\mathit{\alpha },\mathit{\beta }\in V$ ，总有总有唯一的一个元素 $\mathit{\gamma }\in V$ 与之对应，称其为 $\mathit{\alpha }$ 与 $\mathit{\beta }$ 的和，记作 $\mathit{\gamma }=\mathit{\alpha }+\mathit{\beta }$ ；又对于任一数 $\lambda \in \mathbb{R}$ 与任一元素 $\mathit{\alpha }\in V$ ，总有唯一的一个元素 $\mathit{\delta }\in V$ 与之对应，称为 $\lambda$ 与 $\mathit{\alpha }$ 的积，记作 $\mathit{\delta }=\lambda \mathit{\alpha }$ 。如果上述两种运算满足以下八条运算规律（设 $\mathit{\alpha },\mathit{\beta },\mathit{\gamma }\in V;\lambda ,\mu \in \mathbb{R}$ ）：
(i) $\mathit{\alpha }+\mathit{\beta }=\mathit{\beta }+\mathit{\alpha }$
(ii) $(\mathit{\alpha }+\mathit{\beta })+\mathit{\gamma }=\mathit{\beta }+(\mathit{\alpha }+\mathit{\gamma })$
(iii) 在 $V$ 中存在零向量 $\mathbf{0}\in V$ ，对于任何 $\mathit{\alpha }\in V$ ，都有 $\mathit{\alpha }+\mathbf{0}=\mathit{\alpha }$
(iv) 对任何 $\mathit{\alpha }\in V$ ，都有 $\mathit{\alpha }$ 的负元素 $\mathit{\beta }\in V$ ，使 $\mathit{\alpha }+\mathit{\beta }=\mathbf{0}$
(v) $1\mathit{\alpha }=\mathit{\alpha }$
(vi) $\lambda (\mu \mathit{\alpha })=(\lambda \mu )\mathit{\alpha }$
(vii) $(\lambda +\mu )\mathit{\alpha }=\lambda \mathit{\alpha }+\mu \mathit{\alpha }$
(viii) $\lambda (\mathit{\alpha }+\mathit{\beta })=\lambda \mathit{\alpha }+\lambda \mathit{\beta }$
那么就称 $V$ 为实数域 $\mathbb{R}$ 上的向量空间（或线性空间）。

参考：https://en.wikipedia.org/wiki/Vector_space#Definition

一般地，设 $V$ 与 $U$ 是两个向量空间，如果在它们的元素之间有一一对应关系，且元素线性组合也有相应对应关系，则说 向量空间 $V$ 与 $U$ 同构 。

显然，建立坐标以后，任意向量空间中的向量都可以用 ${\mathbb{R}}^n$ 中的向量表示了（即表示为它的坐标）。

总结：任何 $n$ 维线性空间都和 ${\mathbb{R}}^n$ 同构，即维数相等的线性空间都同构。

前面在介绍矩阵时，简单地介绍过线性变换，并提到过 矩阵和线性变换之间存在一一对应的关系 。

下面给出 线性变换（又称线性映射或线性算子） 的严格定义：
设 $V_n,U_m$ 分别为 $n$ 维和 $m$ 维线性空间， $T$ 是一个从 $V_n$ 到 $U_m$ 的映射，如果映射 $T$ 满足：
(i) 任一 ${\mathit{\alpha }}_{\mathbf{1}},{\mathit{\alpha }}_{\mathbf{2}}\in V_n$ （从而 ${\mathit{\alpha }}_{\mathbf{1}}+{\mathit{\alpha }}_{\mathbf{2}}\in V_n$ ），有： $T({\mathit{\alpha }}_{\mathbf{1}}+{\mathit{\alpha }}_{\mathbf{2}})=T({\mathit{\alpha }}_{\mathbf{1}})+T({\mathit{\alpha }}_{\mathbf{2}})$
(ii) 任一 $\mathit{\alpha }\in V_n,\lambda \in \mathbb{R}$ （从而 $\lambda \mathit{\alpha }\in V_n$ ），有： $T(\lambda \mathit{\alpha })=\lambda T(\mathit{\alpha })$
则称映射 $T$ 为 $V_n$ 到 $U_m$ 的线性映射，又称线性变换或线性算子。