Linear Algebra and Matrix

由 \(m \times n\) 个数 \(a_{ij} (i=1,2, \cdots, m; j=1,2, \cdots, n)\) 排成的 \(m\) 行 \(n\) 列的数表，称为 \(m \times n\) 矩阵(Matrix)。矩阵一般用中括号或者大括号括起来，并可用大写黑体字母表示，记法如下：
\[\mathbf{A} = \left( \begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{array} \right)\]

上面矩阵也可简记为： \((a_{ij})\)

如果两个矩阵的行数相等、列数也相等，则称它们为 同型矩阵 。
行数和列数都为 \(n\) 的矩阵称为 \(n\) 阶方阵(Square matrix)。

首先介绍一下线性变换的概念。 \(n\) 个变量 \(x_1, x_2, \cdots, x_n\) 与 \(m\) 个变量 \(y_1, y_2, \cdots, y_m\) 之间的下面关系式：
\[\begin{cases} y_1 = a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n \\ y_2 = a_{21}x_1 + a_{32}x_2 + \cdots + a_{2n}x_n \\ \cdots \\ y_m = a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn}x_n \end{cases}\]
表示从变量 \(x_1, x_2, \cdots, x_n\) 到变量 \(y_1, y_2, \cdots, y_m\) 的一个 线性变换 。线性变换的系数 \(a_{ij}\) 构成矩阵 \(\mathbf{A}=(a_{ij})\) 。

总结： 矩阵和线性变换之间存在一一对应的关系，可以利用矩阵来研究线性变换，也可以利用线性变换来解释矩阵的含义。

介绍拉普拉斯展式前，先介绍“余子式”和“代数余子式”的概念。

在 \(n\) 阶行列式中，把 \((i,j)\) 元 \(a_{ij}\) 所在和第 \(i\) 行和第 \(j\) 列划去后，留下的 \(n-1\) 阶行列式叫做 \((i,j)\) 元 \(a_{ij}\) 的余子式，记作 \(M_{ij}\) 。而 \((i,j)\) 元 \(a_{ij}\) 的 代数余子式(Cofactor) 记作 \(A_{ij}\) ，其定义为：
\[A_{ij} = (-1)^{i+j} M_{ij}\]

拉普拉斯展开(Laplace expansion)定理：行列式等于它的任一行（或列）的各元素与其对应的代数余子式乘积之和。

拉普拉斯展开式实例：
\[\left| \begin{array}{ccc} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{array} \right| = 1 \times \left| \begin{array}{cc} 5 & 6 \\ 8 & 9 \end{array} \right| - 2 \times \left| \begin{array}{cc} 4 & 6 \\ 7 & 9 \end{array} \right| + 3 \times \left| \begin{array}{cc} 4 & 5 \\ 7 & 8 \end{array} \right| = 1 \times (-3) - 2 \times (-6) + 3 \times (-3) = 0\]

当然，还可以按其它行（或列）进行展开，其结果是相同的。

如果线性方程组 \(\mathbf{A} \boldsymbol{x} = \boldsymbol{b}\) 的系数行列式 \(\det(\mathbf{A})\) 不等于零，那么线性方程组 \(\mathbf{A} \boldsymbol{x} = \boldsymbol{b}\) 有唯一解 \(\boldsymbol{x}_{i} = \frac{\det(\mathbf{A}_{i})}{\det(\mathbf{A})}\) ，其中 \(\det(\mathbf{A}_{i})\) 是把系数行列式 \(\det(\mathbf{A})\) 中的第 \(i\) 列的元素用列向量 \(\boldsymbol{b}\) 代替后所得到的 \(n\) 阶行列式。这就是克拉默法则(Cramer's rule)。

克拉默法则实例：求解下面线性方程组：
\[\begin{cases} x + 3y - 2z = 5 \\ 3x + 5y + 6z = 7 \\ 2x + 4y + 3z = 8 \end{cases}\]
直接应用克拉默法则，可得：
\[x = \frac{\left| \begin{array}{ccc} 5 & 3 & -2 \\ 7 & 5 & 6 \\ 8 & 4 & 3 \end{array} \right|}{\left| \begin{array}{ccc} 1 & 3 & -2 \\ 3 & 5 & 6 \\ 2 & 4 & 3 \end{array} \right|}, \quad y = \frac{\left| \begin{array}{ccc} 1 & 5 & -2 \\ 3 & 7 & 6 \\ 2 & 8 & 3 \end{array} \right|}{\left| \begin{array}{ccc} 1 & 3 & -2 \\ 3 & 5 & 6 \\ 2 & 4 & 3 \end{array} \right|}, \quad z = \frac{\left| \begin{array}{ccc} 1 & 3 & 5 \\ 3 & 5 & 7 \\ 2 & 4 & 8 \end{array} \right|}{\left| \begin{array}{ccc} 1 & 3 & -2 \\ 3 & 5 & 6 \\ 2 & 4 & 3 \end{array} \right|}\]

参考：https://en.wikipedia.org/wiki/System_of_linear_equations#Cramer.27s_rule

设从 \(\mathbf{X}\) 到 \(\mathbf{Y}\) 有线性变换：
\[\mathbf{Y} = \mathbf{AX}\]
如果 \(\det(\mathbf{A}) \ne 0\) ，则有：
\[\mathbf{X} = \mathbf{A}^{-1} \mathbf{Y}\]
上式表示从 \(\mathbf{Y}\) 到 \(\mathbf{X}\) 的线性变换。所以逆矩阵相当于线性变换的逆变换。

已知 \(\det(\mathbf{A}) \ne 0\) ，求二阶矩阵 \(\mathbf{A} = \left( \begin{array}{cc} a & b \\ c & d \end{array} \right)\) 的逆矩阵。
求解过程： \(\det(\mathbf{A}) = ad - bc\) ， \(\text{adj}(\mathbf{A}) = \left( \begin{array}{cc} d & -b \\ -c & a \end{array} \right)\) ，所以 \[\mathbf{A}^{-1} = \frac{1}{\det(\mathbf{A})} \text{adj}(\mathbf{A}) = \frac{1}{ad - bc} \left( \begin{array}{cc} d & -b \\ -c & a \end{array} \right)\]

如果 \(\det(\mathbf{A}) = 0\) ，则称方阵 \(\mathbf{A}\) 为奇异方阵，否则是非奇异方阵。

所有矩阵（包括不可逆矩阵）都存在伴随矩阵。如果矩阵可逆，那么它的逆矩阵和伴随矩阵之间只差一个系数 \(\frac{1}{\det(\mathbf{A})}\) 。

如果矩阵 \(\mathbf{A}\) 经过有限次初等变换可变成矩阵 \(\mathbf{B}\) ，就称矩阵 \(\mathbf{A}\) 和 \(\mathbf{B}\) 为等价矩阵(Equivalent Matrix)，记作： \(\mathbf{A} \sim \mathbf{B}\) 。

对于 \(m \times n\) 矩阵 \(\mathbf{A}\) ，总可以经过初等变换把它化为下面形式（称为标准型，其特点是左上角是一个单位矩阵，其余元素都为 0）：
\[\mathbf{F} = \left( \begin{array}{cc} \mathbf{E}_r & \mathbf{O} \\ \mathbf{O} & \mathbf{O} \end{array} \right)_{m \times n}\]

其中的数 \(r\) 称为矩阵 \(\mathbf{A}\) 的秩(Rank)，记作 \(\text{Rank}(\mathbf{A})\) 。显然， “等价矩阵”和“秩相等矩阵”含义相同 。

例如，下面矩阵 \(\mathbf{A}\) 经过初等变换 \(c_3 \leftrightarrow c_4, c_4 + c_1 + c_2, c_5 - 4c_1 - 3c_2 + 3c_3\) 后可变成标准型矩阵 \(\mathbf{F}\) ：
\[\mathbf{A} = \left( \begin{array}{ccccc} 1 & 0 & -1 & 0 & 4 \\ 0 & 1 & -1 & 0 & 3 \\ 0 & 0 & 0 & 1 & -3 \\ 0 & 0 & 0 & 0 & 0 \end{array} \right) \sim \left( \begin{array}{ccccc} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 \end{array} \right) = \mathbf{F}\]

可知上面矩阵 \(\mathbf{A}\) 的秩为 3。

方阵的 LU 分解(LU decomposition)就是把它分解为一个下三角矩阵和一个上三角矩阵的乘积。 设 \(\mathbf{A}\) 是一个方块矩阵。 \(\mathbf{A}\) 的 LU 分解（'LU' stands for 'Lower Upper'）是将它分解成如下形式：
\[\mathbf{A} = \mathbf{L}\mathbf{U}\]
其中 \(\mathbf{L}\) 和 \(\mathbf{U}\) 分别是下三角矩阵和上三角矩阵。

方阵 \(\mathbf{A}\) 可以进行 LU 分解的充要条件是：方阵 \(\mathbf{A}\) 的各阶顺序主子式均不为零。

下面是对方阵 \(\mathbf{A}\) 进行 LU 分解的实例：
\[\underbrace{\left( \begin{array}{ccc} 1 & 2 & 3 \\ 2 & 5 & 7 \\ 3 & 5 & 3 \end{array} \right)}_{\mathbf{A}} = \underbrace{\left( \begin{array}{ccc} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 3 & -1 & 1 \end{array} \right)}_{\mathbf{L}} \underbrace{\left( \begin{array}{ccc} 1 & 2 & 3 \\ 0 & 1 & 1 \\ 0 & 0 & -5 \end{array} \right)}_{\mathbf{U}}\]

定义矩阵特征值时采用的关系式 \(\mathbf{A} \boldsymbol{x} = \lambda \boldsymbol{x}\) 也可以写为：
\[(\mathbf{A} - \lambda \mathbf{E}) \boldsymbol{x} = \boldsymbol{0}\]
这是 \(n\) 个未知数 \(n\) 个方程的齐次线性方程组(Homogeneous Linear Equations)，它有非零解的充分必要条件是系数行列式为 0，即：
\[|\mathbf{A} - \lambda \mathbf{E}| = 0\]
也即：
\[\left| \begin{array}{cccc} a_{11} - \lambda & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} - \lambda & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} - \lambda \end{array} \right| = 0\]
上式是以 \(\lambda\) 为未知数的一元 \(n\) 次方程，称为矩阵 \(\mathbf{A}\) 的特征方程(Characteristic polynomial)，其左端的 \(|\mathbf{A} - \lambda \mathbf{E}| = 0\) 是 \(\lambda\) 的 \(n\) 次多项多，称为矩阵 \(\mathbf{A}\) 的特征多项式(Characteristic equation)。

特征方程在复数范围内恒有解。

求矩阵 \(\mathbf{A} = \left( \begin{array}{cc} 3 & -1 \\ -1 & 3 \end{array} \right)\) 的特征值和特征向量。

求解步骤如下：
由矩阵 \(\mathbf{A}\) 的特征方程 \(\left| \mathbf{A} - \lambda \mathbf{E} \right| = \left| \begin{array}{cc} 3 - \lambda & -1 \\ -1 & 3 - \lambda \end{array} \right| = 0\) ，可求得 \(\mathbf{A}\) 的两个特征值为 \(\lambda_1 = 2, \lambda_2 = 4\)

当 \(\lambda_1 = 2\) 时，对应的特征向量满足： \(\left( \begin{array}{cc} 3-2 & -1 \\ -1 & 3-2 \end{array} \right) \left( \begin{array}{c} x_1 \\ x_2 \end{array} \right) = \left( \begin{array}{c} 0 \\ 0 \end{array} \right)\) ，可解得 \(x_1 = x_2\) ，所以对应的特征向量可取为：
\[\boldsymbol{p}_1 = \left( \begin{array}{c} 1 \\ 1 \end{array} \right)\]
当 \(\lambda_2 = 4\) 时，可都求得 \(x_1 = -x_2\) ，所以对应的特征向量可取为：
\[\boldsymbol{p}_2 = \left( \begin{array}{c} -1 \\ 1 \end{array} \right)\]

注：若 \(\boldsymbol{p}_i\) 是矩阵 \(\mathbf{A}\) 的对应于特征值 \(\lambda_{i}\) 的特征向量，则 \(k \boldsymbol{p}_i (k \ne 0)\) 也是对应于特征值 \(\lambda_{i}\) 的特征向量。

通过求解特征方程来得到特征值，这种方法的效率太低，当矩阵的阶数比较大时不可行。

一些高效的求特征值算法可参考：https://en.wikipedia.org/wiki/Eigenvalue_algorithm

给定向量组 \(A : \boldsymbol{a_1}, \boldsymbol{a_2}, \cdots, \boldsymbol{a_m}\) ，如果存在不全为零的数 \(k_1, k_2, \cdots, k_m\) ，使：
\[k_1 \boldsymbol{a_1} + k_2 \boldsymbol{a_2} + \cdots + k_m \boldsymbol{a_m} = \boldsymbol{0}\]
则称向量组 \(A\) 是 线性相关 的，否则称它线性无关。

给定向量组 \(A : \boldsymbol{a_1}, \boldsymbol{a_2}, \cdots, \boldsymbol{a_m}\) 和向量 \(\boldsymbol{b}\) ，如果存在一组数 \(\lambda_1, \lambda_2, \cdots, \lambda_m\) ，使：
\[\boldsymbol{b} = \lambda_1 \boldsymbol{a_1} + \lambda_2 \boldsymbol{a_2} + \cdots + \lambda_m \boldsymbol{a_m}\]
则称向量 \(\boldsymbol{b}\) 能由向量组 \(A\) 线性表示 。

设有 \(n\) 维向量：
\[\boldsymbol{x} = \left( \begin{array}{c} x_1 \\ x_2 \\ \vdots \\ x_n \end{array} \right), \boldsymbol{y} = \left( \begin{array}{c} y_1 \\ y_2 \\ \vdots \\ y_n \end{array} \right)\]
向量 \(\boldsymbol{x}\) 和 \(\boldsymbol{y}\) 的 内积(Inner product) 记为 \(\langle \boldsymbol{x} ,\boldsymbol{y} \rangle\) ，有时也记作 \([\boldsymbol{x}, \boldsymbol{y}]\) ，其定义为：
\[\langle \boldsymbol{x}, \boldsymbol{y} \rangle = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n\]

向量的内积是两个向量的一种运算，其结果是一个实数。

如果 \(\langle \boldsymbol{x}, \boldsymbol{y}\rangle = 0\) ，则称向量 \(\boldsymbol{x}\) 和 \(\boldsymbol{y}\) 正交 。

向量 \(\boldsymbol{x}\) 的范数（或长度）记为 \(\Vert \boldsymbol{x} \Vert\) ，其定义为：
\[\Vert \boldsymbol{x} \Vert = \sqrt{\langle\boldsymbol{x}, \boldsymbol{x}\rangle} = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2}\]

当 \(\Vert \boldsymbol{x} \Vert = 1\) 时，称 \(\boldsymbol{x}\) 为 单位向量 。

有时，我们会看到无穷范数（Infinity Norm）的记号，它的定义为： \[\Vert \boldsymbol{x} \Vert_{\infty} = \max(|x_1|,|x_2|,\cdots,|x_n|)\] 也就是说，向量的无穷范数是向量元素绝对值的最大值。比如向量 \(\boldsymbol{x}=\left( \begin{array}{c} 2 \\ -3 \\ 5 \\ -7 \end{array} \right)\) ，则 \(\Vert \boldsymbol{x} \Vert_{\infty}= \max(|2|,|-3|,|5|,|-7|) = 7\) 。

在几何中，内积(Inner product)又称为点积(dot product)。两向量点积记作 \(\boldsymbol{x} \cdot \boldsymbol{y}\) ，有： \(\boldsymbol{x} \cdot \boldsymbol{y} = \Vert \boldsymbol{x} \Vert \Vert \boldsymbol{y} \Vert \cos \theta\) ，其中， \(\theta\) 称为两向量的夹角。

如果两向量夹角为 \(90^\circ\) ，则其内积为 \(\boldsymbol{x} \cdot \boldsymbol{y} = 0\) 。
如果两向量夹角为 \(0^\circ\) ，则其内积为 \(\boldsymbol{x} \cdot \boldsymbol{y} = \Vert \boldsymbol{x} \Vert \Vert \boldsymbol{y} \Vert\) 。

总结： 内积（点积）反映着两向量的夹角大小 。

设 \(V\) 为 \(n\) 维向量的集合，如果集合 \(V\) 非空，且 集合 \(V\) 对于向量的加法和乘数两种运算封闭，那么就称集合 \(V\) 为向量空间(Vector space) 。
“对于向量的加法和乘数两种运算封闭”的含义是：若 \(\boldsymbol{a} \in V, \boldsymbol{b} \in V\) ，则 \(\boldsymbol{a} + \boldsymbol{b} \in V\) ；若 \(\boldsymbol{a} \in V, \lambda \in \mathbb{R}\) ，则 \(\lambda \boldsymbol{a} \in V\) 。

3 维向量的全体 \(\mathbb{R}^3\) 是一个向量空间。因为任意两个 3 维向量之和仍然是 3 维向量，数 \(\lambda\) 乘 3 维向量也仍然是 3 维向量，它们都属于 \(\mathbb{R}^3\) 。我们可以用有向线段形象地表示 3 维向量，从而向量空间 \(\mathbb{R}^3\) 可形象地看作以坐标原点为起点的全体的有向线段。类似地， \(n\) 维向量的全体 \(\mathbb{R}^n\) 也是一个向量空间，不过当 \(n > 3\) 时，它没有直观的几何意义。

向量空间的严格定义如下：设 \(V\) 是一个非空集合， \(\mathbb{R}\) 为实数域。如果对于任意两个元素 \(\boldsymbol{\alpha}, \boldsymbol{\beta} \in V\) ，总有总有唯一的一个元素 \(\boldsymbol{\gamma} \in V\) 与之对应，称其为 \(\boldsymbol{\alpha}\) 与 \(\boldsymbol{\beta}\) 的和，记作 \(\boldsymbol{\gamma} = \boldsymbol{\alpha} + \boldsymbol{\beta}\) ；又对于任一数 \(\lambda \in \mathbb{R}\) 与任一元素 \(\boldsymbol{\alpha} \in V\) ，总有唯一的一个元素 \(\boldsymbol{\delta} \in V\) 与之对应，称为 \(\lambda\) 与 \(\boldsymbol{\alpha}\) 的积，记作 \(\boldsymbol{\delta} = \lambda \boldsymbol{\alpha}\) 。如果上述两种运算满足以下八条运算规律（设 \(\boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\gamma} \in V; \lambda, \mu \in \mathbb{R}\) ）：
(i) \(\boldsymbol{\alpha} + \boldsymbol{\beta} = \boldsymbol{\beta} + \boldsymbol{\alpha}\)
(ii) \((\boldsymbol{\alpha} + \boldsymbol{\beta}) + \boldsymbol{\gamma} = \boldsymbol{\beta} + (\boldsymbol{\alpha} + \boldsymbol{\gamma})\)
(iii) 在 \(V\) 中存在零向量 \(\boldsymbol{0} \in V\) ，对于任何 \(\boldsymbol{\alpha} \in V\) ，都有 \(\boldsymbol{\alpha} + \boldsymbol{0} = \boldsymbol{\alpha}\)
(iv) 对任何 \(\boldsymbol{\alpha} \in V\) ，都有 \(\boldsymbol{\alpha}\) 的负元素 \(\boldsymbol{\beta} \in V\) ，使 \(\boldsymbol{\alpha} + \boldsymbol{\beta} = \boldsymbol{0}\)
(v) \(1 \boldsymbol{\alpha} = \boldsymbol{\alpha}\)
(vi) \(\lambda ( \mu \boldsymbol{\alpha}) = (\lambda \mu) \boldsymbol{\alpha}\)
(vii) \((\lambda + \mu) \boldsymbol{\alpha} = \lambda \boldsymbol{\alpha} + \mu \boldsymbol{\alpha}\)
(viii) \(\lambda (\boldsymbol{\alpha} + \boldsymbol{\beta}) = \lambda \boldsymbol{\alpha} + \lambda \boldsymbol{\beta}\)
那么就称 \(V\) 为实数域 \(\mathbb{R}\) 上的向量空间（或线性空间）。

参考：https://en.wikipedia.org/wiki/Vector_space#Definition

一般地，设 \(V\) 与 \(U\) 是两个向量空间，如果在它们的元素之间有一一对应关系，且元素线性组合也有相应对应关系，则说 向量空间 \(V\) 与 \(U\) 同构 。

显然，建立坐标以后，任意向量空间中的向量都可以用 \(\mathbb{R}^n\) 中的向量表示了（即表示为它的坐标）。

总结：任何 \(n\) 维线性空间都和 \(\mathbb{R}^n\) 同构，即维数相等的线性空间都同构。

前面在介绍矩阵时，简单地介绍过线性变换，并提到过 矩阵和线性变换之间存在一一对应的关系 。

下面给出 线性变换（又称线性映射或线性算子） 的严格定义：
设 \(V_n, U_m\) 分别为 \(n\) 维和 \(m\) 维线性空间， \(T\) 是一个从 \(V_n\) 到 \(U_m\) 的映射，如果映射 \(T\) 满足：
(i) 任一 \(\boldsymbol{\alpha_1}, \boldsymbol{\alpha_2} \in V_n\) （从而 \(\boldsymbol{\alpha_1} + \boldsymbol{\alpha_2} \in V_n\) ），有： \(T(\boldsymbol{\alpha_1} + \boldsymbol{\alpha_2}) = T(\boldsymbol{\alpha_1}) + T(\boldsymbol{\alpha_2})\)
(ii) 任一 \(\boldsymbol{\alpha} \in V_n, \lambda \in \mathbb{R}\) （从而 \(\lambda \boldsymbol{\alpha} \in V_n\) ），有： \(T(\lambda \boldsymbol{\alpha}) = \lambda T(\boldsymbol{\alpha})\)
则称映射 \(T\) 为 \(V_n\) 到 \(U_m\) 的线性映射，又称线性变换或线性算子。

特别地，如果 \(T\) 是一个从线性空间 \(V_n\) 到其自身的线性变换，则称 \(T\) 为线性空间 \(V_n\) 中的线性变换。

参考：https://en.wikipedia.org/wiki/Linear_map

在图像处理时，一般把图像当作向量（线性）空间来对待。

对于 \(m \times n\) 阶矩阵 \(\mathbf{A}\) ，一定存在 \(m\) 阶正交矩阵 \(\mathbf{U}\) 和 \(n\) 阶正交矩阵 \(\mathbf{V}\) ，使得：
\[\mathbf{A} = \mathbf{U} \Sigma \mathbf{V}^{\mathsf{T}}\]
式中：
\[\Sigma = \left( \begin{array}{cc} \Sigma_1 & \mathbf{O} \\ \mathbf{O} & \mathbf{O} \end{array} \right)\]
且 \(\Sigma_1 = \text{diag}(\sigma_1, \sigma_2, \cdots, \sigma_r)\) ，其对角线上元素由大而小排列：
\[\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0, \qquad r = \text{Rank}(A)\]

这样的分解就称作矩阵 \(\mathbf{A}\) 的奇异值分解。 \(\sigma_1, \sigma_2, \cdots, \sigma_r\) 称为奇异值。

参考：https://zh.wikipedia.org/wiki/%E5%A5%87%E5%BC%82%E5%80%BC%E5%88%86%E8%A7%A3

实数 \(m \times n\) 阶矩阵 \(\mathbf{A}\) 的 QR 分解(QR decomposition)为：
\[\mathbf{A} = \mathbf{Q} \mathbf{R}\]
其中 \(\mathbf{Q}\) 是 \(m\) 阶正交矩阵，而 \(\mathbf{R}\) 是 \(m \times n\) 阶上三角矩阵。

即 QR 分解是把矩阵分解成一个正交矩阵与一个上三角矩阵的积。 QR 分解经常用来解决线性最小二乘法问题。

参考：https://zh.wikipedia.org/wiki/QR%E5%88%86%E8%A7%A3

特征分解（Eigendecomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有“可对角化矩阵”才可以施以特征分解。

参考：https://zh.wikipedia.org/wiki/%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3

设向量值函数：
\[f(\boldsymbol{x}) = f(x_1, x_2) = \left( \begin{array}{c} \sin x_1 + \cos x_2 \\ e^{2x_1 + x_2} \\ 2 x_1^2 + x_1 x_2 \end{array} \right)\]
则 \(f(\boldsymbol{x})\) 在任一点 \((x_1, x_2)\) 的雅可比矩阵为：
\[J_f(x_1, x_2) = \left( \begin{array}{cc} \cos x_1 & - \sin x_2 \\ 2e^{2x_1 + x_2} & e^{2x_1 + x_2} \\ 4x_1 + x_2 & x_1 \end{array} \right)\]

如果 \(\boldsymbol{p}\) 是 \(\mathbb{R}^{n}\) 中的一点， \(f\) 在 \(\boldsymbol{p}\) 点可微分，根据高等微积分， \(J_f(\boldsymbol{p})\) 是在这点的导数。在此情况下， \(J_f(\boldsymbol{p})\) 是这个线性映射（即 \(f\) ）在点 \(\boldsymbol{p}\) 附近的最优线性逼近，也就是说当 \(\boldsymbol{x}\) 足够靠近点 \(\boldsymbol{p}\) 时，有：
\[\boldsymbol{f}(\boldsymbol{x})\approx f(\boldsymbol{p}) + J_{f}(\boldsymbol{p}) \cdot (\boldsymbol{x} - \boldsymbol{p})\]

下面观察几个特例。
对于最简单的情况（ \(n = m = 1\) 时）， \(y=f(x)\) 在 \(x_0\) 处的最优线性逼近（切线方程）可表达为： \(y = f(x_0) + f'(x_0) (x - x_0)\)
当 \(n = 2, m = 1\) 时， \(x=f(x,y)\) 在点 \((x_0, y_0)\) 处的最优线性逼近（切平面方程）可表达为： \(z = f(x_0, y_0) + f'_x(x_0, y_0) (x - x_0) + f'_y(x_0, y_0)(y - y_0)\)

总结： 雅可比矩阵表达的是切平面的 Orientation（或切线的斜率）。

如果 \(m=n\) ，那么 \(f\) 是从 \(n\) 维空间到 \(n\) 维空间的函数，且它的雅可比矩阵是一个方块矩阵。于是我们可以取它的行列式，称为雅可比行列式。
在某个给定点的雅可比行列式提供了 \(f\) 在接近该点时的表现的重要信息。例如，如果连续可微函数 \(f\) 在 p 点的雅可比行列式不是零，那么它在该点附近具有反函数。这称为反函数定理。更进一步， 如果 p 点的雅可比行列式是正数，则 \(f\) 在 p 点的取向不变；如果是负数，则 \(f\) 的取向相反。 而从雅可比行列式的绝对值，就可以知道函数 \(f\) 在 p 点的缩放因子；这就是为什么它出现在换元积分法中。

参考：
雅可比行列式 wikipedia