5 · 特征值与特征向量

这是线性代数最有「魔力」的一节，也是 AI 里出镜率最高的概念之一。核心问题：一个变换里，有没有某些方向，只被拉伸、不被旋转？

一、定义

对方阵 $\mathbf{A}$，如果存在非零向量 $\mathbf{v}$ 和标量 $\lambda$ 使得：

$\mathbf{A}\mathbf{v} = \lambda\mathbf{v}$

则 $\mathbf{v}$ 是特征向量（eigenvector），$\lambda$ 是对应的特征值（eigenvalue）。

几何含义：一般向量被 $\mathbf{A}$ 作用后会「又转又拉」，但特征向量很特别——它只被拉伸（或压缩、翻转），方向不变。$\lambda$ 就是拉伸的倍数：$\lambda>1$ 拉长，$0<\lambda<1$ 压短，$\lambda<0$ 反向。

直觉比喻：把变换想象成水流。大多数树叶被冲得又转又偏，但沿特征向量方向放的叶子只会笔直加速或减速。这些方向是系统的「骨架」。

二、怎么求

把定义改写成 $(\mathbf{A} - \lambda\mathbf{I})\mathbf{v} = \mathbf{0}$。要有非零解，系数阵必须不可逆，即行列式为零：

$\det(\mathbf{A} - \lambda\mathbf{I}) = 0$

这叫特征方程，解出 $\lambda$ 后回代求 $\mathbf{v}$。（实际中高维用迭代算法，不手算行列式。）

三、对角化（Diagonalization）

若 n 阶矩阵有 n 个线性无关的特征向量，则可写成：

$\mathbf{A} = \mathbf{P}\mathbf{\Lambda}\mathbf{P}^{-1}$

其中 $\mathbf{\Lambda}$ 是特征值摆在对角线上的对角阵。意义：换到特征向量为基的坐标系里，这个复杂变换就变成「沿各轴独立缩放」这么简单。这让反复作用变得容易：$\mathbf{A}^k = \mathbf{P}\mathbf{\Lambda}^k\mathbf{P}^{-1}$，只需对对角元素取 k 次方。

对称矩阵更好：一定可用正交矩阵对角化（谱定理），特征值全为实数，特征向量互相正交。协方差矩阵正是这种，这是 PCA 成立的基础。

四、跨领域应用

AI —— PCA 主成分分析：对数据的协方差矩阵求特征值/向量。特征向量指出数据「方差最大」（信息最多）的方向，特征值就是该方向上的方差。取前几个最大特征值对应的方向，就把高维数据压到低维而尽量不丢信息。这是最经典的降维方法。 区块链 / 搜索 —— PageRank 与马尔可夫链：网页（或节点）重要度是转移矩阵的主特征向量（对应特征值 1）。反复乘转移矩阵会收敛到这个特征向量——这就是网络的「稳态分布」。区块链里分析代币流转、质押状态演化用的是同一套马尔可夫链数学。详细数值案例见第五节·示例一。 工程 —— 稳定性与振动：动力系统是否稳定，看特征值的符号/模长；深度学习里梯度爆炸/消失，本质是反复连乘矩阵后特征值的幂走向了无穷或零。

五、应用案例：矩阵迭代与系统状态演化

特征值最深刻的应用之一是分析迭代系统的长期行为。用向量 $\mathbf{v}_t$ 表示系统在 $t$ 时刻的状态，矩阵 $M$ 编码演化规则：

$\mathbf{v}_{t+1} = M\mathbf{v}_t, \qquad k\text{ 步后 } \mathbf{v}_k = M^k \mathbf{v}_0$

系统的长期行为——是收敛、增长还是衰减——完全由 $M$ 的特征值决定。下面用两个例子展示这套骨架如何套到不同领域。

示例一：马尔可夫链（用户行为）

某电商用户，每一步处于「浏览（B）」或「购买（P）」之一，跳转规律：

• 当前 B：70% 留 B，30% 转 P
• 当前 P：40% 回 B，60% 留 P

建模：状态向量与转移矩阵

状态向量：$\mathbf{v}_t = (v_B,\, v_P)^\top$ 记 $t$ 时刻的概率分布，两分量分别是「处于 B 的概率」和「处于 P 的概率」，和为 1。

转移矩阵：约定 $M_{ij}$ = 从状态 $j$ 跳到状态 $i$ 的概率，即列 = 当前状态，行 = 下一步目标状态。逐列填入：

• 第 1 列（当前在 B）：B→B = 0.7，B→P = 0.3
• 第 2 列（当前在 P）：P→B = 0.4，P→P = 0.6

验证：每列和为 1（从任一当前状态出发，下一步总概率 = 1）。一步演化：$\mathbf{v}_{t+1} = M\mathbf{v}_t$，$k$ 步后 $\mathbf{v}_k = M^k \mathbf{v}_0$。

数值演化

从 $\mathbf{v}_0 = (1,\, 0)^\top$（100% 浏览）出发，每步左乘 $M$：

$\mathbf{v}_4 \approx \begin{pmatrix}0.575\\0.425\end{pmatrix}$，$\mathbf{v}_5 \approx \begin{pmatrix}0.572\\0.428\end{pmatrix}$，$\mathbf{v}_{10} \approx \begin{pmatrix}0.5714\\0.4286\end{pmatrix}$，$\mathbf{v}_{20} \approx \begin{pmatrix}0.5714\\0.4286\end{pmatrix}$——相邻两次迭代的差已小于 $10^{-3}$，继续迭代只是无限逼近稳态 $\boldsymbol{\pi}$。

稳态分布

迭代足够多次后，状态分布会稳定在一个固定值附近，不再变化。这个极限分布就叫稳态分布（Stationary Distribution）。

它是一个列向量 $\boldsymbol{\pi} = (\pi_1, \pi_2, \ldots, \pi_n)^\top$，每个分量表示系统长期处于对应状态的概率，满足 $\sum \pi_i = 1$。在本例中，$\boldsymbol{\pi} = (a, b)^\top$，$a$ 和 $b$ 分别是长期处于浏览和购买状态的概率。

稳态分布满足一个很自然的条件：再转移一步也不变，即

$M\boldsymbol{\pi} = \boldsymbol{\pi}$

求解：流入 = 流出

设 $\boldsymbol{\pi} = (a, b)^\top$，$a + b = 1$。系统稳定时，每个状态的「流入人数」必须等于「流出人数」：

• B → P 的比例：$0.3a$
• P → B 的比例：$0.4b$

两者相等：$0.3a = 0.4b$，结合 $a + b = 1$，解得

长期来看，约 57.1% 的用户处于浏览状态，42.9% 处于购买状态。

与特征值的关系

把 $M\boldsymbol{\pi} = \boldsymbol{\pi}$ 改写成 $M\boldsymbol{\pi} = 1 \cdot \boldsymbol{\pi}$，立刻看出：稳态分布就是矩阵 $M$ 对应特征值 $\lambda = 1$ 的特征向量。这正是对角化发挥作用的场景：若 $M = P\Lambda P^{-1}$，则 $M^k = P\Lambda^k P^{-1}$，计算 $M^k \mathbf{v}_0$ 只需对对角元各自取 $k$ 次方。

推广到一般马尔可夫链

上面是两状态的例子。一般地，任何满足以下条件的系统都可以用马尔可夫链描述：

1. 状态有限；
2. 下一步只取决于当前状态（无记忆）；
3. 转移概率不随时间变化。

核心公式不变：$\mathbf{v}_{t+1} = M\mathbf{v}_t$，$\mathbf{v}_k = M^k \mathbf{v}_0$。稳态分布的定义和求解方式也完全一样：解 $M\boldsymbol{\pi} = \boldsymbol{\pi}$，加上 $\sum \pi_i = 1$。

什么时候会收敛？ 如果任意状态之间最终都能互相到达、且不会陷入固定周期（称为遍历的 / ergodic），那么不管初始状态如何，长期都会收敛到唯一的稳态分布。

小结：稳态分布满足 $M\boldsymbol{\pi} = \boldsymbol{\pi}$，即 $M$ 在特征值 1 下的特征向量。概率论关心它代表什么，线性代数关心怎么算出来。

延伸阅读

• $\lambda = 1$ 为什么一定存在？转移矩阵每列和为 1，意味着 $M^\top$ 每行和为 1，因此 $M^\top \cdot (1,1,\ldots)^\top = (1,1,\ldots)^\top$，即 $M^\top$ 有特征值 1。而 $M$ 与 $M^\top$ 特征值相同（$\det(M - \lambda I) = \det(M^\top - \lambda I)$），所以 $M$ 也一定有特征值 1。
• 为什么求出的 $\boldsymbol{\pi}$ 分量都是非负的（概率有意义）？这由 Perron–Frobenius 定理保证：非负矩阵的最大模特征值一定对应一个非负特征向量。转移矩阵 $M$ 的元素全部非负，$\lambda = 1$ 正是其最大模特征值，因此对应的特征向量各分量自然非负。
• 如何快速计算 $M^k$？若 $M$ 可对角化为 $M = P\Lambda P^{-1}$，则 $M^k = P\Lambda^k P^{-1}$——对角矩阵 $\Lambda$ 的 $k$ 次方只需对每个对角元各自求幂，计算量大幅降低。这正是第三节对角化的主要动机之一。

示例二：Leslie 矩阵（总量可变）

如果矩阵不再要求「列和为 1」，系统会怎样？答案是总量不再守恒——既可能增长，也可能衰减。生态学里的 Leslie 矩阵就是典型代表，它的骨架同样是 $\mathbf{N}_{k} = L^k \mathbf{N}_0$，但允许种群指数增长。

把种群按年龄分组，状态向量各分量是各组数量；矩阵编码「繁殖 + 存活率」，各列不要求和为 1，所以总量可增可减。约定同样是列 = 当前年龄组、行 = 下一期年龄组。

某鸟类分幼年与成年。规律：每只成年每期产 3 只幼崽；幼年 50% 存活升为成年；成年 80% 存活；幼年不繁殖。按约定填入（第 1 行/列 = 幼年，第 2 行/列 = 成年）：

数值演化

从 $\mathbf{N}_0 = (10,\, 20)^\top$ 出发，每步左乘 $L$：

继续迭代，观察总量、幼占比和增长率的变化：

两个量都在收敛：增长率在 1.69 附近振荡（振幅递减），幼占比趋近 64.1%。但与马尔可夫链不同，这里总量不守恒，种群在持续增长。

稳定增长状态

从上面的数值实验可以看到，增长率在 1.69 附近振荡收敛，幼占比趋近 64.1%。这说明系统进入了一种稳定增长状态：年龄结构比例固定，总量每代乘以同一个倍数。

这个状态满足：

$L\mathbf{v} = \lambda \mathbf{v}$

其中 $\lambda$ 是每代的增长倍数，$\mathbf{v}$ 是稳定的年龄结构比例。

与马尔可夫链的对比：稳态分布满足 $M\boldsymbol{\pi} = 1 \cdot \boldsymbol{\pi}$（转一步后分布不变）；这里满足 $L\mathbf{v} = \lambda \cdot \mathbf{v}$（转一步后比例不变，总量乘以 $\lambda$）。

求解：特征值与特征向量

求最大特征值：解特征方程 $\det(L - \lambda I) = 0$：

求根公式：

$\lambda = \frac{0.8 \pm \sqrt{0.64 + 6}}{2} = \frac{0.8 \pm \sqrt{6.64}}{2} \approx \begin{cases} 1.69 & (\lambda_{\max}) \\ -0.89 & (\lambda_2) \end{cases}$

$\lambda_{\max} \approx 1.69$，意味着每代总量乘以约 1.69（增长约 69%）。

求对应的特征向量（稳定年龄结构）：解 $(L - \lambda_{\max} I)\mathbf{v} = 0$，第一行给出：

$-\lambda_{\max} v_j + 3 v_a = 0 \implies \frac{v_j}{v_a} = \frac{3}{\lambda_{\max}} \approx \frac{3}{1.69} \approx 1.78$

归一化后：幼年占比 $\frac{v_j}{v_j + v_a} = \frac{3}{\lambda_{\max} + 3} \approx 64\%$，成年占比 $\approx 36\%$——与迭代数据的收敛方向一致。

与特征值的关系

$L\mathbf{v} = \lambda_{\max} \mathbf{v}$ 正是特征值定义。与马尔可夫链的对比：

• 马尔可夫链：$\lambda = 1$ → 总量不变，只关心分布
• Leslie 矩阵：$\lambda_{\max} > 1$ → 总量增长；$\lambda_{\max} < 1$ → 总量衰减；$\lambda_{\max} = 1$ → 总量不变

所以 $\lambda_{\max}$ 同时回答了两个问题：总量是否增长（看 $\lambda_{\max}$ 与 1 的关系）和结构是否稳定（对应特征向量给出比例）。

为什么增长率是振荡收敛的？ 注意 $\lambda_2 \approx -0.89$ 是负数。分解 $\mathbf{N}_k$ 时，$\lambda_2$ 对应的项逐代正负交替（$(-0.89)^k$），这就是增长率忽高忽低的原因。同时 $|\lambda_2| < \lambda_{\max}$，所以 $\lambda_2$ 项的贡献相对 $\lambda_{\max}$ 逐代衰减——振荡幅度越来越小，最终稳定在 $\lambda_{\max} \approx 1.69$。

推广到一般 Leslie 矩阵

上面是两年龄组的例子。一般地，任何按年龄分组、用「繁殖率 + 存活率」描述种群演化的系统都可以用 Leslie 矩阵描述。核心公式不变：

$\mathbf{N}_{k+1} = L\mathbf{N}_k,\qquad \mathbf{N}_k = L^k \mathbf{N}_0$

稳定增长状态的定义和求解方式也完全一样：解 $L\mathbf{v} = \lambda_{\max} \mathbf{v}$，其中 $\lambda_{\max}$ 是最大特征值，$\mathbf{v}$ 是对应的特征向量。

小结：马尔可夫链与 Leslie 矩阵共享 $\mathbf{v}_k = M^k \mathbf{v}_0$ 的骨架。区别在于：马尔可夫链列和为 1（总量守恒），收敛到稳态分布（$\lambda=1$ 的特征向量）；Leslie 矩阵列和无约束（总量可变），趋于固定增长率 $\lambda_{\max}$ 和稳定年龄结构。两者长期行为都由主特征值及其特征向量决定——这正是 Perron–Frobenius 定理的核心结论。

延伸阅读

• $\lambda_{\max}$ 为什么一定存在且为正实数？Leslie 矩阵是非负矩阵，Perron–Frobenius 定理保证其最大模特征值为正实数，且对应非负特征向量——这意味着稳定年龄结构中各年龄组的数量都是非负的。
• 为什么增长率会振荡收敛而非单调收敛？因为次大特征值 $\lambda_2$ 为负数，对应项正负交替贡献；若 $|\lambda_2| < \lambda_{\max}$，振荡幅度逐代衰减。马尔可夫链的 $\lambda_2$ 为正数，所以是单调收敛。
• 如何快速计算 $L^k$？与马尔可夫链一样，若 $L$ 可对角化为 $L = P\Lambda P^{-1}$，则 $L^k = P\Lambda^k P^{-1}$，计算量大幅降低。

六、小结

下一节：特征值只适用于方阵。对任意形状的矩阵（比如用户×商品评分表），有一个更通用的神器——奇异值分解 SVD。

七、进阶：幂迭代（计算机怎么求主特征向量）

高维矩阵无法手解特征方程，实际用 幂迭代（Power Iteration）：随便取一个向量，反复乘矩阵并归一化，它会收敛到最大特征值对应的特征向量。

$\mathbf{x}_{k+1}=\dfrac{\mathbf{A}\mathbf{x}_k}{\|\mathbf{A}\mathbf{x}_k\|}$

道理：把初始向量按特征向量展开，每乘一次 $\mathbf{A}$，各分量被各自特征值放大，最大的那个越来越占主导，最终「碾压」其余方向。PageRank 就是对网页转移矩阵做幂迭代。

八、谱与迹、行列式的关系

全体特征值的集合叫谱（Spectrum）。两个好用的速查恒等式：

$\text{tr}(\mathbf{A})=\sum_i\lambda_i\quad(\text{迹=特征值之和}),\qquad \det(\mathbf{A})=\prod_i\lambda_i\;(\text{行列式=特征值之积})$

所以只要有一个特征值为 0，行列式就为 0，矩阵不可逆——和第 3 节完全自洽。

九、数字例题（步步算）

求 $\mathbf{A}=\begin{bmatrix}2&1\\1&2\end{bmatrix}$ 的特征值与特征向量。

特征方程：$\det(\mathbf{A}-\lambda\mathbf{I})=(2-\lambda)^2-1=0\Rightarrow\lambda^2-4\lambda+3=0\Rightarrow\lambda_1=3,\lambda_2=1$。

• $\lambda_1=3$：解 $(\mathbf{A}-3\mathbf{I})\mathbf{v}=0$ 得 $\mathbf{v}_1=\begin{bmatrix}1\\1\end{bmatrix}$。
• $\lambda_2=1$：解得 $\mathbf{v}_2=\begin{bmatrix}1\\-1\end{bmatrix}$。

验证：迹 $=2+2=4=3+1$✓，行列式 $=4-1=3=3\times1$✓。两特征向量正交（对称矩阵的必然结果）。

十、NumPy 代码

import numpy as np

A = np.array([[2.0, 1.0], [1.0, 2.0]])
vals, vecs = np.linalg.eig(A)
print("特征值 =", vals)            # [3. 1.]
print("特征向量(列)=\n", vecs)

# 幂迭代求主特征向量
x = np.random.randn(2)
for _ in range(50):
    x = A @ x
    x = x / np.linalg.norm(x)
print("幂迭代结果 =", x, " 主特征值 ≈", x @ A @ x)

# PCA：对协方差矩阵做特征分解
X = np.random.randn(200, 5)
X -= X.mean(0)
cov = np.cov(X, rowvar=False)
ev, _ = np.linalg.eigh(cov)
print("各主成分方差(降序) =", np.sort(ev)[::-1])

十一、动手算一算

1. 求 $\begin{bmatrix}3&0\\0&-2\end{bmatrix}$ 的特征值（不用算，直接看）。
2. 一个马尔可夫转移矩阵的最大特征值是多少？对应特征向量是什么含义？
3. 若某层权重反复相乘后特征值模长都 <1，前向/反向传播会发生什么？

答案：(1) 对角矩阵特征值就是对角元 3 和 -2。(2) 最大特征值为 1，对应特征向量（归一化后）是稳态分布，即长期访问概率。(3) 信号/梯度逐层衰减→梯度消失，深层难以训练；这也是要用残差连接、归一化的原因。