4 · 内积、正交与投影
前面只用了加法和数乘。本节引入内积,让向量空间有了长度与角度,也是相似度、回归、压缩的基础。
本专栏共收录 10 篇文章
前面只用了加法和数乘。本节引入内积,让向量空间有了长度与角度,也是相似度、回归、压缩的基础。
矩阵把向量「变」过去了。本节问反方向:给定结果,能不能反推输入?变换能不能撤销?这统一了线性方程组、行列式、逆矩阵三件事。
把 LU、QR、Cholesky、特征分解、SVD 放在一起对比,遇到问题时能选对工具。
理论上成立的公式,在浮点数计算机上可能算出错得离谱的结果。本节讲为什么代码要这么写。
本节是整个线性代数的集大成。SVD 把特征值思想推广到任意矩阵,是降维、压缩、推荐背后的核心。
向量是 1 维、矩阵是 2 维。深度学习里的数据经常是 3 维、4 维甚至更高——这就是张量。
前面的线代都在实数上。区块链与密码学用的是有限域 F_p——运算规则一样,只是所有计算都在模 p 下进行。
线性代数中最有魔力的概念。探索一个变换中哪些方向只被拉伸而不被旋转,以及它如何决定马尔可夫链和复杂系统的演化。
现实世界的数据如何变成数学能处理的对象?从几何、代数到 embedding 直觉。
一个矩阵就是一个动作。从列视角看换基,从行视角看批量内积,揭示深度学习前向传播与游戏引擎变换的底层逻辑。