矩阵分析速通
数学 线性代数 矩阵第一章 - 线性空间
- 线性空间八条性质
- 线性空间的子空间
- 线性空间的基、坐标
- 维数公式
- 直和
- 线性变换,特征值,特征向量
- 相似矩阵: 存在可逆矩阵
使得 - Jordan 标准形:对任意
存在可逆矩阵 使得 ,其中 为 Jordan 标准形
酉空间
- 酉空间,内积四条性质:正定,共轭对称,齐次,可加
- 列空间垂直
- 正交补的存在性、唯一性
- 投影变换:
线性变换 使得 , 又称为幂等变换 - 正交投影:
, 满足 是正交投影 - 初等矩阵
- 特征谱
时可逆
- 特征谱
- Householder 矩阵 (初等酉阵)
是镜像变换, , 是关于垂直于 的超平面的镜像变换
- 酉变换、酉矩阵是正交变换、正交矩阵在复数域的推广
- 酉矩阵的特征值模长为
- 酉矩阵的乘积是酉矩阵
Kronecker 积
- 单位矩阵之间的 Kronecker 积是单位矩阵
- 标量积、对加法分配律、结合律
- 转置,共轭
- 混合积
前行后列展开定义证明 - 逆
- 迹、秩
- 行列式
用 Jordan 标准型和混合积证明 - 保持转置、Hermite、酉矩阵
- 乘积的乘方
- 特征值
对应的特征向量做 Kronecker 积 - Kronecker 和
的特征值是 和 的特征值之和,对应的特征向量是 和 的特征向量的 Kronecker 积 - 向量化算子 (Flatten in Fortran order),
第二章 - 范数
向量范数
- 向量范数定义:正定性、齐次性、三角不等式
- 常用向量范数
- 1-范数:各分量模长之和
- 2-范数:模长
-范数:最大分量模长
- 1-范数:各分量模长之和
- Cauchy 不等式
非负 , , Holder 不等式 Holder 范数- 矩阵
列满秩,则 是 上的向量范数 - 任意向量范数
关于 连续 - 定理 任意向量范数等价,
- 定理 向量序列收敛等价于范数收敛
矩阵范数
- 从向量范数推广的矩阵范数
- 正定性、齐次性、三角不等式
- 1-范数
, 2-范数 , -范数 - 等价性
- 相容性 对矩阵乘法保持三角关系
自相容 和 相容,展开矩阵乘用三角不等式、Cauchy 不等式证明 不相容,修正为 是相容的
- Frobenius 范数
- 酉矩阵
不改变 Frobenius 范数
算子范数
- 矩阵范数与向量范数的相容性
- 显然
与 相容, 与 相容, 与 相容 - 算子范数 对于任意向量范数构造与之相容的矩阵范数
- 算子范数是与向量范数相容的矩阵范数中最小的
- 算子范数是自相容的矩阵范数
- 定理 对于相容的矩阵范数存在向量范数
与矩阵范数相容 - 定理 相容的矩阵范数不小于特征值
- 极大列和范数 从属于
的算子范数 - 极大行和范数 从属于
的算子范数 - 谱半径
谱范数 从属于 的算子范数- 转置、Hermite、共轭不改变谱范数
- 酉矩阵不改变谱范数
- 常用矩阵范数的等价性
- 广义算子范数
矩阵范数的相容性
第三章 - 矩阵分解
三角分解
- 行满秩、列满秩
- 行单位向量正交阵
, 列单位向量正交阵 - 上三角阵、单位上三角阵、下三角阵、单位下三角阵
- 三角阵、酉矩阵具有逆运算、乘积运算的结构不变性
- UR 分解 满秩复矩阵
可唯一分解成酉矩阵 和正线上三角复矩阵 或正线下三角复矩阵 的乘积 UR 分解可对 的列向量做 Gram-Schmidt 正交化 的列向量是 的元素
- QR 分解 满秩实矩阵
可唯一分解成正交矩阵 和正线上三角实矩阵 或正线下三角实矩阵 的乘积 - 实对称正定矩阵
可唯一分解成正线上三角实矩阵 - 正定 Hermite 矩阵
可唯一分解成正线上三角复矩阵 - LDR 分解 以下条件等价
主子式非零 可唯一分解成 可唯一分解成 可唯一分解成
- 非方阵的 UR 分解
- 非满秩的分解
谱分解
- 代数重数:特征值
在特征多项式中出现的次数 - 几何重数:特征值
对应的特征空间 - 几何重数小于等于代数重数
- 单纯矩阵 所有特征值的代数重数等于几何重数
- 相似对角化 单纯矩阵可相似对角化
- 单纯矩阵可分解成一系列幂等矩阵
的加权和 满足- 幂等性
- 分离性
- 可加性
- 幂等性
- 定理 复方阵
是单纯矩阵 可分解成满足上述性质的 个幂等矩阵的加权和, 是不同特征值的数量 - 正规矩阵
- 与正规矩阵酉相似的矩阵是正规矩阵
- Schur 分解
, 是上三角矩阵, 是酉矩阵 是三角矩阵, 是正规矩阵 是对角矩阵 是正规矩阵 可分解成 ,其中 是酉矩阵, 是对角矩阵 是正规矩阵 可分解成 个矩阵的加权和
Hermitian 矩阵
- Hermitian 矩阵
- 特征值都是实数
- 属于不同特征值的特征向量正交
可分解成 ,其中 是酉矩阵, 是对角矩阵- 正惯性指数
是正特征值的个数,负惯性指数 是负特征值的个数 其中 是可逆矩阵
- 正定 Hermitian 矩阵
- 对角线元素大于零
- 特征值大于零
- 顺序主子式大于零
- 存在正定矩阵
使得 - Cholesky 分解 存在正线下三角矩阵
- Hadamard 不等式
- 存在可逆矩阵
使得 其中 是对角矩阵,或者
最大秩分解
![通过行初等变换求最大秩分解](https://cdn.duanyll.com/img/20240610213312.png)
奇异值分解
和 特征值均为非负实数且相同
的特征值 是 的奇异值的平方- 酉等价
的矩阵有相同的正奇异值 有 个正奇异值,存在酉矩阵 使得 其中 是 个正奇异值的对角矩阵. 求 SVD 的方法- 求
的特征值 和特征向量组成 - 求
的特征向量组成 是 组成的对角矩阵
- 求
存在酉矩阵和半正定 Hermite 矩阵 满秩时分解是唯一的
第四章 - 特征值
- Schur 不等式 特征值与 F 范数的关系,设
的特征值为 ,则 当且仅当正规矩阵时取等 - Hirsch 定理 特征值实部虚部的上界
- Bendixson 定理 特征值虚部的上界
- 记
的特征值为 , 的特征值为 - Browne 定理 奇异值
满足 - Hadamard 不等式
的列向量 , 当且仅当 某一列为零或列向量彼此正交时取等
圆盘定理
- 行盖尔圆盘
列盖尔圆盘 - 定理
的特征值 在行盖尔圆盘 内 - 定理
个圆盘构成的联通区域(不与其他 个圆盘相交)包含 个特征值 - 关于列盖尔圆盘的推论
- 关于行列对角占优的推论
Hermite 矩阵特征值的变分特征
- Rayleigh 商
Hermite 矩阵 分解为 , , , , ,- Rayleigh-Ritz 定理
- Courant-Fischer 定理
为给定正整数 - Weyl 定理
为 Hermite 矩阵 关于和的特征值的放缩
第五章 - 矩阵函数
- 矩阵序列极限
- 收敛矩阵
- Neumann 级数
- 常用级数
- 矩阵函数的求法:Jordan 分解
第六章 - 广义逆
- 列满秩
左可逆 - 行满秩
右可逆 - 初等变换求左逆
- 初等变换求右逆
- 广义逆
的广义逆 满足 - 广义逆保持转置、Hermite
和 幂等且- 自反广义逆
- 自反广义逆
- Moore-Penrose 广义逆
- 最大秩分解求 MP 广义逆
- SVD 求 MP 广义逆
- 线性方程组
有解, 是最小范数解,通解 无解, 是最佳逼近解,最小二乘解通解
![MP 广义逆性质 1](https://cdn.duanyll.com/img/20240611153410.png)
![MP 广义逆性质 2](https://cdn.duanyll.com/img/20240611153424.png)