Skip to content

Commit 43aaa2c

Browse files
committed
update
1 parent aa99208 commit 43aaa2c

File tree

4 files changed

+641
-0
lines changed

4 files changed

+641
-0
lines changed

线性代数/矩阵/QR分解.md

Lines changed: 53 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -8,3 +8,56 @@ author:
88
name: QR分解
99
---
1010

11+
# QR Decomposition
12+
13+
## 1. 定理
14+
15+
>[!info] Theorem 1.1 QR Decomposition
16+
17+
如果 $A\in\mathbb{R}^{m\times n}$,则存在一个正交矩阵 $Q\in\mathbb{R}^{m\times m}$ 和一个上三角矩阵 $R\in\mathbb{R}^{m\times n}$ 使得 $A = QR$。
18+
19+
***证明***
20+
21+
对于 $n=1$,设 $Q$ 是相对于 $A \in \mathbb{R}^{m\times 1}$ 的 Householder 矩阵:
22+
23+
$$
24+
v = A \pm \|A\|_2e_1, Q = I - \frac{2vv^{\top}}{v^{\top}v}
25+
$$
26+
27+
并注意到 $Q^{\top} = Q$,那么 $R = Q^{\top}A$ 且 $R(2:m)=0$。
28+
29+
对于一般的 $n$,设 $A = [A_1|u]$ 其中 $u = A(:,n)$ 且 $A_1\in\mathbb{R}^{m\times(n-1)}$。
30+
31+
通过归纳,存在一个正交矩阵 $Q_1\in\mathbb{R}^{m\times m}$ 使得 $R_1 = Q_1^{\top}A_1$ 是上三角的,这意味着如果 $R_1 = \begin{bmatrix}R_{11}\\R_{12}\end{bmatrix}$ 其中 $R_{11}\in\mathbb{R}^{m\times m}$,那么 $R_{12}=0$。
32+
33+
设 $w = Q_1^{\top}u$,即 $u = Q_1 w$。
34+
35+
设 $u(n:m) = Q_2R_2$ 是 $u(n:m)$ 的 QR 分解。
36+
37+
如果 $Q := Q_1\begin{bmatrix}I_{n-1}& 0\\ 0& Q_2\end{bmatrix}$,$R := \begin{bmatrix}R_{11}& w(1:n-1)\\ R_{12}&R_2 \end{bmatrix}$,那么 $Q$ 是正交的,$R$ 是上三角的,且
38+
39+
$$
40+
\begin{aligned}
41+
QR &= Q_1 \begin{bmatrix}I_{n-1}& 0\\ 0& Q_2\end{bmatrix}\begin{bmatrix}R_{11}& w(1:n-1)\\ R_{12}&R_2 \end{bmatrix}\\
42+
&= Q_1 \begin{bmatrix}R_{11}& w(1:n-1)\\ 0 & Q_2R_2=w(n:m) \end{bmatrix}\\
43+
&= [A_1|u]= A,
44+
\end{aligned}
45+
$$
46+
47+
这完成了证明。 $\blacksquare$
48+
49+
>[!info] Theorem 1.2 Thin QR Decomposition
50+
51+
如果 $A\in\mathbb{R}^{m\times n}$ 具有完全列秩,那么存在唯一的 QR 分解
52+
53+
$$
54+
A = Q_1 R_1
55+
$$
56+
57+
其中 $Q\in\mathbb{R}^{m\times m}$ 具有正交列,$R\in\mathbb{R}^{m\times n}$ 是上三角的,且对角线元素为正。
58+
59+
## 2. Computing QR Decomposition
60+
61+
### 2.1 Householder QR
62+
63+
### 2.2 Gram-Schmidt QR

线性代数/矩阵/Schur分解.md

Lines changed: 164 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -8,3 +8,167 @@ author:
88
name: Schur分解
99
---
1010

11+
# Schur 分解
12+
13+
## 1. 定理
14+
15+
>[!info] Lemma 1.1
16+
17+
设$T\in\mathbb{C}^{n\times n}$ 被划分如下,
18+
19+
$$
20+
T = \begin{bmatrix}
21+
T_{11}&T_{12}\\0&T_{22}
22+
\end{bmatrix},
23+
$$
24+
25+
则$\lambda(T) = \lambda(T_{11})\cup \lambda(T_{22})$,其中 $\lambda(\cdot)$ 是指谱集,即特征值的集合。
26+
27+
***证明***
28+
29+
假设存在 $x \neq 0$ 使得$Tx = \begin{bmatrix}T_{11}&T_{12}\\0&T_{22} \end{bmatrix}\begin{bmatrix}x_1\\x_2 \end{bmatrix} = \lambda \begin{bmatrix}x_1\\x_2\end{bmatrix}$。
30+
31+
- 如果$x_2\neq 0$,则$T_{22}x_2 = \lambda x_2$,这意味着$\lambda\in\lambda(T_{22})$。
32+
- 如果$x_2 = 0$,则$T_{11}x_1 = \lambda x_1$,这意味着$\lambda\in\lambda(T_{11})$。
33+
34+
因此$\lambda(T) \subset \lambda(T_{11})\cup \lambda(T_{22})$。$\lambda(T_{11}) \cup \lambda(T_{22}) \subset \lambda(T)$ 是显然的,则$\lambda(T) = \lambda(T_{11})\cup \lambda(T_{22})$。 $\blacksquare$
35+
36+
>[!info] Lemma 1.2
37+
38+
设 $A\in\mathbb{C}^{n\times n}$,$B\in\mathbb{C}^{p\times p}$ 和 $X\in\mathbb{C}^{n\times p}$ 且 $\text{rank}(X)=p$ 满足
39+
40+
$$
41+
AX = XB,
42+
$$
43+
44+
则存在一个酉矩阵 $U\in\mathbb{C}^{n\times n}$ 使得
45+
46+
$$
47+
U^H A U = T = \begin{bmatrix}T_{11}&T_{12}\\ 0&T_{22} \end{bmatrix}
48+
$$
49+
50+
其中 $T_{11}\in\mathbb{C}^{p\times p}$ 和 $T_{22}\in\mathbb{C}^{(n-p)\times (n-p)}$,且 $\lambda(T_{11}) = \lambda(A) \cap \lambda(B)$。
51+
52+
***证明***
53+
54+
设 $X = U\begin{bmatrix}R_1 \\0 \end{bmatrix}, U\in\mathbb{C}^{n\times n}, R_1\in\mathbb{C}^{p\times p}$ 是非奇异的。
55+
56+
57+
58+
$$
59+
\begin{aligned}
60+
&AU\begin{bmatrix}
61+
R_1\\0
62+
\end{bmatrix} = U\begin{bmatrix}
63+
R_1\\0
64+
\end{bmatrix}B,\\
65+
\Longrightarrow & \begin{bmatrix}
66+
T_{11}&T_{12}\\T_{21}&T_{22}
67+
\end{bmatrix}\begin{bmatrix}
68+
R_1\\0
69+
\end{bmatrix} = \begin{bmatrix}
70+
R_1 B\\0
71+
\end{bmatrix},
72+
\end{aligned}
73+
$$
74+
75+
其中 $T:= \begin{bmatrix}T_{11}&T_{12}\\T_{21}&T_{22}\end{bmatrix} = U^H A U$。
76+
77+
由于 $R_1$ 是非奇异的且 $T_{21}R_1 = 0$,则 $T_{21}=0$。
78+
79+
由于 $T_{11}R_1 = R_1 B$ 且 $R_1$ 是非奇异的,则 $\lambda(T_{11}) = \lambda(B)$。又因为 $A = UTU^H$ 且$T_{21}=0$,则 $\lambda(A) = \lambda(T) = \lambda(T_{11})\cup\lambda(T_{22})$,这意味着 $\lambda(A)\cap \lambda(B) = \lambda(T_{11})$。 $\blacksquare$
80+
81+
>[!info] Theorem 1.3
82+
83+
**(Schur 分解)** 如果 $A \in \mathbb{C}^{n\times n}$,则存在一个酉矩阵 $Q\in\mathbb{C}^{n\times n}$ 使得 $Q^HAQ = T := D+N$,其中 $D = \text{diag}(\lambda_1,\cdots, \lambda_n)$ 且 $N$ 是严格上三角的。
84+
85+
***证明***
86+
87+
当$n=1$ 时,结论自然成立。
88+
89+
假设对于所有 $n-1$ 阶矩阵结论成立。如果 $Ax = \lambda x$ 且 $x\neq 0$,由 Lemma 1.2(令 $\lambda$ 为 Lemma 1.2 中的 $B\in\mathbb{C}^{1\times 1}$ ),则存在一个酉矩阵 $U$ 使得
90+
91+
$$
92+
U^H A U = \begin{bmatrix}
93+
\lambda& w^H\\ 0 & C
94+
\end{bmatrix}.
95+
$$
96+
97+
通过归纳,存在一个酉矩阵 $\tilde{U}$ 使得 $\tilde{U}^H C \tilde{U}$ 是上三角的。
98+
99+
因此,令 $Q = U\cdot\text{diag}(1, \tilde{U})$,则 $Q^HAQ$ 是上三角的。 $\blacksquare$
100+
101+
---
102+
103+
如果 $Q = [q_1, \cdots, q_n]$,则 $q_i$ 被称为 *Schur 向量*。由 $AQ = QT$,我们有
104+
105+
$$
106+
Aq_k = \lambda_k q_k + \sum_{i=1}^{k-1}n_{ik}q_i,\quad k=1:n.
107+
$$
108+
109+
由此,我们可以得出子空间
110+
111+
$$
112+
S_k = \text{span}\{q_1, \cdots, q_k \}, \quad k=1:n
113+
$$
114+
115+
对于 $A$ 是不变的(即 $\forall x\in S_k, Ax\in S_k$)。此外,如果 $Q_k = [q_1, \cdots, q_k]$,则 $\lambda(Q_k^H AQ_k) = \{\lambda_1, \cdots, \lambda_k\}$。
116+
117+
## 2. 应用
118+
119+
### 正规矩阵
120+
121+
>[!info] Definition
122+
123+
如果$A^HA = AA^H$,则$A$ 是正规的。
124+
125+
>[!info] Theorem 1.4
126+
127+
$A \in\mathbb{C}^{n\times n}$ 是正规的$\Longleftrightarrow$ 存在一个酉矩阵 $Q\in\mathbb{C}^{n\times n}$ 使得 $Q^H A Q = \text{diag}(\lambda_1, \cdots, \lambda_n)$。
128+
129+
***证明***
130+
131+
$\Longleftarrow$:
132+
133+
设 $D = \text{diag}(\lambda_1 ,\cdots, \lambda_n)$,则 $A^HA = Q D^H Q^H Q D Q^H = Q D^H D Q^H$ 且 $AA^H = Q D D^H Q^H$。由于 $D^H D = D D^H$,则 $A^HA = AA^H$。
134+
135+
$\Longrightarrow$:
136+
137+
如果$A$ 是正规的,设 $T = Q^H A Q$,其中 $Q$ 是 *Schur 分解*中的酉矩阵,则 $T^H T = T T^H$,这意味着 $T$ 是正规的。
138+
139+
由于 $T$ 是上三角的,我们有
140+
141+
$$
142+
\begin{bmatrix}
143+
\overline{t_{11}}& &\\
144+
\vdots& \ddots&\\
145+
\overline{t_{1n}}& \cdots& \overline{t_{nn}}
146+
\end{bmatrix}\begin{bmatrix}
147+
{t_{11}}& \cdots &t_{1n} \\
148+
& \ddots& \vdots\\
149+
& & {t_{nn}}
150+
\end{bmatrix} = \begin{bmatrix}
151+
{t_{11}}& \cdots &t_{1n} \\
152+
& \ddots& \vdots\\
153+
& & {t_{nn}}
154+
\end{bmatrix}\begin{bmatrix}
155+
\overline{t_{11}}& &\\
156+
\vdots& \ddots&\\
157+
\overline{t_{1n}}
158+
& \cdots& \overline{t_{nn}}
159+
\end{bmatrix}
160+
$$
161+
162+
对于 (1,1) 位置,我们有
163+
164+
$$
165+
\text{LHS} = |t_{11}|^2 = \sum_{k=1}^{n} |t_{1k}|^2 = \text{RHS},
166+
$$
167+
168+
这意味着 $t_{1k} = 0,\; k=2:n$,然后对于 (2,2) 位置,我们有
169+
170+
$$
171+
\text{LHS} = |t_{12}|^2 + |t_{22}|^2 = |t_{22}|^2 = \sum_{k=2}^{n}|t_{2k}|^2 = \text{RHS},
172+
$$
173+
174+
这意味着 $t_{2k}=0,\; k=3:n$。如上所述,最终我们可以得出 $T = \text{diag}(t_{11}, \cdots, t_{nn})$。 $\blacksquare$

线性代数/矩阵/矩阵扰动.md

Lines changed: 122 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -8,3 +8,125 @@ author:
88
name: 矩阵扰动
99
---
1010

11+
# Perturbations
12+
13+
## 1. 定理
14+
15+
>[!info] Lemma 1.1
16+
17+
如果 $F \in \mathbb{R}^{n\times n}$ 且 $\|F\|_p < 1$,则 $I-F$ 是非奇异的,且
18+
19+
$$
20+
(I-F)^{-1} = \sum_{k=0}^{\infty}F^k
21+
$$
22+
23+
同时
24+
25+
$$
26+
\|(I-F)^{-1}\|_p \leq \frac{1}{1-\|F\|_p}.
27+
$$
28+
29+
***证明***
30+
31+
假设 $I-F$ 是奇异的。这意味着存在某个非零向量 $x$ 使得 $(I-F)x = 0$。但这样 $\|x\|_p = \|Fx\|_p \leq \|F\|_p \|x\|_p$ 意味着 $\|F\|_p \geq 1$,这与假设矛盾。因此,$I-F$ 是非奇异的。
32+
33+
为了得到其逆的表达式,考虑恒等式
34+
35+
$$
36+
\left(\sum_{k=0}^N F^k\right)(I-F)=I - F^{N+1}.
37+
$$
38+
39+
由于 $\|F\|_p < 1$,可以得出 $\lim\limits_{k\rightarrow \infty}F^k = 0$ (因为 $\|F^k\|_p \leq \|F\|_p^k$)。因此,
40+
41+
$$
42+
\left(\lim_{N\rightarrow \infty}\sum_{k=0}^{N}F^k \right)(I-F) = I,
43+
$$
44+
45+
这意味着 $(I-F)^{-1} = \sum_{k=0}^{\infty}F^k$。由此可以很容易地证明
46+
47+
$$
48+
\|(I-F)^{-1}\|_p \leq \sum_{k=0}^{\infty}\|F\|_p^k = \frac{1}{1 - \|F\|_p},
49+
$$
50+
51+
完成了证明.$\blacksquare$
52+
53+
54+
>[!info] Lemma 1.1 的推论
55+
56+
若 $I + F$ 或 $I - F$ 奇异,则 $\|F\|_p \geq 1$.
57+
58+
>[!info] Lemma 1.2
59+
60+
如果 $A$ 是非奇异的且 $r\triangleq \|A^{-1}E\|_p < 1$,则 $A + E$ 是非奇异的且
61+
62+
$$
63+
\|(A+E)^{-1} - A^{-1} \|_p \leq \frac{\|E\|_p \|A^{-1}\|_p^2 }{1-r}.
64+
$$
65+
66+
***证明***
67+
68+
注意到 $A + E = (I + EA^{-1})A$ 且 $\|EA^{-1}\|_p < 1$,则由 **Lemma 1.1**,我们有 $I + EA^{-1}$ 是非奇异的且 $\|(I + EA^{-1})^{-1}\|_p \leq \frac{1}{1-r}$。
69+
70+
因此 $A+E$ 是非奇异的且
71+
72+
$$
73+
\begin{aligned}
74+
\|(A+E)^{-1} - A^{-1} \|_p &= \| A^{-1}\left(A - (A+E) \right) (A+E)^{-1}\|_p \\
75+
&= \|-A^{-1}EA^{-1}(I+EA^{-1})\|_p \\
76+
&\leq \frac{\|E\|_p \|A^{-1}\|_p^2 }{1-r}.
77+
\end{aligned}
78+
$$
79+
80+
$\blacksquare$
81+
82+
## 2. 应用
83+
84+
### 2.1 Gershgorin 圆盘定理
85+
86+
如果 $X^{-1}AX = D + F$,其中 $D = \text{diag}(d_1, \cdots, d_n)$ 且 $F$ 对角线元素均为0,则
87+
88+
$$
89+
\lambda(A)\subset \bigcup_{i=1}^{n}D_i,
90+
$$
91+
92+
其中 $D_i = \{z\in\mathbb{C}: |z - d_i|\leq \sum_{j=1}^n|f_{ij}| \}$。
93+
94+
***证明***
95+
96+
假设 $\lambda\in\lambda(A)$ 并假设不失一般性地 $\lambda \neq d_i$ 对于 $i=1:n$(因为 $d_i \in \cup_{i=1}^n D_i$ 是显而易见的)。
97+
98+
由于 $(D-\lambda I) + F = X^{-1}(A-\lambda I)X$ 是奇异的且 $D-\lambda I$ 是非奇异的,则 $I + (D-\lambda I)^{-1}F = (D-\lambda I)^{-1}(D-\lambda I + F)$ 是奇异的。
99+
100+
然后由 **Lemma 1.1 的推论**,我们有
101+
102+
$$
103+
1 \leq \|(D-\lambda I)^{-1}F\| = \sum_{j=1}^n \frac{f_{kj}}{|d_k -\lambda|},
104+
$$
105+
106+
这完成了证明.$\blacksquare$
107+
108+
### 2.2 Bauer-Fike 定理
109+
110+
如果 $\mu$ 是 $A+E \in\mathbb{C}^{n\times n}$ 的特征值且 $X^{-1}AX = D = \text{diag}(\lambda_1, \cdots, \lambda_n)$,则
111+
112+
$$
113+
\mathop{\min}\limits_{\lambda \in \lambda(A)} |\lambda - \mu| \leq \kappa_p(X)\|E\|_p, \quad 1\leq p \leq +\infty.
114+
$$
115+
116+
***证明***
117+
118+
如果 $\mu\in\lambda(A)$,则定理显然是正确的。
119+
120+
不失一般性,假设 $\mu\notin\lambda(A)$。由于 $A + E -\mu I = X(D+X^{-1}EX - \mu I )X^{-1}$ 是奇异的且 $D-\mu I$ 是非奇异的,则 $I+(D-\mu I)^{-1}(X^{-1}EX) = (D-\mu I)^{-1}(D-\mu I + X^{-1}EX)$ 是奇异的。
121+
122+
然后由 **Lemma 1.1 的推论**,我们有
123+
124+
$$
125+
\begin{aligned}
126+
1 &\leq \|(D-\mu I)^{-1}(X^{-1}EX)\|_p\\
127+
&\leq \|(D-\mu I)^{-1}\|_p\cdot \kappa_p(X)\|E\|_p\\
128+
&= \frac{\kappa_p(X)\|E\|_p}{\mathop{\min}\limits_{\lambda \in \lambda(A)} |\lambda - \mu|},
129+
\end{aligned}
130+
$$
131+
132+
这完成了证明.$\blacksquare$

0 commit comments

Comments
 (0)