finish NLA

Author: 321Fontsize

线性代数/数值线性代数/单纯形法.md

@@ -0,0 +1,121 @@
+---
+tags:
+  - 数学
+dlink:
+  - "[[--数值线性代数--]]"
+author:
+  - Hu
+---
+
+# 单纯形法
+
+## 问题概述
+
+待求解的问题具有如下的一般形式：
+
+$$
+\begin{aligned}
+&\mathop{\min}\limits_{x \in \mathbb{R}^n} c^T x\\
+&\text{s.t. } Ax = b, \\
+&\quad \;\;\;x \geq 0.
+\end{aligned}
+$$
+
+## 单纯形算法
+
+给定任意基本指标集合 $\mathcal{B} \subset [n]$ 与非基本指标集合 $\mathcal{N} = [n] -  \mathcal{B}$.
+
+**Repeat**
+
+矩阵 $B$ 由系数矩阵 $A$ 中的部分列向量组成，这些列向量的下标即是指标集 $\mathcal{B}$，矩阵 $N$ 同理. 向量 $c_B$ 是由 $c$ 中的部分元素组成的列向量，$c_N$ 同理.
+
+计算 $x_B = B^{-1}b,\; x_N = \vec{0}$. 
+
+求解 $B^T \lambda = c_B$，计算 $s_N=c_N - N^T \lambda$.
+
+**if** $s_N \geq \vec{0}$
+
+   **stop;**(找到了最优解为 $x_B + x_N$ )
+
+**else**
+
+&emsp;&emsp; **choose** $q\in \mathcal{N}$ randomly **with** $s_q < 0$
+
+&emsp;&emsp; **Solve** $Bd = A_q$
+
+&emsp;&emsp; **if** $d \leq \vec{0}$
+
+&emsp;&emsp;&emsp;&emsp; **stop;**(问题无解)
+
+&emsp;&emsp; **else**
+
+&emsp;&emsp;&emsp;&emsp; **choose** $p = \mathop{\min}\limits_{i\;| \; d_i >0} \frac{(x_B)_i}{d_i}$ $\quad$ (Here, $p\in \mathcal{B}$!!!)
+
+&emsp;&emsp;&emsp;&emsp; **add** $q \rightarrow\mathcal{B}$ and **add** $p\rightarrow\mathcal{N}$.
+
+&emsp;&emsp; **end(if)**
+
+**end(if)**
+
+## Example
+
+$$
+\begin{aligned}
+&\min -5x_1 - x_2 \\
+\text{st.} \quad & x_1 + x_2 \leq 5 \\
+& 2x_1 + x_2 = 8 \\
+& x_1, x_2 \geq 0
+\end{aligned}
+$$
+
+(1) 增加非限制变量，使成为标准型
+(2) 利用单纯型法求解
+
+解：(1) 原问题可转化为
+
+$$
+\begin{aligned}
+\min &\quad c^T x \\
+\text{st.} \quad & A x = b, x \geq 0
+\end{aligned}
+$$
+
+其中
+
+$$
+\begin{aligned}
+&c = [-5, -1, 0, 0]^T, \quad x = [x_1, x_2, x_3, x_4]^T, \\
+&A = \begin{bmatrix} 1 & 1 & 1 & 0 \\ 2 & 1 & 0 & 1 \end{bmatrix}, \quad b = \begin{bmatrix} 5 \\ 8 \end{bmatrix}
+\end{aligned}
+$$
+
+(2) 采用单纯形法求解上述问题如下
+
+a. 初始时，选取$B = \{ 3, 4 \} \Rightarrow N = \{ 1, 2 \}$.
+
+$$
+\begin{aligned}
+&\Rightarrow x_B = [5, 8]^T, \; x_N = [0, 0]^T \\
+&\Rightarrow 初始可行解 x = [0, 0, 5, 8]^T, 且此时目标函数值为0
+\end{aligned}
+$$
+
+又有$\lambda = B^{-T} c_B = [0, 0]^T, \; S_N = c_N - N^T \lambda = [-5, -1]^T < 0$
+
+b. 选取 $q = 1\in\mathcal{N}$，此时 $A_1 = [1, 2]^T$，计算 $Bd = A_1$，得 $d = [1, 2]^T$。通过计算 $\frac{(x_B)_1}{d_1} = 5, \; \frac{(x_B)_2}{d_2} = 4$，则 $p = 4\in \mathcal{B}$。此时 $\mathcal{B} = \{1, 3\}, \; \mathcal{N} = \{2, 4\}.$ 对应矩阵 $B = \begin{bmatrix} 1 & 1 \\ 2 & 0 \end{bmatrix}, \; N = \begin{bmatrix} 1 & 0 \\ \frac{1}{2} & 1 \end{bmatrix}$，且$c_B = [-5, 0]^T, \; c_N = [-1, 0]^T$
+
+计算得
+
+$$
+\begin{aligned}
+& x_B = B^{-1} b = [4, 1]^T \; \Rightarrow x_N = [0, 0]^T \\
+& \lambda = B^{-T} c_B = [0, -\frac{5}{2}]^T \\
+& S_N = c_N - N^T \lambda = [\frac{1}{4}, \frac{5}{2}]^T \Rightarrow \text{stop}
+\end{aligned}
+$$
+
+此时目标函数值为
+
+$$
+c^T [4, 0, 1, 0] = -20.
+$$

线性代数/数值线性代数/敏度分析与误差分析.md

@@ -6,21 +6,35 @@ dlink:
 author:
   - Hu
 ---
+
 # Ch2 敏度分析与误差分析
+
 ## 2.1 范数
+
 ### 2.1.1 向量范数
+
 - 性质：正定性、齐次性（数乘）与三角不等式；
 - 经常被使用的是p-范数——p-范数的等价性
+
 ### 2.1.2 矩阵范数
+
 - 比向量范数多一个相容性；
+
 - 矩阵范数可以由向量范数诱导（大部分都是），但也有不是的（Frobenius范数（所有元素平方和开根））;
-	- $||\cdot||_1$：列绝值和范数，$||\cdot||_{\infty}$：行绝对值和范数
-	- $||\cdot||_2$：谱范数$= \sqrt{\lambda_{\max}(A^TA)}$
-- 与矩阵条件数相关的性质与定理有很多！
+  - $||\cdot||_1$：列绝值和范数，$||\cdot||_{\infty}$：行绝对值和范数
+  - $||\cdot||_2$：谱范数$= \sqrt{\lambda_{\max}(A^TA)}$
+
+- 与矩阵条件数相关的性质与定理有很多，有意思的！
+
 ## 2.2 条件数
+
 最常用的是矩阵条件数：$cond_A = ||A||\cdot||A^{-1}||$
+
 ## 2.3 敏度分析
+
 敏度分析是说在求解$Ax= b$时，对$A$或$b$有一定的扰动，$x$的变换可以如何表示？或者$x$的变换是可以被控制的吗？
+
 ## 2.4 精度估计
+
 - 相对误差与绝对误差的分析
 - 舍入误差分析

线性代数/数值线性代数/最小二乘问题.md

@@ -6,33 +6,51 @@ dlink:
 author:
   - Hu
 ---
+
 # Ch3 最小二乘问题(Least Square)
 ## 3.1 定义与解的性质
+
 - 定义：
-$$x^* = \mathop{\arg\min}_\limits{y\in \mathbb{R}^n} ||Ay - b||_2\\
-\Longrightarrow x^* \in \mathcal{X}_{LS}$$
+
+$$
+x^* = \mathop{\arg\min}_\limits{y\in \mathbb{R}^n} ||Ay - b||_2\\
+\Longrightarrow x^* \in \mathcal{X}_{LS}
+$$
+
 - 解的存在唯一性（以下假设$A \in \mathbb{R}^{m\times n}$）
-	- $A$的值域$\mathcal{R}(A) = \{y\in \mathbb{R}^m: y=Ax, x\in\mathbb{R}^n \}$；
-		> $\mathcal{R}(A) = span(a_1, a_2, \cdots, a_n), a_i$为$A$的列向量
-	- $A$的零空间$\mathcal{N}(A) = \{x\in \mathbb{R}^n: Ax=0\}$；
-	- $S \in \mathbb{R}^n$，其正交补$S^{\perp} = \{y\in\mathbb{R}^n:y^Tx=0, \forall x \in S \}$。
-	- LS问题的解总是存在的。解唯一 $\Longleftrightarrow$ $\mathcal{N}(A) = \{0\}$。
-- 最小二乘问题的求解：by正则化方程组/法方程组：将求解$x^*$转化为求解$A^TAx = A^Tb$.
+
+   - $A$的值域$\mathcal{R}(A) = \{y\in \mathbb{R}^m: y=Ax, x\in\mathbb{R}^n \}$；
+
+     > $\mathcal{R}(A) = span(a_1, a_2, \cdots, a_n), a_i$为$A$的列向量
+
+   - $A$的零空间$\mathcal{N}(A) = \{x\in \mathbb{R}^n: Ax=0\}$；
+
+   - $S \in \mathbb{R}^n$，其正交补$S^{\perp} = \{y\in\mathbb{R}^n:y^Tx=0, \forall x \in S \}$。
+
+   - LS问题的解总是存在的。解唯一 $\Longleftrightarrow$ $\mathcal{N}(A) = \{0\}$。
+
+- 求解by正则化方程组/法方程组：将求解$x^*$转化为求解$A^TAx = A^Tb$.
+
 ## 3.2 Householder变换
+
 1. 定义$H = I- 2ww^T$，其中$w \in \mathbb{R}^{n\times 1}, ||w||_2=1$
 2. $H$的性质：
-   1. 对称性：$H^T = H$;
-   2. 正交性：$H^TH=I$;
-   3. 反射性：$Hx$是$x$关于$w$的垂直超平面（$span\{w\}^{\perp}$）的镜像反射
+   1. 对称性：$H^T = H$;
+   2. 正交性：$H^TH=I$;
+   3. 反射性：$Hx$是$x$关于$w$的垂直超平面（$span\{w\}^{\perp}$）的镜像反射
 3. $H$具体形式的求解：
-   1. $v = x \pm ||x||_2e_1$;
-   2. $w = \frac{v}{||v||_2}$;
-   3. $H = I - 2ww^T = I - \frac{2vv^T}{v^Tv} = I - \beta vv^T, \beta=\frac{2}{v^Tv}$
+   1. $v = x \pm ||x||_2e_1$;
+   2. $w = \frac{v}{||v||_2}$;
+   3. $H = I - 2ww^T = I - \frac{2vv^T}{v^Tv} = I - \beta vv^T, \beta=\frac{2}{v^Tv}$
+
 ## 3.3 Givens变换
->[!tip]
->亦称为平面旋转变换，可以选择性地将一些元素化为0.
+
+> 亦称为平面旋转变换，可以选择性地将一些元素化为0.
+
 1. G原来是一个单位阵，但第i行第i列与第k列第k行进行了一些操作。$Gy$可以使$y$的某一个分量变为0——利用三角函数性质
+
 2. $G$具体形式的求解关键在于理解
+
 $$
 \begin{bmatrix}
 cos \;\; sin\\
@@ -47,15 +65,23 @@ r\\
 0
 \end{bmatrix}
 $$
+
 ## 3.4 正交变换法求解LS问题
+
 ### <a name='3.4.1'>3.4.1 QR分解定理</a>
+
 - 定理叙述：
-设$A \in \mathbb{R}^{m\times n}(m \geq n)$，则$A$有QR分解：
+
+   设$A \in \mathbb{R}^{m\times n}(m \geq n)$，则$A$有QR分解：
+
 $$
 A = Q\begin{bmatrix}R \\ 0\end{bmatrix},
 $$
-其中$Q \in \mathbb{R}^{m\times m}$为正交阵，$R\in \mathbb{R}^{n\times n}$是具有非负对角元的上三角矩阵。且当$m = n$与$A$可逆时，上述分解唯一。
+
+   其中$Q \in \mathbb{R}^{m\times m}$为正交阵，$R\in \mathbb{R}^{n\times n}$是具有非负对角元的上三角矩阵。且当$m = n$与$A$可逆时，上述分解唯一。
+
 - 求解LS问题：
+
 $$
 \begin{aligned}
 ||Ax-b||_2^2 =& ||Q^TAx - Q^Tb||_2^2\\
@@ -64,7 +90,11 @@ $$
 &= ||Rx - c_1||_2^2 + ||c_2||_2^2
 \end{aligned}
 $$
-则$x\in \mathcal{X}_{LS} \Longleftrightarrow Rx=c_1$。
+
+   则$x\in \mathcal{X}_{LS} \Longleftrightarrow Rx=c_1$。
+
 ### 3.4.2 利用Householder变换实现QR分解
+
 - Householder变换可以将一个列向量（无论几维）变换为第一个元素非零而其他元素均为0的列向量。
+
 - 有$H_r H_{r-1}\cdots H_2 H_1 A = \begin{bmatrix}R \\ 0\end{bmatrix}$，则$Q = H_1 H_2 \cdots H_{r-1}H_r$.

线性代数/数值线性代数/梯度法.md

@@ -6,7 +6,9 @@ dlink:
 author:
   - Hu
 ---
+
 # Ch5 梯度法
+
 ## 5.1 最优化问题
 
 定义二次泛函 $\phi(x) = x^TAx - 2b^Tx$，若 $A$ 对称正定，则求解 $Ax = b$ 的解等价于求解二次泛函 $\phi(x)$ 的极小值点。