finished upto section 2.

Author: govin08

_posts/2025-08-02-gauss_elimination.md

@@ -22,42 +22,45 @@ toc: true
 블로그 글을 시작해놓고 제대로 끝내지 않은 글들이 한가득이라, 이번 글은 좀 마무리하도록 해보자.
 하지만 별 이야기를 많이 쓰진 않을 것이다.
 
-가우스 소거법은 결국 일차연립방정식을 푼다는 것이고, 그건 선형대수 관점에서 보면 유클리드 공간의 subspace를 (더 정확하게는 affine space들의 교집합을) 구해나간다는 뜻이며, 당연히 subspace의 basis를 구하는 것이 중요한 문제가 된다.
+가우스 소거법은 결국 일차연립방정식을 푼다는 것이고, 그건 선형대수 관점에서 보면 affine space들의 교집합을 구해나간다는 뜻이며, 당연히 affine space의 basis를 구하는 것이 중요한 문제가 된다.
 그리고 가우스 소거법을 하고 나면 이 모든 것이 아주 systematic하게 구해진다.
 
 변수가 두 개이고 식이 두 개인 nontrivial한 연립방정식은 풀린다.
-subspace는 zero space가 되어 affine space들의 교집합은 one-point-set이 된다.
+affine space들의 교집합은 one-point-set이 된다.
 변수가 세 개이고 식이 세 개여도 마찬가지이다.
-변수가 세 개이고 식이 두 개이면 subspace는 일차원공간이 되며, affine space들의 교집합은 삼차원에서의 직선이 된다.
-변수가 네 개이고 식이 두 개이면 subspace는 이차원공간이 되며, affine space들의 교집합은 사차원에서의 평면이 된다.
+변수가 세 개이고 식이 두 개이면 affine space들의 교집합은 삼차원에서의 (일차원) 직선이 되고, 변수가 네 개이고 식이 두 개이면 affine space들의 교집합은 사차원에서의 이차원 평면이 된다.
 
 # 1. 아핀공간(affine space)
 
 가우스 소거법은 지극히 쉬운데 괜히 affine space라는 어려워보이는 용어를 도입하는 것이 적절할 지 모르겠다.
-하지만 그래도 연립방정식의 상황과 가우스소거법의 결과를 기하학적으로 묘사하는 데에는 아핀공간에 대한 이야기가 필요하지 않을까 한다.
+하지만 그래도 연립방정식의 상황과 가우스 소거법의 결과를 기하학적으로 묘사하는 데에는 아핀공간에 대한 이야기가 필요하지 않을까 한다.
 아핀공간의 정의는 컨텍스트마다 그 형태가 다를 수 있겠지만 여기서 필요한 건 다음과 같이 간단하다.
 
-벡터공간 $\mathbb R^n$ 위의 한 점 $v$와 부분공간(subspace) $W$에 대하여
+벡터공간 $\mathbb R^n$ 위의 벡터 $v$와 부분공간(subspace) $W$에 대하여
 
 $$v+W=\{a+w:w\in W\}$$
 
 를 아핀공간이라고 한다.
 
-예를 들어, 일차방정식 $ax+by+cz=d$ 나타내는 집합
+예를 들어, 일차방정식 $ax+by+cz=d$이 나타내는 집합
+
 $$A=\{(x,y,z):ax+by+cz=d\}$$
+
 는 아핀공간이다.
 왜냐하면 벡터 $n=(a,b,c)$에 대한 orthogonal complement
+
 $$n^\perp=\{(x,y,z):ax+by+cz=0\}$$
+
 는 $\mathbb R^3$의 부분공간인데 $v=(-\frac da,0,0)$로 두면 $A=v+n^\perp$이기 때문이다.
 
 다시 말해, 이차원 평면 상의 직선은 아핀공간이고 삼차원 공간 상의 직선과 평면도 아핀공간이다.
 한점집합(one-point-set)도 아핀공간이다.
 또한, 일차연립방정식의 해를 구한다는 것은 아핀공간들의 교집합을 구한다는 것이다.
-그런데 아핀 공간들의 교집합은 여전히 아핀공간이므로 (증명생략) 연립방정식의 해는 항상 아핀공간을 이루게 된다.
+그런데 아핀 공간들의 교집합은 여전히 아핀공간이므로 ([증명생략](https://math.stackexchange.com/q/297201)) 연립방정식의 해는 항상 아핀공간을 이루게 된다.
 
 # 2. 일차연립방정식
 
-## 2.1 변수 두 개이고 식이 두 개
+## 2.1 변수 2개, 식 2개
 
 중학교 2학년 과정에서는 이원일차연립방정식을 배운다.
 교과과정에는 가감법과 대입법이 소개되며 경우에 따라서는 등치법을 소개하기도 한다.
@@ -239,11 +242,11 @@ $x$를 소거하는 두번째 과정을 거치고 나서는 두번째 행의 두
 마지막으로 $y$를 소거하는 네번째 과정을 거치면 연립방정식의 해가 구해진다.
 
 위와 같은 과정이 가우스 소거법이다.
-즉 다음과 같은 과정을 거친다.
-- (1) 첫번째 행은 첫번째 계수를 1로 만든다.
-- (2) 두번째 행의 첫번째 계수를 0으로 만든다.
-- $n\gt1$인 $n$에 대하여 (3), (4)를 반복한다.
-- (3) $n$번째 행이 $n-1$번째 계수까지 0이라면, $n$번째 행의 $n$번째 계수를 1로 만든다.
+일반적으로 다음과 같은 과정을 거친다.
+- (1) 첫번째 행의 첫번째 열 값을 1로 만든다.
+- (2) 첫번째를 제외한 모든 행의 첫번째 열 값을 0으로 만든다.
+- $n\gt1$인 $n$에 대하여 $n$번째 행의 $n-1$번째까지의 열 값이 모두 0이면 다음의 (3), (4)를 반복한다.
+- (3) $n$번째 행의 $n$번째 계수를 1로 만든다.
 - (4) $n$번째 행을 제외한 모든 행의 $n$번째 계수를 0으로 만든다.
 
 이 과정을 거치면 왼쪽 행렬을 항등행렬로 바꾸는 목적을 달성할 수 있고, 따라서 연립방정식의 해를 구해낼 수 있다.
@@ -260,14 +263,14 @@ $$
 
 에서, $\frac a{a'}\ne\frac b{b'}$이면 해가 한 쌍 존재하고, $\frac a{a'}=\frac b{b'}=\frac c{c'}$이면 해가 무수히 많으며 $\frac a{a'}=\frac b{b'}\ne\frac c{c'}$이면 해가 없다고 배우게 된다.
 여기서 $\frac a{a'}=\frac b{b'}$인 조건은 정확히 왼쪽행렬의 판별식이 0인 것과 일치하는 것이다.
-즉, $\frac a{a'}=\frac b{b'}$이면 왼쪽행렬은 비가역행렬이 되고 rank가 1이하가 되며, 두 행이 일차독립이 되는 것이며, 간단히 말하면 윗행의 실수배가 아랫행과 일치하게 되어 두 변수가 한꺼번에 소거되는 경우에 해당하게 된다.
+즉, $\frac a{a'}=\frac b{b'}$이면 왼쪽행렬은 비가역행렬이 되고 rank가 1이 되어 두 행이 일차독립이고, 간단히 말하면 윗행의 실수배가 아랫행과 일치하게 되어 두 변수가 한꺼번에 소거되는 경우에 해당하게 된다.
 
 마지막으로, 가장 간단하면서도 nontrivial한 이 경우에 대해, 아까 장황하게 늘어놓은 유클리드공간이나 affine space, one-point-set 이야기를 할 필요가 있겠다.
 이 문제는 변수가 두 개이므로 이차원 유클리드 공간 $\mathbb R^2$이 그 배경이 된다.
 두 식 $2x+3y=5$, $5x+4y=16$은 평면 위의 두 직선을 의미하며 이 직선들 각각은 affine space이다.
-두 affine space의 교집합은 one-point-set인 $\\{(4,-1)\\}$이며, 이것은 $\mathbb R^2$ 위의 한 점이 되는 것이다.
+두 affine space의 교집합은 one-point-set인 $\\{(4,-1)\\}$이며, 이것은 $\mathbb R^2$ 위의 한 점(두 직선의 교점)이 되는 것이다.
 
-## 2.2 변수 세 개이고 식이 세 개
+## 2.2 변수 3개, 식 3개
 
 이와 같은 이야기는 삼원일차연립방정식에도 똑같이 적용된다.
 연립방정식
@@ -282,7 +285,7 @@ $$
 \end{align*}
 $$
 
-중고등학교 수준에서 이 문제를 푸는 방식은 다음과 같다.
+을 중고등학교 수준에서 푸는 방식은 다음과 같다.
 먼저 $-2\times(1)+(2)$와 $(1)+(3)$으로부터 두번째 식과 세번째식에서 변수 $x$를 없앤다.
 
 $$
@@ -294,8 +297,8 @@ $$
 $$
 
 여기서 (2)+(3)을 하여 변수 $z$을 없애면 $6y=18$, $y=3$이 되고, 이것을 기존 식들에 계속 대입하면 $z=-1$, $x=2$을 얻을 수 있다.
-하지만, gauss elimination의 관점과 비슷하게 이 문제를 풀려면 $z$를 소거하기보다는 $y$를 소거하는 편이 더 나을 것이다.
-즉, (2)의 양 변을 5로 나눈 다음, 그것을 (3)에서 빼주면
+하지만, 일관된 방식으로 문제를 풀어나가려면 $z$를 소거하기보다는 $y$를 소거하는 편이 좋을 것이다.
+즉, (2)의 양변을 5로 나눈 다음, 그것을 (3)에서 빼주면
 
 $$
 \begin{align*}
@@ -308,7 +311,7 @@ $$
 이 된다.
 이와 같이 진행하여도 같은 해 $(x,y,z)=(2,3,-1)$를 얻을 수 있다.
 
-가우스 소거법으로 이 문제를 풀면
+가우스 소거법으로 이 문제를 풀면 다음과 같다.
 
 $$
 \begin{align*}
@@ -386,7 +389,7 @@ $$
 이 문제는 변수가 세 개 이므로 삼차원 유클리드 공간 $\mathbb R^3$이 그 배경이 되며, $x-2y+ z=-5$와 같은 세 일차식들은 공간 위의 세 평면이 되고 이것들 각각이 affine space이다.
 세 affine space의 교집합은 이번에도 one-point-set인 $\\{(2,3,-1)\\}$로 주어졌다.
 
-## 2.3 변수 세 개이고 식이 두 개
+## 2.2 변수 3개, 식 2개
 
 앞의 두 사례에서는 nontrivial한 사례를 봤다.
 즉, 해가 하나인 연립방정식들만을 고려했다.
@@ -397,7 +400,7 @@ $$
 trivial한 사례는 변수의 개수와 식의 개수가 같은 앞의 두 사례와 같은 세팅에서 왼쪽행렬이 full rank를 가지지 않도록 하면 된다.
 3 by 3 case에서 rank 2짜리 행렬로 연립방정식을 만들어도 좋은 예가 될 것이다.
 하지만 여기서는 그냥 변수의 개수와 식의 개수가 다른, 변수의 개수가 식의 개수보다 많은 상황을 생각하려 한다.
-이 상황은 rank 2인 경우와 근본적으로 같을 것이다.
+이 상황은 3 by 3인 rank 2 행렬이 나오는 경우와 근본적으로 같을 것이다.
 
 다음과 같은 연립방정식
 
@@ -469,11 +472,11 @@ x&&&&-\frac23z&=\frac43\\
 $$
 
 이 된다.
-그러면 $x=\frac23z+\frac43$, $y=\frac83z-\frac{11}3$이고, 따라서 이 연립방정식을 만족시키는 점 $(x,y,z)$들의 집합 $L$은
+그러면 $x=\frac23z+\frac43$, $y=\frac83z-\frac{11}3$이고, 따라서 이 연립방정식을 만족시키는 점 $(x,y,z)$들의 집합 $A$은
 
 $$
 \begin{align*}
-L
+A
 &=\left\{(x,y,z):x-y+2z=5,2x+y-4z=-1\right\}\\
 &=\left\{(x,y,z):x=\frac23z+\frac43,y=\frac83z-\frac{11}3\right\}\\
 &=\left\{\left(\frac23z+\frac43,\frac83z-\frac{11}3,z\right):z\in\mathbb R\right\}\\
@@ -483,9 +486,108 @@ L
 \end{align*}
 $$
 
-이 되어 basis가 $\\{(2,8,3)\\}$인 일차원 affine space가 된다.
+이 된다.
+이때 $\left\langle\left(\frac23,\frac83,1\right)\right\rangle\$는 벡터 $\left(\frac23,\frac83,1\right)$의 span이다.
+즉 해당 벡터를 basis로 하는 일차원 부분공간을 뜻한다.
+따라서 $A$는 일차원 affine space가 된다.
 즉, 이것은 $\left(\frac43,-\frac{11}3,0\right)$을 지나고 벡터 $(2,8,3)$의 방향을 향하는 직선이다.
 
-## 2.4 변수 네 개이고 식이 두 개
+## 2.2 변수 4개, 식 2개
+
+2.3의 사례도 재미있지만, affine space가 1차원이라는 점에 있어서는 너무 간단한 예이기도 하다.
+affine space가 2차원이 되는 경우, 즉 대응되는 subspace의 basis vector가 두 개 이상인 경우를 살펴보는 것도 의미있을 것이다.
+이번에도 full rank를 가지지 않는 적절한 linear system을 생각하기보다는, 변수의 개수 자체를 식의 개수보다 많게 두려고 한다.
+
+고려하는 것은 다음의 연립방정식이다.
+
+<!-- (1, 3, 4, -1) -->
+
+$$
+\begin{cases}
+2x-y+2z+w   &=6\\
+6x+2y-5z-4w &=-4
+\end{cases}
+$$
+
+가우스 소거법을 적용시키면
+
+$$
+\begin{align*}
+\begin{bmatrix}
+ 2&-1& 2& 1&|&6\\
+ 6& 2&-5&-4&|&-4
+\end{bmatrix}
+&\rightarrow
+\begin{bmatrix}
+ 1&-\frac12& 1& \frac12&|&3\\
+ 6& 2&-5&-4&|&-4
+\end{bmatrix}
+&&
+\begin{matrix}
+R_1 \leftarrow \frac12R_1\\
+\,
+\end{matrix}\\
+&\rightarrow
+\begin{bmatrix}
+ 1&-\frac12& 1& \frac12&|&3\\
+ 0& 5&-11&-7&|&-22
+\end{bmatrix}
+&&
+\begin{matrix}
+\\
+R_2 \leftarrow -6R_1+R_2
+\end{matrix}\\
+&\rightarrow
+\begin{bmatrix}
+ 1&-\frac12& 1& \frac12&|&3\\
+ 0& 1&-\frac{11}5&-\frac75&|&-\frac{22}5
+\end{bmatrix}
+&&
+\begin{matrix}
+\\
+R_2 \leftarrow \frac15R_2
+\end{matrix}\\
+&\rightarrow
+\begin{bmatrix}
+ 1& 0&-\frac1{10}& \frac15&|&\frac45\\
+ 0& 1&-\frac{11}5&-\frac75&|&-\frac{22}5
+\end{bmatrix}
+&&
+\begin{matrix}
+R_1 \leftarrow R_1+\frac12R_2\\
+\,
+\end{matrix}
+\end{align*}
+$$
+
+이다.
+따라서
+
+$$
+\begin{align*}
+x&&&&-\frac1{10}z+\frac15w&=\frac45\\
+&&y&&-\frac{11}5z-\frac75w&=-\frac{22}3
+\end{align*}
+$$
+
+이고 해집합 $A$는
+
+$$
+\begin{align*}
+A
+&=\left\{(x,y,z,w):2x-y+2z+w=6,6x+2y-5z-4w=-4\right\}\\
+&=\left\{(x,y,z,w):x=\frac1{10}z-\frac15w+\frac45,y=\frac{11}5z+\frac75w-\frac{22}3\right\}\\
+&=\left(\frac45,-\frac{22}3,0,0\right)
+    +\left\langle\left(\frac1{10},\frac{11}5,1,0\right),
+    \left(-\frac15,\frac75,0,1\right)\right\rangle\\
+&=\left(\frac45,-\frac{22}3,0,0\right)
+    +\left\langle\left(1,22,10,0\right),
+    \left(-1,7,0,5\right)\right\rangle
+\end{align*}
+$$
+
+이 된다.
+따라서, $A$는 4차원 공간 상에서 $\left(\frac45,-\frac{22}3,0,0\right)$를 지나고 두 벡터 $\left(1,22,10,0\right)$, $\left(-1,7,0,5\right)$를 basis로 하는 평면이다.
+
 
 # 3. code implementation