Linear Algebra
///
///
🛣️

1. Linear Equation and Linear System

태그
span
Independence
Transformation

Linear Equation

linear equation은 변수 x1,⋅⋅⋅,xnx_1,\cdot\cdot\cdot, x_n이 아래와 같은 형태로 작성될 수 있는 방정식이다.
a1x1+a2x2+⋯+anxn=ba_{1} x_{1}+a_{2} x_{2}+\cdots+a_{n} x_{n}=b
bb와 계수 a1,⋅⋅⋅,ana_1,\cdot\cdot\cdot, a_n은 실수 혹은 복소수이고 위의 방정식은 다음과 같이 작성된다,
aTx=b where a=[a1a2⋮an] and x=[x1x2⋮xn]. \mathbf{a}^{T} \mathbf{x}=b \\ \text { where } \mathbf{a}=\left[\begin{array}{c}a_{1} \\a_{2} \\\vdots \\a_{n}\end{array}\right] \text { and } \mathbf{x}=\left[\begin{array}{c}x_{1} \\x_{2} \\\vdots \\x_{n}\end{array}\right] \text {. }

Linear System

변수 x1,⋅⋅⋅,xnx_1,\cdot\cdot\cdot, x_n 을 포함하여 하나 이상의 linear equations를 모은 집합이다
Ax=b\mathbf{A} \mathbf{x}=\mathbf{b}

Identity Matrix

Identity matrix는 square matrix이고 diagonal entries가 모두 1인 행렬이다. 그리고 그 부분을 제외한 나머지가 0이다.
In∈Rn×nI3=[100010001]I_{n} \in \mathbb{R}^{n \times n}\\ I_{3}=\left[\begin{array}{lll} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array}\right]
이러한 Identity matrix는 어떤 임의의 벡터 x∈Rnx \in \mathbb{R}^n 에 행렬 InI_n을 곱하면 자기 자신이 도출된다.
∀x∈Rn,Inx=x\forall \mathbf{x} \in \mathbb{R}^{n}, \quad I_{n} \mathbf{x}=\mathbf{x}

Inverse Matrix

임의의 square matrix A∈Rn×nA \in \mathbb{R}^{n \times n}의 inverse matrix A−1A^{-1}는 아래 식을 만족한다.
A−1A=AA−1=InA^{-1} A=A A^{-1}=I_{n}
2×22 \times 2 matrix A=[abcd]A=\left[\begin{array}{ll}a & b \\c & d\end{array}\right]에 대한 역행렬 A−1A^{-1}은 아래와 같이 정의된다.
A−1=1ad−bc[d−b−ca]A^{-1}=\frac{1}{a d-b c}\left[\begin{array}{cc}d & -b \\-c & a\end{array}\right]

Linear System을 Inverse Matrix를 이용해 풀이하기

앞서 제시한 Linear System Ax=b\mathbf{A} \mathbf{x}=\mathbf{b}는 다음과 같은 과정을 통해 풀이가 가능하다
Ax=bA−1Ax=A−1bInx=A−1bx=A−1b(unique solution)\begin{array}{c}A \mathbf{x}=\mathbf{b} \\A^{-1} A \mathbf{x}=A^{-1} \mathbf{b} \\I_{n} \mathbf{x}=A^{-1} \mathbf{b} \\\mathbf{x}=A^{-1} \mathbf{b}\\ \text{(unique solution)}\end{array}
만약 matrix AA가 invertible 하지 않다면, det⁡A\operatorname{det} A의 값이 0이되고, 해가 무수히 많거나 해가 없는 경우가 된다.

Linear Combination

vectors v1,v2,⋯ ,vp in Rn\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{p} \text { in } \mathbb{R}^{n} 이 주어지고 scalars c1,c2,⋯ ,cpc_{1}, c_{2}, \cdots, c_{p} 가 주어질 때,
c1v1+⋯+cpvpc_{1} \mathbf{v}_{1}+\cdots+c_{p} \mathbf{v}_{p}
가중치 계수를 c1,c2,⋯ ,cpc_{1}, c_{2}, \cdots, c_{p}로 하면서 v1,⋯ ,vp\mathbf{v}_{1}, \cdots, \mathbf{v}_{p} 의 Linear Combination이라고 한다. weights는 0을 포함한 어떠한 실수값도 가질수 있다.

Vector Equation Form

[605.51655.00556.01][x1x2x3]=[667478]Ax=b\begin{array}{c}{\left[\begin{array}{lll}60 & 5.5 & 1 \\65 & 5.0 & 0 \\55 & 6.0 & 1\end{array}\right]\left[\begin{array}{l}x_{1} \\x_{2} \\x_{3}\end{array}\right]=\left[\begin{array}{l}66 \\74 \\78\end{array}\right]} \\\mathbf{Ax}=\mathbf{b}\end{array}
[606555]x1+[5.55.06.0]x2+[101]x3=[667478]a1x1+a2x2+a3x3=b\begin{array}{c}{\left[\begin{array}{l}60 \\65 \\55\end{array}\right] x_{1}+\left[\begin{array}{l}5.5 \\5.0 \\6.0\end{array}\right] x_{2}+\left[\begin{array}{l}1 \\0 \\1\end{array}\right] x_{3}=\left[\begin{array}{l}66 \\74 \\78\end{array}\right]} \\\mathbf{a}_{1} x_{1}+\mathbf{a}_{2} x_{2}+\mathbf{a}_{3} x_{3}=\mathbf{b}\end{array}
첫번째 형태가 Matrix Equation이고, 두번째 형태가 Vector Equation의 형태이다. 이러한 형태로 변형하는 이유는 Linear Equation이 해를 가지는 지를 판별하기에 용이하기 때문이다. 이 때 판별하는데 사용되는 개념이 밑에 제시할 Span이다.

Span

vectors v1,v2,⋯ ,vp in Rn\mathbf{v}_{1}, \mathbf{v}_{2}, \cdots, \mathbf{v}_{p} \text { in } \mathbb{R}^{n}이 주어지고, Span⁡{v1,⋯ ,vp}\operatorname{Span}\left\{\mathrm{v}_{1}, \cdots, \mathrm{v}_{p}\right\}은 모든 v1,⋯ ,vp\mathbf{v}_{1}, \cdots, \mathbf{v}_{p} 의 Linear Combination의 집합으로 정의한다.
c1v1+c2v2⋯+cpvpc_{1} \mathbf{v}_{1}+c_{2} \mathbf{v}_{2} \cdots+c_{p} \mathbf{v}_{p}
이 때 scalars c1,c2,⋯ ,cpc_{1}, c_{2}, \cdots, c_{p}는 임의의 값이다.
subset of Rn \mathbb{R}^{n} spanned by v1,⋯ ,vp\mathbf{v}_{1}, \cdots, \mathbf{v}_{p} 라고 부르기도 한다.
기하학적으로 Span을 묘사하면 다음과 같다. Span⁡{v1,v2}\operatorname{Span}\left\{\mathrm{v}_{1}, \mathrm{v}_{2}\right\} 은 R3\mathbb{R}^3상의 평면으로 묘사할 수 있다. (v1,v2,0\mathbf{v}_{1}, \mathbf{v}_{2}, 0 모두 포함한다)
a1x1+a2x2+a3x3=b\\\mathbf{a}_{1} x_{1}+\mathbf{a}_{2} x_{2}+\mathbf{a}_{3} x_{3}=\mathbf{b} 의 식에서. 해가 존재하기 위해서는 b∈Span⁡{a1,a2,a3}\mathbf{b} \in \operatorname{Span}\left\{\mathbf{a}_{1}, \mathbf{a}_{2}, \mathbf{a}_{3}\right\}을 만족해야한다. (얻고자 하는 해가 저 평면위에 존재해아 한다는 뜻!)

해가 존재하는지는 확인할 수 있었다. 그런데 해가 유일한지 무수히 많은지는 다시 확인해봐야한다. 아래 개념들을 통해서.

Linear Independence

실용적인 정의
vectors v1,⋯ ,vp∈Rn\mathbf{v}_{1}, \cdots, \mathbf{v}_{p} \in \mathbb{R}^{n} 이 주어졌을 때, vj\mathbf{v}_{j}가 그 전의 vectors {v1,v2,…,vj−1}\left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \ldots, \mathbf{v}_{j-1}\right\} 의 Linear Combination의 형태로 표현되는지 확인한다.
vj∈Span⁡{v1,v2,…,vj−1} for some j=1,…,p?\mathbf{v}_{j} \in \operatorname{Span}\left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \ldots, \mathbf{v}_{j-1}\right\} \text { for some } j=1, \ldots, p ?
만약 vj\mathbf{v}_{j}가 Linear Combination으로 표현이 된다면 linearly dependent이고, 그렇지 않다면 linearly Independent한 것이다.

Linear Dependence

행렬 A\mathbf{A} 의 column vectors들 a1,a2,⋯ ,an\mathbf{a}_{1}, \mathbf{a}_{2}, \cdots, \mathbf{a}_{n}이 linearly dependent한 경우 Span을 늘리지 않게된다.
 If v3∈Span⁡{v1,v2}, then Span{v1,v2}=Span⁡{v1,v2,v3}\text { If } \mathbf{v}_{3} \in \operatorname{Span}\left\{\mathbf{v}_{1}, \mathbf{v}_{2}\right\} \text {, then } \\ \text {Span}\left\{\mathbf{v}_{1}, \mathbf{v}_{2}\right\}=\operatorname{Span}\left\{\mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}\right\}
vector v3\mathbf{v}_{3}는 v1,v2\mathbf{v}_{1}, \mathbf{v}_{2}를 linear combination하여 표현할 수 있기 때문에 v1,v2,v3\mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}의 조합은 사실상 v1,v2\mathbf{v}_{1}, \mathbf{v}_{2}의 조합과 같기 때문에 span을 늘리지 않는다.

Uniqueness of Solution for Ax=bA\mathbf{x} = \mathbf{b}

[606555]x1+[5.55.06.0]x2+[101]x3=[667478]a1x1+a2x2+a3x3=b\begin{array}{c}{\left[\begin{array}{l}60 \\65 \\55\end{array}\right] x_{1}+\left[\begin{array}{l}5.5 \\5.0 \\6.0\end{array}\right] x_{2}+\left[\begin{array}{l}1 \\0 \\1\end{array}\right] x_{3}=\left[\begin{array}{l}66 \\74 \\78\end{array}\right]} \\\mathbf{a}_{1} x_{1}+\mathbf{a}_{2} x_{2}+\mathbf{a}_{3} x_{3}=\mathbf{b}\end{array}
앞서 제시한 식을 다시보면 a1,a2,a3\mathbf{a}_{1}, \mathbf{a}_{2}, \mathbf{a}_{3}가 모두 linearly independent 할 때 유일한 해를 가지며 만약 linearly dependent하다면 해는 무수히 많게 된다.

Subspace

subspace HH 는 Rn\mathbb{R}^{n} 의 linear combination에 대해 닫혀 있는 부분집합으로 정의된다.
•
어떠한 두 벡터 u1,u2∈H\mathbf{u_1},\mathbf{u_2} \in H와 임의의 스칼라 값 c,dc, d 가 주어질 때, cu1+du2∈Hc \mathbf{u}_{1}+d \mathbf{u}_{2} \in H 를 만족한다.
•
subspace는 항상 Span⁡{v1,⋯ ,vp}\operatorname{Span}\left\{\mathbf{v}_{1}, \cdots, \mathbf{v}_{p}\right\} 의 꼴로 나타내어 진다.

Basis (of subspace)

subspace HH 의 basis는 아래 조건을 만족하는 벡터의 집합이다.
•
주어진 subspace HH 를 완전히 span해야 한다.
•
중복 없이 Linearly independent하다.
•
basis는 한 개가 아니며 수 많은 basis를 만들 수 있다. → not unique

Dimension (of subspace)

그렇다면 subspace HH 가 주어지면 어떤 것이 unique 하다고 말할 수 있을까? 바로 HH 를 구성하는 basis의 개수는 항상 유일하다! 이 것이 바로 dimension의 정의이다.
 the number of vectors in any basis for H=dim⁡H\text { the number of vectors in any basis for } H = \operatorname{dim} H

Column Space of Matrix

행렬 AA의 column space는 AA의 column들로 spanned된 subspace를 의미한다. 이러한 것을 Col⁡A\operatorname{Col}A 라고 부른다.

Rank

행렬 AA 의 rank는 행렬 AA 의 column space의 dimension을 의미한다.
rank⁡A=dim⁡Col⁡A\operatorname{rank} A=\operatorname{dim} \operatorname{Col} A

Transformation

transformation(혹은 function, mapping) TT 는 입력 xx 를 출력 yy 로 매핑하는 것을 의미한다.
T:x↦yT: x \mapsto y
•
domain : 입력 xx 의 가능한 모든 값의 집합
•
co-domain : 출력 yy 의 가능한 모든 값의 집합
•
image : 입력 xx 가 주어졌을 때, 매핑되어 나오는 출력 yy
•
range : domain 내에 존재하는 각 입력들의 출력 값의 집합
•
임의의 입력 xx 에 대응하는 출력은 오직 하나이다.

Linear Transformation

transformation TT 이 linear하기 위해서는 아래 조건을 만족해야한다.
T(cu+dv)=cT(u)+dT(v) for all u,v in the domain of T and for all scalars c and dT(c \mathbf{u}+d \mathbf{v})=c T(\mathbf{u})+d T(\mathbf{v}) \\\text { for all } \mathbf{u}, \mathbf{v} \text { in the domain of } T \text { and for all scalars } c \text { and } d
일반적으로, T:Rn→RmT: \mathbb{R}^{n} \rightarrow \mathbb{R}^{m} 를 linear transformation 이라고 가정한다면, TT는 항상 matrix-vector multiplication 형태로 나타내어 진다.
T(x)=Ax for all x∈RnT(\mathbf{x})=A \mathbf{x} \text { for all } \mathbf{x} \in \mathbb{R}^{n}
행렬 A∈Rm×nA \in \mathbb{R}^{m \times n} 의 jj번째 column은 벡터 T(ej)T\left(\mathbf{e}_{j}\right)와 같으며, ej\mathbf{e}_{j} 는 Rn×n\mathbb{R}^{n \times n} ldentity Matrix의 jj번째 column이라고 한다.
A=[T(e1)⋯T(en)]A=\left[\begin{array}{lll}T\left(\mathbf{e}_{1}\right) & \cdots & T\left(\mathbf{e}_{n}\right)\end{array}\right]
행렬 AA 를 linear transformation TT 의 standard matrix 라고 부른다.

Onto

매핑 T:Rn→RmT: \mathbb{R}^{n} \rightarrow \mathbb{R}^{m} 을 가정했을 때, x∈Rnx \in \mathbb{R}^{n} 중 적어도 하나에 대한 image가 b∈Rm\mathbf{b} \in \mathbb{R}^{m} 에 존재할 때 즉, range 가 co-domain 과 동일할 때 (치역 = 공역) onto라고 정의한다.
일반적으로 입력 차원 n n 이 출력 차원 mm 보다 크다면, onto 를 만족할 가능성이 높다, 하지만 반대의 경우 절대 onto를 만족할 수가 없다.

One to One

매핑 T:Rn→RmT: \mathbb{R}^{n} \rightarrow \mathbb{R}^{m} 을 가정했을 때, image b∈Rm\mathbf{b} \in \mathbb{R}^{m} 에 대응하는 x∈Rnx \in \mathbb{R}^{n}이 반드시 하나일 때 one-to-one 이라고 가정한다. 즉, range 안의 각각의 출력 벡터가 반드시 오직 하나의 입력 벡터로부터 매핑 되어야 한다는 것이다.
정리하면,
매핑 T:Rn→RmT: \mathbb{R}^{n} \rightarrow \mathbb{R}^{m} 을 linear transformation으로 가정하면, 아래 식을 만족하게 되고
T(x)=Ax for all x∈RnT(\mathrm{x})=A \mathrm{x} \text { for all } \mathrm{x} \in \mathbb{R}^{n}
행렬 AA 의 column vector들이 linearly independent 하다면 one-to-one 하다.
행렬 AA 의 column vector들의 span이 Rm\mathbb{R}^{m}이라면 onto이다.

reference

Linear Transformation & onto, ono-to-one의 개념
아래 내용은 김도형 박사님의 선형대수 강의안, edwith의 인공지능을 위한 선형대수 강의와 KOCW의 한양대학교 이상화 교수님의 선형대수학 강의를 보고 정리한 내용이다. 행렬에 의해서의 변환 또는 함수에 대해 정리해 볼 것이다. Transformation Domain(정의역) : 입력값으로 가질 수 있는 모든 값들의 집합 Co-domain(공역)
https://heung-bae-lee.github.io/2020/06/09/linear_algebra_05/
인공지능을 위한 선형대수 오리엔테이션 : edwith
인공지능을 위한 선형대수
https://www.edwith.org/ai251/joinLectures/195088
Made with