선형대수(Linear algebra)-행렬, 행렬의 곱, 성질(1)

* 이 공부노트는 프로그래머스 인공지능 데브코스 강창성 교수님의 강의를 바탕으로 제작되었습니다.

 

이제 배울 Deep learning을 이해할려면 반드시 선형대수, 행렬미분, 확률의 탄탄한 기초가 필요하다 하셨다.

 

Transformer의 attention matrix :

 

$${\mathrm{Att}}_{\leftrightarrow }(Q,K,V)=D^{-1}AV,A=\exp (Q{K}^T/\sqrt{d}),D=\mathrm{diag}(A{1}_L)$$(뭔소리야)

처럼 핵심 아이디어가 행렬에 관한 식으로 표현되는 경우가 많다.

그래서 선형대수와 행렬미분의 기초를 배운다음 PCA를 유도해보고자 한다.

 

---

기본 표기법(Basic Notation)

• $A\in \mathbb{R}^{m\times n}$ mxn의 행렬이란 의미. 행렬은 주로 대문자를 사용
• $x \in \mathbb{R}^n$ : n개의 벡터는 주로 소문자로 표시한다. 또한 n차원 벡터는 n개의 행과 1개의 열을 가진 행렬로 생각하고 이것을 열벡터(column vector)라 부르기도 함. $x^T$($T$는 transpose를 의미)는 행벡터를 표현
• 벡터 $x$의 $i$번째 원소는 $x_i$로 표시한다. $$\begin{array}{r}x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\end{array}$$
• $a_{ij}$(또는 $A_{ij}, A_{i,j}$) : 행렬 $A$의 $i$번째 행, $j$번째 열에 있는 원소$$\begin{array}{r}A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]\end{array}$$
• $A$의 $j$번째 열을 $a_j$ or $A_{:,j}$로 표시 
  $$\begin{array}{r}A=\left[\begin{array}{cccc}|& |& & |\\ a_1& a_2& \cdots & a_n\\ |& |& & |\end{array}\right]\end{array}$$
• $A$의 $i$번째 행을 $a_i^T$ or $A_{i,:}$로 표시(여기서 이건 첨봤음 신기하네)
  $$\begin{array}{r}A=\left[\begin{array}{ccc}& a_1^T& \\ & a_2^T& \\ & ⋮& \\ & a_m^T& \end{array}\right]\end{array}$$

  ---

행렬의 곱셈(Matrix Multiplication)

두 개의 행렬 $A\in \mathbb{R}^{m\times n}$, $B\in \mathbb{R}^{n\times p}$의 곱 $C = AB \in \mathbb{R}^{m\times p}$는 다음과 같이 정의된다.

$$C_{ij}=\sum _{k=1}^n{A}_{ik}{B}_{kj}$$

행렬의 곱셈을 이해하는 몇 가지 방식들
- 벡터 $\times$ 벡터
- 행렬 $\times$ 벡터
- 행렬 $\times$ 행렬

 

내적 - x.dot(y)

 

두 개의 벡터 $x, y\in \mathbb{R}^n$이 주어졌을 때 내적(inner product 또는 dot product) $x^Ty$는 다음과 같이 정의된다.

$$\begin{array}{r}{x}^{T}y\in \mathbb{R}=[x_1{x}_2\cdots x_n]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\sum _{i=1}^n{x}_i{y}_i\end{array}$$

$$x^{T}y=y^{T}x$$

 

*내적은 두 벡터의 차원이 같아야 할 수 있다.  - 왜? 스칼라 값을 만드니깐
 외적일 경우에는 두 벡터의 차원이 달라도 가능하다! - 외적의 결과는 벡터니깐! 대신  mxn X nxk로  처럼 앞 행렬의 열과 뒤 행렬의 행이 같아야 쓸 수 있어! 결과값이 mxk로 나오니깐!

 

외적 - np.matmul(x,y)

두 개의 벡터 $x\in \mathbb{R}^m, y\in \mathbb{R}^n$이 주어졌을 때 외적(outer product) $xy^T\in \mathbb{R}^{m\times n}$는 다음과 같이 정의된다.

$$\begin{array}{r}x{y}^T\in {\mathbb{R}}^{m\times n}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right][y_1{y}_2\cdots y_n]=\left[\begin{array}{cccc}{x}_1{y}_1& x_1{y}_2& \cdots & x_1{y}_n\\ x_2{y}_1& x_2{y}_2& \cdots & x_2{y}_n\\ ⋮& ⋮& \ddots & ⋮\\ x_m{y}_1& x_m{y}_2& \cdots & x_m{y}_n\end{array}\right]\end{array}$$

 

자 여기서 수학적으로 궁금한 점이 내적(inner product)과 외적(outer product)의 차이가 뭔가?

- 내적 : 마치수처럼 곱하는 개념이라 한다. 벡터는 방향이 있으니깐 방향이 맞는 만큼만 곱한다는 뜻이다. 즉 a와 b란 벡터를 곱하는데, a의 방향과 b의 방향이 일치하면 기냥 곱해주면 되고, 만약 90도라면 0이 된다.   

$$\overrightarrow{a}\cdot \overrightarrow{b}=|\overrightarrow{a}||\overrightarrow{b}|cos\theta$$

- 외적 : 외적의 결과값은 또 벡터란다. 방향은 곱하는 두 벡터의 cross이고 두 크기는 두벡터가 이루는 사각형의 넓이이다. 외적의 연산 기호는 cross ($\vec{u} \times \vec{v}$). 외적의 크기만 보면 

$$|\overrightarrow{u}\times \overrightarrow{v}|=|\overrightarrow{u}||\overrightarrow{v}|sin\theta$$

다시 한번 말하지만, 내적의 결과값은 스칼라이고, 외적의 결과값은 벡터란 소리!

 

---

중요 연산과 성질들 (Operations and Properties)

정방행렬(Square matrix) 

: 행과 열의 개수가 동일한 행렬

$$\left[\begin{array}{ccc}4& 9& 2\\ 3& 5& 7\\ 8& 1& 6\end{array}\right]$$

상삼각행렬(Upper triangular matrix)

: 정방행렬이지만 주 대각선 아래 원소들이 모두 0인 행렬

$$\left[\begin{array}{ccc}4& 9& 2\\ 0& 5& 7\\ 0& 0& 6\end{array}\right]$$ 

 

하삼각행렬(Lower triangular matrix)

: 정방행렬이지만 주 대각선 위 원소들이 모두 0인 행렬

$$\left[\begin{array}{ccc}4& 0& 0\\ 3& 5& 0\\ 8& 1& 6\end{array}\right]$$

 

대각행렬(Diagonal matrix) - np.diag([4, 5, 6])

: 정방행렬이며 주 대각선 제외 모든 원소가 0인 행렬

$$\left[\begin{array}{ccc}4& 0& 0\\ 0& 5& 0\\ 0& 0& 6\end{array}\right]$$

코드 : np.diag([4, 5, 6])
결과 : array([[4, 0, 0],
              [0, 5, 0],
              [0, 0, 6]])


코드 : np.diag(D) #D는 [[1,2,3],[4,5,6],[7,8,9],] 행렬
결과 : array([1,5,9]) #대각선의 값들만 추출

 

단위행렬(identity matrix) - np.eye(3)

: 대각행렬이며 주대각선 원소들이 모두 1인 행렬. $I$로 표시한다.

$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

 

---

전치(Transpose) - 행렬.T

행렬을 전치하는 것은 행렬을 뒤집는 것이다. 행렬  $A\in \mathbb{R}^{m\times n}$ 일 때, 이것의 전치행렬은 $A^T \in \mathbb{R}^{n\times m}$ 표시한다.

 

$${\left(A^T\right)}_{ij}=A_{ji}$$

 

또한 다음의 성질들을 성립한다.

• $(A^T)^T = A$ : 뒤집었다가 다시 뒤집으니 원상태로 돌아옴.
• $\left(AB\right)^T = B^TA^T$ : 곱의 Transpose를 씌우게 되면, 순서가 바뀐다.
• $(A + B)^T = A^T + B^T$ : 더하기는 그대로~

$ A^T =
$$\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]$$^T =
$$\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]$$$

 

위의 공식과 동일한지 예제를 통해 확인.

A= np.array([[1,2,3],[4,5,6]])
코드 : A.T
결과 : array([[1, 4],
             [2, 5],
             [3, 6]])
             

B = np.array([[1,2], [4, 5], [6, 7]])
코드 : np.matmul(A, B).T
결과 : array([[27, 60],
             [33, 75]])
             
             
코드 : np.matmul(B.T, A.T)
결과 : array([[27, 60],
             [33, 75]])

 

---

 

대칭행렬 (Symmetic Matrices)

주대각선을 기준으로 해서 양방향에 있는 값들이 같으면 대칭행렬이다.
그러면 전치를 해도 똑같다.
정방행렬 $A$가 $A^T$와 동일할 때 대칭행렬이라고 부른다. $A = -A^T$일 때는 반대칭(anti-symmetric)행렬이라고 부른다.

$BB^T$는 항상 대칭행렬  :  $(BB^T)^T=(B^T)^TB^T=BB^T$ 이므로 $BB^T$란 행렬 또한 대칭행렬이다. (여기서 B는 대칭행렬, 정방행렬일 필요는 없다.)

$C + C^T$는 대칭, $C - C^T$는 반대칭이다. (여기서 C는 대칭행렬일 필욘없지만 정방행렬이여야한다.)

$$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$$

A = np.array([[1,2,3],[4,5,6]])
B = np.array([[1, 2], [4, 5], [6, 7]])            
C = np.array([[1,4,6],[3,5,7],[6,9,2]])
    
    
코드 : np.matmul(A, A.T)
결과 : array([[14, 32],
       		  [32, 77]])
              
코드 : np.matmul(B, B.T)
결과 : array([[17, 22, 27],
      		 [22, 29, 36],
     	     [27, 36, 45]])
             
             
             
코드 : C+C.T
결과 : array([[ 2,  7, 12],
      		  [ 7, 10, 16],
     		  [12, 16,  4]])
코드 : C-C.T
결과 : array([[ 0,  1,  0],
              [-1,  0, -2],
              [ 0,  2,  0]])

 

---

대각합 (Trace) - np.trace(A)

정방행렬 $A\in \mathbb{R}^{n\times n}$의 대각합은 $\mathrm{tr}(A)$로 표시(또는 $\mathrm{tr}A$)하고 그 값은 $\sum_{i=1}^n A_{ii}$이다. 대각합은 다음과 같은 성질을 가진다.

- For $A\in \mathbb{R}^{n\times n}$, $\mathrm{tr}A = \mathrm{tr}A^T$ : 행렬 A와 전치 A행렬의 대각합은 같다. 당연한것.
- For $A,B\in \mathbb{R}^{n\times n}$, $\mathrm{tr}(A+B) = \mathrm{tr}A + \mathrm{tr}B$ : 두개의 같은 차원의 행렬이 있을 때, 합한 행렬의 대각합은 각각의 대각합의 더한 것과 같다. 당연하지.
- For $A\in \mathbb{R}^{n\times n}, t\in\mathbb{R}$, $\mathrm{tr}(tA) = t\,\mathrm{tr}A$ : 실수값 t를 곱했을때.
- For $A, B$ such that $AB$ is square, $\mathrm{tr}AB = \mathrm{tr}BA$ : A,B두개를 곱한 행렬이 정방행렬이 되는 경우에 AB의 대각합과 BA의 대각합이 같다.
- For $A, B, C$ such that $ABC$ is square, $\mathrm{tr}ABC = \mathrm{tr}BCA = \mathrm{tr}CAB$, and so on for the product of more matrices : 여러개의 행렬이 있을 때, 그 전체 곱이 정방행렬인 경우에 ABC의 대각합=BCA의 대각합=CAB의 대각합은 같다.

A = np.array([
        [100, 200, 300],
        [ 10,  20,  30],
        [  1,   2,   3],
    ])
코드 : np.trace(A)
결과 : 123

---

Norms - LA.norm(np.array([3,4])

import numpy.linalg as LA

벡터의 norm은 **벡터의 길이**로 이해할 수 있다. $l_2$ norm (Euclidean norm)은 다음과 같이 정의된다.
$${\Vert x\Vert }_2=\sqrt{\sum _{i=1}^n{x_i}^2}$$
$\left \Vert x \right \|_2^2 = x^Tx$임을 기억하라.

 

$l_p$ norm

$${\Vert x\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p}$$

Frobenius norm (행렬에 대해서) :행렬에 대한 norm

$${\Vert A\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}^2}=\sqrt{\mathrm{tr}(A^{T}A)}$$

 

A = np.array([
        [100, 200, 300],
        [ 10,  20,  30],
        [  1,   2,   3],
    ])
    
  코드 : LA.norm(A)
  결과 : 376.0505285197722
  코드 : np.trace(A.T.dot(A))**0.5
  결과 : 376.0505285197722

 

뭔소린지 몰라서 한번 해봤다.

 

$$\begin{array}{r}{A}^{T}A=\left[\begin{array}{ccc}a1& b1& c1\\ a2& b2& c2\\ a3& b3& c3\end{array}\right]\left[\begin{array}{ccc}a1& a2& a3\\ b1& b2& b3\\ c1& c2& c3\end{array}\right]=\left[\begin{array}{ccc}a{1}^2+b{1}^2+c{1}^2& a1a2+b1b2+c1c2& a1a3+b1b3+c1c3\\ a2a1+b2b1+c2c1& a{2}^2+b{2}^2+c{2}^2& a2a3+b2b3+c2c3\\ a3a1+b3b1+c3c1& a3a2+b3b2+c3c2& a{3}^2+b{3}^2+c{3}^2\end{array}\right]\end{array}$$

 

결국 대각합을 하면 $a1^2+b1^2+c1^2 + a2^2+b2^2+c2^2 +  a3^2+b3^2+c3^2$ 가 된다.