전체 글128 선형대수(Linear algebra)-행렬, 행렬의 곱, 성질(1) * 이 공부노트는 프로그래머스 인공지능 데브코스 강창성 교수님의 강의를 바탕으로 제작되었습니다. 이제 배울 Deep learning을 이해할려면 반드시 선형대수, 행렬미분, 확률의 탄탄한 기초가 필요하다 하셨다. Transformer의 attention matrix : $$\mathrm{Att}_{\leftrightarrow}(Q, K, V) = D^{-1}AV, ~A = \exp(QK^T/\sqrt{d}), ~D = \mathrm{diag}(A1_L)$$(뭔소리야) 처럼 핵심 아이디어가 행렬에 관한 식으로 표현되는 경우가 많다. 그래서 선형대수와 행렬미분의 기초를 배운다음 PCA를 유도해보고자 한다. 기본 표기법(Basic Notation) $A\in \mathbb{R}^{m\times n}$ mxn의.. 2021. 6. 3. 확률과 통계 - 베이즈 정리 베이즈 정리. 빅데이터 분석 기사 필기를 공부하면서 한번쯤은 들어본 내용이다. 그런데 이게 ML에서 중요하다고 하니 다시 공부해서 기록해본다... 우선, 빈도주의 vs 베이지안 주의 빈도주의는 과거의 기록을 바탕으로 증거를 내밀고, 베이지안 주의는 이 주장에 대한 신뢰?도가 몇인지를 표시한다. 즉 과거의 내가 동전을 100번 던졌는데, 50%가 앞면이 나왔어. - 빈도주의 동전의 앞면이 나올거야! 란 주장의 신뢰도는 50%야! - 베이지안 주의 쉽지 않다... 여튼 불확실성을 정량적으로 표현이 가능하다? 라고 생각한다. P(A|B) : 사후확률 (posterior) P(B|A) : 우도or 가능도 (Likelihood) P(A) : 사전확률 (prior) 용어는 이렇게 된다... 나중에 ML에서 우도는 .. 2021. 6. 2. 이전 1 ··· 19 20 21 22 다음
