본문 바로가기

ML/ML-수학, 확률과 통계7

회귀와 분류 최근에 어느 기업의 면접을 봤다. 거기서 회귀와 분류에 대한 질문을 하셨다. 회귀 - 연속적인 데이터를 가지고 새로운 데이터를 예측하는 방법. 분류 - 그저 말대로 분류..... 어떤 데이터를 구분할 때 쓰이는 방법. 또한 회귀는 지도학습, 분류는 비지도학습에 주로 쓰인다고 답했는데,,,,ㅎㅎ.... 이렇게 말씀드렸던 것 같다. 미숙하게 대답을 했기에 약간의 후회가 남아서 다시 정리해본다. 먼저 강화, 지도, 비지도학습이 있다. 이 중 회귀, 분류는 지도학습(supervised learning)에 속한다. 아까 면접에서 분류는 비지도학습에 주로 쓰인다고 했는데, 이것은 군집화와 착각해서 나온 답임을 알게됬다. 생활코딩에서 회귀 : 예측하고 싶은 종속변수(정답 레이블, y)가 숫자일 때 사용한다. 분류 :.. 2022. 1. 14.
정규화(Normalization)와 표준화(Standardization)를 하는 이유 머신러닝 모델링을 하기 전에 기계학습을 하는 이유가 무엇일까? 보통 머신러닝 모델을 만들기 위해선 데이터를 전처리해준다. 이 과정에서 사용되는 것 중 하나가 정규화 또는 표준화이다. 왜 이것을 사용하는가 하면 데이터의 컬럼 별 단위 또는 범위를 통일시켜준다고 생각하면 편하다. 컬럼별로 뭐 시간, km, kg 등 다양한 단위를 가지는데 이러면 직접적인 비교가 불가능하다. 예를 들자. 넌 180cm인데 난 80kg이니깐 내가 더 몸이 좋아! 라고 한다면 상대방이 나를 이상한 사람 취급할 것이다. 또는 토익 300점(990점 만점)인데 넌 학교 영어점수가 100점(100점만점)이니 내가 더 영어를 잘하네.라고 한다면 똑같이 나를 이상한 취급을 할 것이다. 이처럼 다른 데이터로 비교한다는 것이 말이 안되므로 이.. 2022. 1. 5.
평균, 분산, 표준편차의 이야기 우리는 늘 분산이 작으면 안정적이야 이렇게 말한다... 대체 왜 그럴까? 이런 의문을 가지고 검색을 해봤다. 늘상 쓰이는 거지만, 왜일까?란 의문을 계속 제시해야 한다.. 명심하자... 먼저 평균은 그 데이터가 가리키는 값이라 할 수 있다. 내가 90점을 받았는데, 평균이 얼마지? 라고 생각해본적이 다들 있다. 그 데이터의 평균이 50점이라고 하면 시험을 본 대부분이 50점 근처라고 생각할 것이다. 이처럼 평균은 그 데이터를 대표하는 값으로 표현이 가능하다. 평균을 알았고 아 내가 남들보다 엄청 잘봤네~ 이런 생각이 들면서 이제 다음으로 생각할 것이다. 그럼 내가 몇 등급이지?? 1등급? 2등급? 이 때 나오는 것이 표준편차, 분산이다. 분산의 사전적 의미는 '그 확률변수가 기댓값(평균)으로부터 얼마나 .. 2022. 1. 4.
확률분포(Probability Disstributions)- 이산확률분표(이항분포만) * 이 공부노트는 프로그래머스 인공지능 데브코스 강창성 교수님의 강의를 바탕으로 제작되었습니다. 확률이론은 ML을 이해하기 위해 필수. 자세하게 이해할수록 여러가지 알고리즘에 대해 접근하기 쉬워진다. 결합확률분포를 완벽하게 풀 수 있다면 모든 문제를 풀 수 있다고 하십니다.(갈길이 멀다.) 오늘은 이산확률분포에 대해 알아보도록 한다. 밀도추정(Ensity Estimation) N개의 데이터 $\mathbf{x}_1,\ldots\mathbf{x}_N$ 주어졌을 때 분포함수 $p(\mathbf{x})$를 찾는 것이다. $p(\mathbf{x})$를 파라미터화된 분포로 가정하고, 회귀에선 $p(t|\mathbf{x})$, 분류에선 $p(\mathcal{C}|\mathbf{x})$로 추정한다. 그 다음 분포의 .. 2021. 6. 7.
선형대수(Linear algebra)-행렬, 행렬의 곱, 성질(2) * 이 공부노트는 프로그래머스 인공지능 데브코스 강창성 교수님의 강의를 바탕으로 제작되었습니다. * 이번엔 진짜 이해하기 힘들 것을 알아가면서 정리해보자(지친다ㅜㅜ). 치역(Range), 영공간(Nullspace) 벡터의 집합($\{x_1,x_2,\ldots,x_n\}$)에 대한 생성(span) $$\mathrm{span}(\{x_1,x_2,\ldots,x_n\}) = \left\{ v : v = \sum_{i=1}^n\alpha_i x_i, \alpha_i \in \mathbb{R} \right\}$$ 행렬의 치역 (range) 행렬 $A\in \mathbb{R}^{m\times n}$의 치역 $\mathcal{R}(A)$는 A의 모든 열들에 대한 생성(span)이다. $$\mathcal{R}(A) =.. 2021. 6. 3.
선형대수(Linear algebra)-행렬, 행렬의 곱, 성질(1) * 이 공부노트는 프로그래머스 인공지능 데브코스 강창성 교수님의 강의를 바탕으로 제작되었습니다. 이제 배울 Deep learning을 이해할려면 반드시 선형대수, 행렬미분, 확률의 탄탄한 기초가 필요하다 하셨다. Transformer의 attention matrix : $$\mathrm{Att}_{\leftrightarrow}(Q, K, V) = D^{-1}AV, ~A = \exp(QK^T/\sqrt{d}), ~D = \mathrm{diag}(A1_L)$$(뭔소리야) 처럼 핵심 아이디어가 행렬에 관한 식으로 표현되는 경우가 많다. 그래서 선형대수와 행렬미분의 기초를 배운다음 PCA를 유도해보고자 한다. 기본 표기법(Basic Notation) $A\in \mathbb{R}^{m\times n}$ mxn의.. 2021. 6. 3.
확률과 통계 - 베이즈 정리 베이즈 정리. 빅데이터 분석 기사 필기를 공부하면서 한번쯤은 들어본 내용이다. 그런데 이게 ML에서 중요하다고 하니 다시 공부해서 기록해본다... 우선, 빈도주의 vs 베이지안 주의 빈도주의는 과거의 기록을 바탕으로 증거를 내밀고, 베이지안 주의는 이 주장에 대한 신뢰?도가 몇인지를 표시한다. 즉 과거의 내가 동전을 100번 던졌는데, 50%가 앞면이 나왔어. - 빈도주의 동전의 앞면이 나올거야! 란 주장의 신뢰도는 50%야! - 베이지안 주의 쉽지 않다... 여튼 불확실성을 정량적으로 표현이 가능하다? 라고 생각한다. P(A|B) : 사후확률 (posterior) P(B|A) : 우도or 가능도 (Likelihood) P(A) : 사전확률 (prior) 용어는 이렇게 된다... 나중에 ML에서 우도는 .. 2021. 6. 2.