기계학습

[머신러닝 원리] 9-4. 확률적 모델(Probabilistic Models)

앞 포스팅 요약 앞에서 우리는 complete data가 주어졌을 때 maximize likelihood를 구했다. 데이터가 complete하다는 말은 데이터가 모든 변수에 대해 주어졌다는 의미이다. 데이터가 어떤 모델로부터 생성되었다고 가정을 하고 그 모델을 찾는 것이 task였다. 모델을 주어진 데이터로부터 추정을 했는데 고정된 structure(model)에서 parameter를 찾는 것이다. (=베이지안 네트워크의 CPT entry들로 구성된 likelihood 식에 log를 취해서 미분한 뒤 최대가 되는 entry를 찾는다.) 이번 포스팅은 complete data가 아닌 hidden variables로 데이터가 구성된다면 어떻게 모델을 추정할지 알아보겠다. EM 알고리즘 EM 알고리즘이란 주어..

[머신러닝 원리] 9-3. 확률적 모델(Probabilistic Models)

Naive Bayes Models 확률적 모델에서 분류에 가장 많이 쓰이는 Naive Bayes Models에 대해 알아보겠다. 먼저, 비교 대상으로 logistic function에 대해 얘기해보겠다. logistic function의 결과값은 확률이라고 알고 있는 사람이 많다. 사실 sigmoid의 값일 뿐 그 결과값을 확률로 생각하는 것이다. 그리고 binary class에만 적용 가능하다는 점이 특징이다. 하지만 나이브베이즈 모델은 binary 뿐만 아니라 multiple class에도 적용가능한 모델이며, 실제로 각 class에 속할 확률을 계산하여 내놓는다. c(타겟변수)와 연관된 attribute가 X1, X2, ..., Xn이라면 위와 같은 그림으로 표현할 수 있고 각 attribute는 ..

[머신러닝 원리] 9-2. 확률적 모델(Probabilistic Models)

확률적 모델에 관해 알아보기 전에 이 확률적 모델의 기반인 베이지안 네트워크에 대해 알아보았다. 2022.11.15 - [대학원 공부/기계학습의원리] - [머신러닝 원리] 9-1. 확률적 모델(Probabilistic Models) 본격적으로 확률적 모델을 학습하기에 앞서 Statistical Learning에 대해 알아보겠다. 예시를 통해 설명해보겠다. 아래 그림에서 빨간 색 동그라미는 cherry 맛 캔디, 초록 색 동그라미는 lime 맛 캔디이다. 각 bag별로 캔디가 다르게 구성되어 있다. 하나만 설명하자면, cherry candy가 75%+lime candy가 25%로 구성 된 bag이 전체 bag 중 20%라는 의미이다. 어떠한 bag을 선택했을 때, 이 bag이 h1, h2, h3, h4, ..

[머신러닝 원리] 9-1. 확률적 모델(Probabilistic Models)

확률론적 모델 및 학습에서는 베이지안 네트워크를 수단으로 많이 사용한다. 그렇다면, 베이지안 네트워크란 무엇일까? 베이지안 네트워크 예를 들어 설명해보겠다. 교재에 있는 예시를 첨부한다. 위 그림은 Burglary network라는 예시이다. Burglary는 도둑이 들었다는 의미이며, Earthquake는 지진이 났다는 의미이다.각 사건이 일어날 확률은 0.001, 0.002이다.도둑이 들거나 지진이 났으면 알람이 울리게 되고Alarm의 조건부 확률이 Alarm옆의 표로 기재되어 있다.알람이 울리면 John과 Mary가 나에게 전화를 거는데 각 사건의 조건부 확률 또한 그림에 기재되어 있다. (먼저 말하자면, 이렇게 표로 기재되어 있는 확률 분포표를 이용하여 베이지안 네트워크 식을 구성하게 된다.) 위..