EM알고리즘

[머신러닝 원리] 9-4. 확률적 모델(Probabilistic Models)

앞 포스팅 요약 앞에서 우리는 complete data가 주어졌을 때 maximize likelihood를 구했다. 데이터가 complete하다는 말은 데이터가 모든 변수에 대해 주어졌다는 의미이다. 데이터가 어떤 모델로부터 생성되었다고 가정을 하고 그 모델을 찾는 것이 task였다. 모델을 주어진 데이터로부터 추정을 했는데 고정된 structure(model)에서 parameter를 찾는 것이다. (=베이지안 네트워크의 CPT entry들로 구성된 likelihood 식에 log를 취해서 미분한 뒤 최대가 되는 entry를 찾는다.) 이번 포스팅은 complete data가 아닌 hidden variables로 데이터가 구성된다면 어떻게 모델을 추정할지 알아보겠다. EM 알고리즘 EM 알고리즘이란 주어..