대학원 공부

[머신러닝 원리] 12-2. 강화 학습(Reinforcement Learning)

강화학습에서 Policy는 어떤 상황에서 내가 어떤 행동을 취할 것인지 결정하는 전략을 얘기하는 것이다. Value Fuction은 앞으로의 리워드를 생각했을 때, 이 state가 얼마나 좋은 것인지, 또는 이 action이 얼마나 좋은 것인지 정량적으로 값을 제시하는 함수이다. 에이전트는 기대되는 discounted return을 최대화하는 Action을 선택한다. 이 discounted return은 타임 t에서 어떠한 행동을 할 때 앞으로 얻어질 리워드들의 합을 계산하는 것인데 이때 discount rate(1보다 작음)를 이용하여 리워드에 discount하는 것을 말한다. 여기서는 감마가 discount rate이다. 어떤 액션 At를 취함으로써 바로 받는 리워드는 Rt+1이고 그 다음 t+1에 ..

[에러] Please ensure this object is passed to the `custom_objects` argument.

딥러닝 모델을 학습할 때 항상 너무 답답한건 바로 학습 속도이다. 또한 코랩을 사용하는 유저라면 학습데이터가 크거나 모델의 복잡도가 높을 수록 툭하면 램 사용량이 터져버리는 상황이 발생한다. 이런 상황을 대비하기 위해 어렵게 학습한 모델을 로컬 저장소에 저장하는 방법을 많이 쓴다. 나도 역시나 과제를 하다가 틈만 나면 코랩이 터져버리는 현상 때문에 모델을 저장하고 다음 날 모델을 불러왔는데,다음과 같은 에러가 발생하였다. Unknown metric function: psnr_metric. Please ensure this object is passed to the `custom_objects` argument. 에러문을 해석해보면, 내가 커스텀한 모델과 매트릭스를 불러 올 때, 에러가 생기는 모양이다. ..

[머신러닝 원리] 12-1. 강화 학습(Reinforcement Learning)

머신러닝에서 지금까지 우리가 공부한 것은 지도학습과 비지도학습으로 나뉜다. 비지도학습은 데이터들을 유사한 것들끼리 나누는 정도였다면 지도학습은 주어진 데이터에서 타겟과의 관계를 파악하여 feature들과 mapping하여 모델링하는 방법이었다. 강화 학습은 어떤 에이전트가 미지의 환경에 들어갔을 때 어떠한 행동을 해야할지 결정하는 것이라 한다. 이세돌을 이긴 알파고는 이 강화 학습을 이용한 알고리즘을 활용하면서 최근에 매우 각광받는 주제이다. 제일 처음으로 Finite Markov Decision Process(finite MDP)에 대해 알아보겠다. 위 모형에서는 시간이 discrete하게 흘러간다는 가정하에 진행된다. 어떤 time t에 에이전트가 St라는 상황에 처해 있고, At라는 action을 ..

[Tensorflow] 텐서플로 데이터셋 불러오기

텐서플로우 공식 홈페이지에 소개되어 있는 데이터셋을 가져오는 포스팅이 많이 없기도 했고, 일반 데이터셋이랑은 다루는 방법이 많이 달라서 끄적여본다. 처음에 이런 형식의 데이터셋과 친해지는데 많이 힘들었당 ㅎ https://www.tensorflow.org/datasets/catalog/overview 데이터세트 | TensorFlow Datasets Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Goog..

[머신러닝 원리] 10-1. Features

머신러닝의 성공과 실패는 feature에 달려있다.는 말처럼 feature가 매우 중요하다. 이번 포스팅은 feature의 선택과 가공에 대해 알아보겠다. decision running (C4.5 model)에 내장되어 있는 변수선택법은 충분치 않다. 왜냐하면 tree가 진행될 수록 적은 데이터가 남게 되어 변수 선택을 진행하기에, 통계적으로 타당성을 크게 가지지 못하기 때문이다. 극단적인 예로 타겟변수와 별로 연관이 없는 feature임에도 불구하고 계속 tree를 진행하다보면 결정적인 feature인 것처럼 도출이 되는 경우도 있다. Knn(IBL model) 또한 연관성이 없는 attribute가 포함되어 있을 경우 성능이 현격히 낮아지게 된다. 연관이 없는 attribute와의 거리까지 계산함으로..

[머신러닝 원리] 9-4. 확률적 모델(Probabilistic Models)

앞 포스팅 요약 앞에서 우리는 complete data가 주어졌을 때 maximize likelihood를 구했다. 데이터가 complete하다는 말은 데이터가 모든 변수에 대해 주어졌다는 의미이다. 데이터가 어떤 모델로부터 생성되었다고 가정을 하고 그 모델을 찾는 것이 task였다. 모델을 주어진 데이터로부터 추정을 했는데 고정된 structure(model)에서 parameter를 찾는 것이다. (=베이지안 네트워크의 CPT entry들로 구성된 likelihood 식에 log를 취해서 미분한 뒤 최대가 되는 entry를 찾는다.) 이번 포스팅은 complete data가 아닌 hidden variables로 데이터가 구성된다면 어떻게 모델을 추정할지 알아보겠다. EM 알고리즘 EM 알고리즘이란 주어..