Hidden Markov Models

🖇️ YOUTUBE

COMPSCI 188 - 2018-10-25

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-18

Note

1. Markov Models
   • 관측한 정보의 순서가 필요할 때: 모델링을 할 때 공간/시간을 도입해야 한다.
   • 특정 타임 스탬프 t의 X의 값: 상태 state
   • 시작 상태 $P(X_1)$ 트랜지션 함수 $P(X_t|X_{t-1})$
   • 타임 스탬프 t에 따라 어떻게 현재 상태가 변화하는지 확률 $P(X_t)$를 통해 확인할 수 있다.
   • 각 타임 스탬프는 이전 타임 스탬프에만 의존적: 1st order Markov property
   • MM은 MDP와 같지만 action을 고려하지 않는 모델링
   • BN 추론을 사용할 수 있다.
   • E. g.) 날씨
   • 특정 타임 스탬프 t의 $P(X)$를 구하기 위해서는 시작 상태와 트랜지션 함수만 필요함
   • forward simulation는 선형 방정식으로 쉽게 계산 가능
   • $P(x_t)=\sum_{x_{t-1}}P(x_{t-1},x_t)=\sum_{x_{t-1}}P(x_t|x_{t-1})P(x_{t-1})$
2. Stationary Distributions
   • 타임 스탬프 t가 무한에 수렴할 수록 $P(X_t)$는 CPT 트랜지션 함수에 의존적임
   • 시작 상태를 어떤 값으로 설정해도 반복 과정을 통해 $P_{\infty}$를 얻을 수 있음
   • $P_{\infty}(X)=P_{\infty+1}(X)=\sum_xP(X|x)P_{\infty}(x)$
   • E. g.) 날씨
   • Page Rank
     • 웹 그래프 상의 페이지 순위를 매기는 개념
     • 웹 페이지는 상태 state를 가진다.
     • 시작 분포는 페이지마다 균등 uniform하다.
     • 트랜지션 함수 균등 확률 c가 랜덤 페이지로 이어지고 1-c는 랜덤 아웃링크 페이지로 전환한다.
     • 구글 1.0은 높은 순위를 가진 페이지대로 키워드를 포함한 페이지를 반환하는 모델
   • Gibbs Sampling
     • BN의 evidence variable가 주어질 때 query variable 추론 가능
     • 주어진 확률 분포에 따라 반복해서 $X_j$를 $\frac{1}{n}$에 따라 충분히 샘플링을 반복한다면 원하는 분포의 샘플을 얻을 수 있다.
3. Hidden Markov Models

   • MM은 beliefs 업데이트를 위해 더 많은 관측값이 필요

   • HMM은 각 타임 스탬프 t에 결과 output이 영향을 미치는 것을 포함한 모델링

   • E. g.) 날씨 HMM

   • 미래 상태는 현재 상태를 통해 과거 상태에 의존적이다.

   • 현재 관측값은 주어진 현재 상태를 제외한 다른 모든 상태에 독립적이다.

   • evidence 변수는 hidden state에서 서로 연결되어 있기 때문에 의존적이다.

     

   • 필터링 또는 모니터링을 통해 타임 스탬프 t에 따른 분포 업데이트 값을 확인할 수 있다.

   • $X_1 \rightarrow E_1: P(x_1|e_1)=P(x_1)P(e_1|x_1)$

   • $P(x_2)=\sum_{x_1}P(x_1x_2)=\sum_{x_1}P(x_1)P(x_2|x_1)$

   • $current\,belief\,B(X_t)=P(X_t|e_{1:t})$

   • $P(X_{t+1}|e_{1:t})=\sum_{x_t}P(X_{t+1},x_t|e_{1:t})$

   • $B'(X_{t+1})=\sum_{x_t}P(X'|x_t)B(x_t)$

     

   • 재귀적으로(타임 스탬프 t의 경과에 따라) 다음 단계의 belief 파악할 수 있다.

     

   • 관측값이 추가될 때 belief는 특정 방향으로 가중치가 더 추가된다.

     

   • forward alogrithm에 따라서 각 타임 스탬프 t가 추가될 때마다 $P(X|evidence)$를 업데이트할 수 있다.

   • evidence를 업데이트하는 방법이다.

Review

• 시작 상태 값에 상관없이 충분한 시간 t가 주어진다면 확률 분포가 특정 값으로 수렴된다는 게 수학적으로는 받아들일 수 있었지만 직관적으로는 받아들이기 어려웠다. MM의 힘을 알게 되는 시간이었다.
• HMM 과정에서 이전 BN의 조건부 독립 과정에서 공부한 내용이 연계되고, 이후 belief 업데이트 과정 역시 이해가 필요하다.