Markov Decision Processes 1

🖇️ YOUTUBE

COMPSCI 188 - 2018-09-18

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-08

Note

1. Non-deterministic Search

   • 현실 세계 → 확실한 결과를 예측 불가능
   • Grid World

2. MDPs: Properties

   

   • a set of states s $\in$ S
   • a set of actions a $\in$ A
   • a transition function T(s, a, s’)
     • 특정 상태 s에서 action을 통해 다른 상태 s’로 변환될 확률
     • action a in state s ‘→’ s’
     • model, dynamics
   • a reward function R(s, a, s’)
   • a start state, a terminal state
   • 비결정적 탐색 문제
   • E. g.) Expectimax 알고리즘
   • Markov: 현재 상태를 기반으로, 미래 상태와 과거 상태는 독립적임
   • MDP에서 action의 결과는 현재 상태에만 의존적
   • history가 아니라 current state에 따라서 이후 상태를 볼 수 있음

3. MDPs: Policies

   • 결정론적 탐색 문제: plan 목표
   • MDP: optimal policy $\pi ^*$(* → optimal) S → A
     • state → action을 알려주는 역할
     • expected utility를 최대화하는 optimal policy
     • policy를 만드는 데 계산 필요하지만 이후에는 필요 X
     • policy → a reflex agent (연산 필요 X)
   • E. g.) Expectimax 알고리즘 → 전체 policy가 아니라 각 state에서의 action만을 계산
   • 각 단계의 local 보상 값을 조정 → 선택지 및 확률적 경로가 변경됨
   • E. g.) Racing
   • MDP Search Trees: 각 branch의 state 확인 가능 (state, transition, action 등으로 구성)
   • Q-State: action을 골랐지만 아직 결과가 나오지 않은 상태. Q-state가 다른 상태로 결정되었을 때 label이 결정되고 state가 드러남

4. Utilities of Sequences

   • agent가 보상의 순서에 관해서 가지는 선호도: more or less, now or later → more and now
   • 1 (worth now) → $\gamma$ → $\gamma ^2$ : 지수적으로 감소(discount, penalize)
   • penalizing factor $\gamma$로 인해 future worth는 더 이상 큰 영향을 발휘 X
   • discount 설정을 통해 sequence of rewards 비교 가능

5. Preferences

   • rational: 합리적 선호를 따를 때 stationary preferences 가정 가능
   • $[a_1,a_2,...] \succ [b_1,b_2,...] \iff [r, a_1, a_2, ...] \succ [r, b_1, b_2,...]$
   • additive, discounted utility 통해 utilities 정의

6. Infinite Utilities

   • Finite horizon
     • Depth-limited Search와 유사하게 타임 스탬프를 제한함
     • non-stationary policies
   • Discounting 0 < $\gamma$ < 1
   • Absorbing state: 모든 policy에서 terminal state가 궁극적으로 나올 것임을 보장함

7. MDPs solution

   

   • MDPs가 입력될 때 policy가 결과값으로 출력됨

   • state의 값, q-state(=chance node)의 값, $\pi ^*$

   • 모든 state에 값이 있고 q-state는 여러 값이 transition에 따라 다른 값이 함께 존재 → 평균값으로 state 값 결정

     

   • 위 방정식을 통해 expectimax 값을 구함: 현재 상태 s에서 미래 상태 s’로 이어지는 값과 s’의 값에 discount된 값을 더하여 이를 모든 경우의 수에 평균함

   • E.g.) Racing Search Trees

8. Time-Limited Search

   

   • time-limited: $V^*(s)$ → 게임이 k 더 많은 단계에 종료할 때 s의 optimal 값

   • state s에서 depth-k expectimax 알고리즘으로 얻을 수 있는 값

   • 0 → 1 → ... → k 단계를 늘릴 때 얼마나 많은 보상을 얻을 수 있는지 확인

   • residual reward 계산은 optimal 값의 극한을 구하는 것과 유사

   • optimal play에서 최악의 경우를 피하는 경우를 상정할 수 있음

     

   • $V_0(s)$에서 시작, k 단계를 거치면서 expectimax를 구함

   • 현재 상태 s의 보상과 남아 있는 k 단계에서의 보상을 discount한 값을 더하고, 모든 경우를 카운트

Review

• Deterministic solution이 아닌 stochastic solution을 찾기 위해 MDP가 사용된다. 현재 상태를 기반으로 결정 상태 값의 집합을 통해 확률적으로 다음 상태를 확인할 수 있다. 기존 Expectimax와 유사한 점이 있지만, MDP는 ‘모든 가능한 미래 상태’를 구한다는 데에서 차이가 있다.
• MDP의 선택 기준은 ‘more and now’이다. 특히 절대적으로는 같은 값이라도 지금 상태에서 ‘곧바로’ 선택 가능하면 더 높은 값을 지니는데, discount를 통해 먼 미래 상태의 값의 중요도를 낮춰 계산할 수 있다.
• 상태 전이 그래프 등 MDP 계산이 필요한 상황에서 계산을 확장할 time step K를 통해 “얼마나 많은 값”을 얻는지 optimal하게 계산할 수 있다.
• MDP를 통해 결정 불가능한 상황에서 곧바로 빠른 선택을 할 수 있는데, 특히 discount라는 개념이 왜 나왔는지, 이를 통해 residual reward 계산이 어떻게 value iteration을 통해 결정되는지 나중에 다시 한 번 확인하자.