Markov Decision Processes 2

🖇️ YOUTUBE

COMPSCI 188 - 2018-09-20

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-09

Note

1. MDPs

   • transition function: 탐색 문제의 successor와 다르게 상태 s를 상태 s’로 확률적으로 변환하는 함수
   • policy: map of states to actions
   • utility: sum of discounted rewards
   • values: expected future utility from a state → 해당 상태에서 ‘얻을 것이라 기대되는’ utility’ (max node)
   • q-values: expected future utility from a q-state (chance node)

2. Optimal Quantities

   

3. The Bellman Equations

   

   • 최적의 값을 분해 → 미래의 optimality를 위해 현재 값을 plug in
   • value iteration을 통해 최적화(k+1 단계 V* 계산을 위해 k 단계 V* 값 반복 사용 등)

4. Convergence

   • $V_k$ vectors가 수렴할지 어떻게 보장하는가?
   • 트리 최대 깊이가 M일 때 $V_M$은 실제 untruncated 값을 hold한다.
   • discount가 1 미만이다.

5. Policy Evaluation

   • 제공받은 정책이 “얼마나 좋은지” 점수를 통해 판단할 수 있음
   • 고정 정책(fixed policies)이 있을 경우 평가가 더 쉽다.
   • $\pi^$가 존재한다면 $\pi^$가 제시하는 방향 그대로 탐색
   • 고정 정책 $\pi$를 통해 $V^{\pi}(s)$ 계산 가능
   • E. g.) 항상 우측 방향, 항상 직진 → 동일한 MDP에 대해 두 가지 정책이 있을 때 전체 트리에서의 값이 더 높은 정책을 선택
   • 벨만 방정식을 통해 K+1 단계의 V를 업데이트
   • 각 iteration 당 $O(S^2)$

6. Policy Extraction

   

   • 값을 바탕으로 정책을 도출함
   • optimal value $V^(s)$ → expectimax를 통해 chance node Q-value를 계산함 → $\pi^(s)$
   • 강화 학습과 관련

7. Policy Iteration

   • policy evaluation + policy extraction

   • 최적 값으로 수렴하는 알고리즘 → 벨만 방정식으로 업데이트

   • Policy iteration의 문제

     • $O(S^2A)$, 속도 느림
     • 각 state의 최댓값은 거의 변하지 않음
     • policy가 value 수렴보다 전에 수렴

   • 문제 해결 방법

     

     • Policy evaluation: 수렴할 때까지 고정 정책에 대해 utilities 계산
     • Policy improvement: policy를 업데이트함

8. Value iteration vs Policy iteration

   • value iteration: iteration할 때마다 값과 정책을 업데이트
   • policy iteration: 고정 정책으로 utilities 업데이트, evaluation 이후 새로운 policy 선택

9. Reinforcement Leanring

   • Exploration: 모르는 변수를 알기 위해서 action을 통해 정보를 얻어야 함
   • Exploitation: 알고 있는 것을 사용 가능(Policy 등)
   • Sampling: 값을 반복적으로 얻어야 함
   • → MDP가 있을 때 “어떻게” 행동해야 하는가?

Review

• 최적값 → value / policy iteration
• 특정 policy에 해단 값 계산 → policy evaluation
• 값을 policy로 변환 → policy extraction