Uncertainty and Utilities

🖇️ YOUTUBE

COMPSCI 188 - 2018-09-13

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-07

Note

1. Uncertain outcomes

   • Minimax를 선택할 때 global maximum을 놓칠 수 있다.
   • 상대방이 완벽하지 않다면 확률적으로 더 큰 값을 얻을 모험을 할 수 있다.

2. Expectimax Search

   

   • worst case vs average case: 평균 계산 시 확률적으로 더 큰 값을 위한 모험을 할 수 있는 근거

   • 최댓값 노드(max node): minimax 탐색과 동일

   • 기회 노드(chance node): 최솟값 노드와 동일하지만 결과가 불확실(상대방의 확률적 선택)

   • 평균적으로 더 큰 값(expected utilities)을 얻는 기회 노드를 선택하는 탐색 알고리즘

   • Markov Decision Process: expectimax 문제 해결 과정

     

3. Expectimax Pruning

   • Minimax와 달리 평균은 극단값에 영향을 받을 수 있기 때문에 pruning이 불가능

4. Depth-Limited Expectimax

   • evaluation function을 통해 특정 depth 노드의 근사치를 얻어낸다.
   • 트리 하위 노드로 깊이 들어갈 필요 없이 시간 절약 가능

5. Probabilities

   • random variable: 결과값 전체가 미정. 모든 확률 변수의 합은 항상 1
   • probability distribution: 결과값 분포가 가중치대로 할당
   • expectation: 결과에 대한 확률 분포 가중치를 곱한 값의 평균
   • probabilistic model → 어떻게 상대방이 특정 상태에서 행동하는가
   • chance node: 통제 불가능 확률 모델(환경, 상대방 등) → probabilistic tree
   • E. g.) Informed probabilities

6. 모델링 방향의 특징

   • 낙관적: 모든 best case를 적용하면 fail할 수 있음

   • 비관적: 모든 worst case를 적용하면 optimal한 값을 얻어낼 수 없음

     

7. Multi-Agent Utilities

   • 제로 섬 게임이 아니거나 player가 여러 명일 때 게임 트리
   • minimax 탐색 알고리즘을 일반화하여 사용함
   • terminal 노드가 score 튜플을 통해 표현
   • 주어진 조건에 따라서 다른 player와 협력 및 경쟁
   • 모든 plyer에 대해서 값을 전파해야 함

8. Utilities

   • minimax가 아니라 average utilities를 사용하는 이유
   • minimax는 모든 경우를 worst case로 인식하기 때문에 resonable choice를 할 수 없다.
   • minimax가 실용성을 얻으려면 모든 경우의 수에서 극단적인 경우가 이미 사라져야 함

9. Maximum Expected Utility

   • agent의 utility: utility 값을 제곱해 값이 변화한다면 선택 방향을 바꿀 수 있음
   • utility 확인: utility 정도를 확인할 수 있는 값을 반환하는 함수 필요
   • utility 평균: utility 값을 얻은 이후 어떻게 될지 확률적으로 표현하기 위함
   • rational preferences: transitivity → intransitive preferences의 agent는 fail, orderability, continuity, substitutability, monotonicity
   • MEU Principle: 평균을 통해 올바른 preference를 얻어낼 수 있음

Review

• Minimax 탐색 알고리즘은 worst case를 상정해 상대방과의 경쟁에서 우위를 점하려 한다. 하지만 상대방이 충분히 지능적이지 않다면, 적어도 확률적으로 그렇다면 낙관적으로 도전적인 모험을 하는 Expectimax 탐색 알고리즘이 더 많은 효용을 얻는다.
• Expectimax를 통해 agent의 utility를 계산 가능한 이유는 rational한 상황에서 확률 값을 사용한 값 계산, 즉 평균이 가장 적절하기 때문이다.
• human rationality에 대해서도 공부했는데, 이는 단순히 산술 계산과 인간이 느끼는 utility 파악이 상황, 금액 상 다르기 때문이다.