Adversarial Search

🖇️ YOUTUBE

COMPSCI 188 - 2018-09-11

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-06

Note

1. AI Game player

   • 체커: 해결, 체스: 전문가~해결, 바둑: 전문가~해결
   • 팩맨: 고스트 피하기, 음식 먹기, 파워 펠릿을 먹고 고스트를 먹기 등

2. Games

   • 결정적 or 확률적
   • 플레이어의 수
   • 제로 섬
   • perfect information (바둑, 체스 등 게임 도중 현재 주어진 모든 상황을 알고 있는지) or imperfect information (포커 등)
   • 각 상태에서 어떤 움직임을 보일지 추천하는 전략(정책) 계산 알고리즘

3. Deterministic Games

   • states S
   • players
   • actions
   • transition function
   • terminal test
   • terminal utilities (SXP → R, 승리, 무승부, 패배 또는 값)

4. Zero-Sum Games ↔ General Games

   • agent1 ↔ agent2 서로 다른 utility 가진다. (zero-sum)
   • agent는 각각 독립적인 utilitiy 가진다. (general)

5. Game Trees

   • Singel-Agent Tress
   • Adversarial Game Trees in Pacman
   • TIc-Tac-Toe Game Tree

6. Minimax

   

   • player가 차례대로 행동 (player가 동시에 행동하는 게임과는 다른 유형)
   • Bottom to Top → 각 차례의 player의 목표(max, min)
   • terminal state 도착 시 utility를 반환할 때까지 max_value, min-value 번갈아 실행
   • DFS의 successor function의 utility를 각 min, max 단계에서 계산해서 root로 올린다.
   • optimal vs perfect: 상대 player가 실수할 확률에 따라 다음 더 도전적인 선택을 고를지 정할 수 있다.
   • efficiency: DFS와 동일
   • time complexity: O(b^m)
   • space complexity: O(bm)

7. Alpha-Beta Pruning

   

   • info가 없을 때 solution을 찾기 위해 모든 tree를 봐야 한다. (↔ CSP)

   • info가 있으면 terminal node가 아니라도 pruning할 수 있다.

   • subtree의 계산을 save할 수 있다.

     

   • alpha: 경로상 루트 노드까지 Maximizer의 가장 좋은 선택지

   • beta: 경로상 루트 노드까지 Minimizer의 가장 좋은 선택지

   • max-value, min-value를 고르는 함수에서 successor에 alpha, beta를 함께 넘긴다.

   • pruning은 minimax 값 계산에 아무런 영향을 미치지 않고 연산량을 줄인다.

   • intermediate 노드 값이 틀릴 수 있다. → 루트 노드의 자식 노드

   • 특정 subtree의 값이 실제 값이 아니라 ‘보장 가능한(guarantee)’ 값이다.

   • perfect ordering: Time complexity → O(b^(m/2))

   • meta-reasoning: 무엇을 연산할지 연산하는 문제

8. Resource Limits

   • 실제 게임에서 리프 노드까지 확장 불가능
   • Depth-Limited Search → terminal utilities를 non-terminal utilities로 대체
   • optimal: 근사치 사용하기 때문에 정확하지 않음
   • depth limit: 깊을 수록 근사치의 정확도가 높음
   • iterative deepening: DFS + BFS 결합 알고리즘 사용
   • Starvation: evaluation function에 따라 다음 단계의 score를 제대로 계산하지 못할 수 있다. → 특정 feature의 weighted sum을 통해 local evaluation function 계산
   • depth: 깊이 볼 수록 더 정확한 값을 얻어낼 수 있다. (A*와 마찬가지로 depth 깊을 수록 연산량이 늘어나는 trade-off 있음)
   • evaluation function의 expansion ordering에 따라 alpha-beta pruning의 효율성이 달라진다.

Review

• Single-agent game trees에서 player가 path sequence, total cost 등을 통해 path를 얻어냈다. 반면 multiple-agents game에서 player가 alternate하다면 총 score를 max, min하기 위해 선택한다.
• 이때 상대방이 “무엇을 고르는가”를 사전에 고려하고 있어야 하는데, 이를 meta-reasoning이라 할 수 있다. 특히 alpha-beta pruning에서 minimax를 계산하는 데 드는 연산량을 줄일 수 있다.
• alpha-beta pruning을 할 때 child ordering을 통해 pruning이 되는 subtree 역시 조정 가능하다.
• alpha-beta pruning 연산 시 이상적인 환경(모든 리프 노드 값 계산)을 대체하기 위해 non-terminal 노드까지의 깊이를 근사치로 대체한다. 이때 DFS와 BFS의 장점을 결합한 iterative deepening을 통해 depth-limited search를 할 수 있다.