Decision Networks and Value of Information

🖇️ YOUTUBE

COMPSCI 188 - 2018-10-23

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-17

Note

1. Decision Networks

   • MEU: 주어진 evidence가 있을 때 기댓값 utility 최댓값을 택한다.
   • BN을 통해 utility, action을 파악할 수 있고 각 action의 utility 기댓값을 계산한다.
   • chance nodes: 확률적
   • actions: 부모 노드가 없고 관찰한 evidence 대로 행동
   • utility node: action, chance nodes에 의존적
   • Action selection
     • 모든 evidence를 인스턴스화한다.
     • action node가 있다면 할 수 있는 모든 길을 세팅한다.
     • utility node의 부모 노드에 대한 사후 확률을 evidence에 따라 계산한다.
     • 각 action의 utility 기댓값을 계산한다.
     • utility가 최댓값인 action을 고른다.
   • E. g.) 날씨와 우산 → utility 계산

2. Decisions as Outcome Trees

   • expectimax/MDPs와 거의 동일
   • 루트 노드는 아무런 정보가 없는 {} 상태에서 각 action을 가져다주는 그 하위 트리의 utility 기댓값이라는 정보를 얻는다.
   • E. g.) 날씨와 우산 → forecase

3. Value of Information

   • utility의 측면에서 정보(BN의 variable, action 등)
   • 결정 네트워크에서 직접 변수 값을 계산할 수 있다. (변수를 보여줄 때 확률 값이 변함)
   • E. g.) value of information

4. VPI

   • E. g.) 날씨와 우산

   • Value of information: E’를 밝히는 게 먼저인지 이후인지에 따라 MEU가 얼마나 달라지는지 보여줌

     

   • nonnegative

     • $\forall E',e:VPI(E'|e) \geq 0$
     • evidence가 어떤 종류일지라도 VPI는 0 이상

   • nonadditive:

     • $VPI(E_j,E_k|e)\neq VPI(E_j|e)+VPI(E_k|e)$
     • $E_j$를 두 번 관찰해야 함

   • order-independent

     • $VPI(E_j,E_k|e)=VPI(E_J|e)+VPI(E_k|e,E_j) = VPI(E_k|e,E_j) + VPI(E_J|e)$

   • 정보 → 행동이 바뀌지 않으면 0, 행동이 바뀌면 가치가 생긴다. 이때 utility의 정도에 따라 정보의 가치를 판단할 수 있다.

   • 정보는 결정 네트워크의 노드를 관측한 값과 일치함

   • 현재 주어진 evidence의 조건부 확률에서 utility의 부모 노드와 Z가 독립적일 때 evidence를 기반으로 한 Z의 VPI는 0이다.

   • $If \;Parents(U) \perp Z | CurrentEvidence \;\; Then \;VPI(Z|CurrentEvidence)=0$

5. POMPDs

   

   • POMDP는 기존 MDP에 관측값 O와 관측값을 계산하는 함수 $P(o|s)$ 를 추가함
   • S에 대한 분포인 belief states b를 활용 → 이전 evidence에 기반으로 새로운 evidence를 예측할 때 확률 추론이 필요함

Review

• 지난 시간에 언급한 MEU와 관련된 VPI가 BN을 어떻게 얻어지는지 공부했다. 현재 evidence를 통해 지금 얻을 수 있는 utility의 기댓값 중 최댓값을 가져오는 action을 고르는 게 주요한 원칙. 그런데 이때 특정 정보가 주어지는 여부에 따라서 그 역시 달라진다는 사실을 볼 수 있었다.