Bayes’ Nets 2

🖇️ YOUTUBE

COMPSCI 188 - 2018-10-11

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-14

Note

1. Bayes’ Net

   • 변수를 각 노드로 표시한 방향, acyclic 그래프로 노드당 CPT를 통해 조건부 확률 표시

   • 특정 조건을 전제한 상태의 joint distirbution을 파악하기 쉽다.

     

   • N개의 불리언 변수의 joint distribtuion: $2^N$ ↔ k개의 부모를 가지는 N개 노드의 BN: $O(N2^{k+1})$

   • BN의 경우 음수의 경우까지 포함해서 $2^k *2$

   • full joint distribution을 계산할 때 BN을 통해 공간 절약 가능, local CPT 활용이 더 쉬움

2. Conditional Independence

   • (조건적) 독립은 분포(distribution)의 특징

   • Z가 주어질 때 X, Y 독립적임을 알기 위해 Z의 확률 분포 필요

     

   • chain rule(변수들과의 관계 표현)을 통해 BN의 조건부 독립을 가정할 수 있음

   • BN 그래프를 고를 때 만들어진 가정을 이해하기 위한 모델링

   • evidence Z가 주어질 때 특정 노드 X, Y의 독립성 여부를 증명할 수 있음

   • X → Y → Z: X, Z는 Y를 통해 연결되어 있는 반례 존재

3. D-separation
   • Causal chain: X → Y → Z
     • $P(x,y,z)=P(x)P(y|x)P(z|y)$
     • y가 주어지면 x, z는 서로 독립적: $P(z|x,y)=\frac{P(x,y,z)}{P(x,y)}=\frac{P(x)P(y|x)P(z|y)}{P(x)P(y|x)}=P(z|y)$
   • Common cause: Y → X, Z
     • y가 주어지면 x, z는 서로 독립적: $P(z|x,y)=\frac{P(x,y,z)}{P(x,y)}=\frac{P(y)P(x|y)P(z|y)}{P(y)P(x|y)}=P(z|y)$
   • Common effect: X, Y → Z
     • x, y는 서로 독립적
     • z가 주어지면 x, y는 서로 독립적이지 않음: effect 관찰 자체가 확률에 영향을 미침
   • General Case: BN → evidence가 주어질 때 두 노드가 독립적인지 확인

     • Reachability: evidence 노드를 음영 처리한 뒤 그래프 상의 경로 확인

       

     • 경로가 active한지 inactive한지 구분할 수 있음

       

     • d-separation을 통해 확인 → shaded된 노드를 제외하고 노드가 연결되는 경로가 존재하는가?

     • 경로가 하나라도 존재할 때 두 노드 간의 독립성은 보장할 수 없음 ↔ 모든 경로가 존재하지 않을 때 독립적이라고 보장할 수 있음

4. Structure Implications

   • d-separation을 통해 BN의 특정 노드 간의 독립 여부를 확인할 수 있음 → active path 확인

   • 조건부 독립을 이루는 모든 리스트를 확인할 수 있음

     

   • $\{X\perp Z|Y\}, \,\,\,\,\,\{X\perp Z|Y\}, \,\,\,\, \{X\perp Z\},\,\,\,\,\{\}$

     

Review

• 각 변수의 확률 분포 테이블을 계산할 때 full joint distribution 계산이 아니라 BN의 조건부 독립 CPT를 통해 연산 비용을 줄일 수 있다. → BN을 사용하는 이유
• Evidence가 주어지면 연결된 두 노드의 경로를 확인하고 active 경로가 있는지 체크하자.
• D-separation을 통해 조건적 독립성을 그래프 자체에서 확인할 수 있지만 비용 O