- BN은 joint distribution을 암시적으로 인코딩하는 네트워크
- 연결된 모든 부모 노드의 곱(product)으로 조건부 확률 구성(BN reconstruction formula)
- 노드와 간선(방향): 재구성을 통해 확률 구성
-
joint probability distribution에서 확률적 양을 계산하기
-
posterior probability, explanation(argmax)
-
enumeration: evidence, query*, hidden 변수 포함 모든 변수 $X_1, X_2,...X_n$ → query* 변수 $Q$ 구하기
- evidence와 일치하는 모든 엔트리를 확률 분포 테이블에서 고른다.
- hidden variables $H$ 합으로 query, evidence 구하기: $P(Q,e_1...e_k)=\sum_{h_1...h_r}P(Q,h_1...h_r,e_1...e_k)$
- 정규화 $*\frac{1}{Z}$
- enumeration vs variable elimination: 모든 joint distribtuion을 결합하는 대신 joining과 marginalizing을 interleaving
-
다차원 배열로 확률이 원소
-
$P(X,Y)$에 관한 joint distribution 테이블 → 총 합계는 1, 각 확률 분포 파악 가능
-
$P(x,Y)$ 를 테이블에 골라 합 → $P(x)$
-
$P(Y|x)$를 고정된 변수 $x$에 대해 구할 수 있음
-
$P(Y|X)$는 모든 $x, y$에 대해서 $P(y|x)$를 구한 조건부 확률 테이블
-
$P(y|X)$는 고정된 변수 $y$, 모든 변수 $x$에 대해 구한 $P(y|x)$의 집합
-
로컬 CPT에 기록된 factor 통해 계산
-
알려진 값이 선택, 모든 종류의 factor 결합해 hidden 변수 제거, 마지막으로 정규화
-
DB join과 동일
-
join하는 변수에 대한 모든 factor를 가져와 새로운 facotr를 만든다.
-
$\forall r, t\,\,\,\,:\,\,\,\,P(r,t)=P(r) \,merge \,P(t|r)$
-
marginalization을 통해 factor를 골라내고, variable 값의 합을 구한다.
-
DB projection과 동일
-
다차원 배열 → 저차원 배열로 특정 변수에 대한 확률 합을 구해 marginalization 가능
-
변수 선택 → 변수 join → 곧바로 variable elimination(marginalize early)
-
Evidence
- evidence가 있다면 이 evidence를 선택한 factor로 시작하기
- query, evidence를 제외한 나머지 변수를 제거하기(VE) → join and marginalize
- query, evidence의 선택 joint 테이블이 결과 값으로 반환
-
Ordering
- hidden variable $Z$
- query variable $X_n$
- evidence $Y_n$
- $Z$ 관련 확률 join and marginalize: $P(Z),P(X_1|Z),...,P(X_{N-1}|Z)$
- best ordering 찾기: NP-hard
- ordering이 largest factor 크기에 영향을 미칠 수 있음
- 무방향 사이클이 없는 방향 그래프
- 효율적인 ordering을 찾을 수 있음
- BN inference를 위한 cutset conditioning 만족
- CSP에서 polytree만 남도록 최소한의 노드 집합 cutset을 골라 트리 알고리즘으로 CSP를 해결 가능
- BN을 통해 cutset을 구하고 이를 통해 CSP 알고리즘에 사용