Probability

🖇️ YOUTUBE

COMPSCI 188 - 2018-10-02

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-12

Note

1. Uncertainty
   • Evidence: 관측된 변수. agent는 이 state가 어떤 값인지 알고 있다.
   • Unobserved variables: agent는 아직 이 state의 값을 모른다.
   • Model: 무작위 변수의 집합. agent는 아직 evidence를 통해 관측하지 않은 변수를 판단할 수 있다.
   • 확률적 추론(probabilistic reasoning)을 통해 균등 분포에서 posterior 분포를 파악할 수 있다.
2. Random Variables
   • 불확실성을 가지고 있는 상태를 보여주는 무작위 변수
   • 대문자로 표시 (E.g. 비가 올 확률 R, 온도 T 등)
   • 무작위 변수는 도메인이 있음 (E.g R in {true, false} T in {hot, cold})
3. Probability Distributions
   • 각 값이 발생할 확률을 연결한 분포 → 테이블 형태의 확률 값 반환
   • 각 확률은 0 이상, 모든 변수 x가 일어날 확률 총합 1(normalization 정규화)
   • $\forall x \,\,\,\,P(x)\geq 0, \,\,\,\,\sum _x P(X=x) = 1$
4. Joint Distributions
   • 주어진 각 변수에 대한 실수 값 할당
   • 도메인 크기 d의 n개 변수일 때 분포 크기: $d^n$ → 탐색 과정에서는 인스턴스화하므로 공간 사용 O
   • 특정 변수끼리 상호 작용할 수 있음
   • CSP는 확률 분포 모델과 달리 특정 도메인의 제약 조건을 만족하는 진리 테이블
5. Events
   • 사건은 결과 outcome의 집합 E
   • joint distribution 테이블을 통해 사건의 발생 확률을 얻어낼 수 있음
   • partial assignment가 중요
6. Marginal Distributions
   • 일부 변수를 제거한 하위 테이블 → 테이블 크기 감소
   • 행 값끼리 더해 marginalization할 수 있음
   • $P(t)=\sum_sP(t,s)$
7. Conditional Probabilities
   • $P(a|b)=\frac{P(a,b)}{P(b)}$
   • b가 일어난 뒤 a가 일어날 확률은 b의 확률 중 a와 b가 같이 일어난 확률
   • 다룬 확률 변수가 고정한 뒤 얻어낸 확률 분포
   • evidence에 따라서 특정 확률이 변할 수 있음
8. Normalization Trick
   • 조건부 확률 계산에 필요한 joint distribution 파악을 위해 multiple-array로 파악할 수 있다.
   • evident와 일치하는 행을 joint distribution에서 남기고 그 합으로 나눈다.
   • X에 대한 분포를 파악할 때 evidence를 기반으로 한 조건부 확률과 marginal 분포를 구분
9. Probabilistic Inference

   • 알고 있는 확률 → 원하는 확률 계산

   • 조건부 확률: evidence가 주어질 때 belief 계산 가능

   • 새로운 evidence → 확률 업데이트

   • enumeration을 통한 확률적 추론

     

   • 모든 테이블의 변수 계산으로 인한 지수 크기의 계산

   • evidence 추가 → 남아 있는 값 sum out해서 새로운 belief

10. Rules
    • The Product Rule
      • 조건부 확률 → joint distirubtion
      • $P(y)P(x|y)=P(x, y)$
    • The Chain Rule
      • product rule 일반화
      • $P(x_1,x_2,x_3)=P(x_1)P(x_2|x_1)P(x_3|x_1,x_2)$
      • $P(x_1,x_2,...x_n)= \prod iP(x_i|x_1...x{i-1})$
    • The Bayes’ Rule
      • 두 변수에 대한 joint distribution을 분해하는 방법
      • $P(x,y)=P(x|y)P(y)=P(y|x)P(x)$ → $P(y)$로 양변을 나눈다.
      • $P(x|y)=\frac{P(y|x)}{P(y)}P(x)$
      • 주어진 조건부 확률 → 다른 조건을 도출 가능
      • prior + evidence → posterior

Review

• 조건부 확률을 통한 베이즈 정리를 활용하기 위한 기본 단계를 공부했다. evidence가 주어질 때 현재 agent가 고를 확률 분포를 업데이트할 수 있다는 게 오늘 강의의 가장 중요한 핵심이다. 즉 주어진 변수를 바탕으로 (일종의 함수적인 계산으로) 어떻게 앞으로 확률 분포를 선택할 수 있을지 정할 수 있다.