Naive Bayes

🖇️ YOUTUBE

COMPSCI 188 - 2018-11-01

🗒️ MATERIAL

CS 188: Introduction to Artificial Intelligence, Fall 2018

🗓️ 2022-02-20

Note

1. Machine Learning
   • ML: 데이터/경험에서 모델링
   • 파라미터, 구조, 은닉 컨셉 학습
2. Classification
   • 스팸 필터링
     • 이메일 → 스팸 또는 일반 이메일 분류
     • 스팸 또는 이메일 분류된 데이터셋
     • 스팸과 일반 이메일을 결정하는 요소 feature 학습
     • 어떤 부분을 feature로 삼을 지는 연구자의 선택
     • 특정 단어 빈도, 텍스트 패턴, 대문자/소문자, 숫자, 특수문자 사용 여부 등
   • 숫자 인식
     • 이미지 또는 픽셀 그리드 → 0~9 숫자
     • 각 숫자 분류된 데이터셋
     • 숫자를 구별하는 feature 학습
     • 숫자 구성 요소, 비율, 원 개수 등
   • 의학 진단, 사기 감지, 자동 채점기 등 분류 기법은 ML의 주요 사용 방법 중 하나
3. Model-Based Classification
   • 모델 기반 분류 기법
   • 입력값을 feature로, 출력값을 label로 하는 랜덤 변수를 모델링
   • feature에 따라 조건화된 label의 분포 파악
   • 모델의 구조, 학습할 파라미터 등 파악해야 한다.
   • 숫자 나이브 베이즈
4. Naive Bayes

   • $P(Y,F_1...F_n)=P(Y)\prod_i P(F_i|Y)$

   • feature가 클래스에 어떻게 의존적인지(즉 값이 변화함에 따라 어떻게 달라지는지) 파악한다.

   • 파라미터의 총 개수는 선형적

   • label 변수 $Y$에 대한 posterior 분포를 계산해야 한다.

     

   • 각 label에 대한 evidence와 label의 결합 확률을 얻어낼 수 있다. 즉 $\prod$로 묶어낸다.

   • 이후 evidence 확률을 모두 합한다.

   • 정규화한다.

     

   • 추론을 하는 데 사용된다.

   • 모델링 파라미터에 관한 확률 파악

   • 데이터를 통해 특정한 분포가 형성될 수 있다.

   • 각 label에 대한 확률과 feature을 사용한 확률을 파악한다.

   • 텍스트 나이브 베이즈

5. ML Modelings

   • 훈련 데이터셋에서 학습한 모델링이 테스트 데이터셋에서 얼마나 잘 작동할 것인지 확인해야 한다.

     

   • 훈련 데이터셋에서 최적화된 모델이 다른 데이터셋에서 얼마나 일반화될 정도로 성능이 좋을지 확인할 때, 과적합되지 않았는지 확인한다.

   • 훈련 데이터 개수를 늘리거나, 정규화의 정도 또는 가설이 사용하는 공간의 복잡도를 줄일 때 과적합을 방지할 수 있다.

   • 과소적합일 때에는 훈련 데이터에도 학습이 잘 되지 않았다는 뜻이다.

   • 과적합/과소적합 이슈가 있기 때문에 훈련 데이터를 맞추는 정확도로는 모델의 성능을 판단할 수 없다.

   • 모델의 종류에 따라 과적합을 나타내는 방법이 서로 다르다.

     

   • 랜덤 변수 분포를 파악해 전체 샘플 중 해당 변수의 개수를 확률로 사용할 수 있다.

   • 현재까지 찾은 샘플 기반으로 ‘가장 가능할 법한’ 확률이다.

   • likelihood of the data를 최댓값으로 만드는 추정이다.

   • $L(x,\theta)=\prod_iP_{\theta}(x_i)$

   • $\theta_{ML}=arg max_{\theta}P(X|\theta)=argmax_{\theta}\prod_iP_{\theta}(X_i)$

   • $\theta_{MAP}=argmax_{\theta}P(\theta|X)$

     

   • Laplace Smoothing을 통해 모든 결과값을 k 번 더 관찰한 것으로 만든다. 즉 보지 않은 사건을 다루기 위해 flatten하는 방법이다.

   • 이때 k는 prior 사전 확률이 얼마나 강한 영향을 미치는지 보여준다.

   • 나이브 베이즈에 대한 smoothing을 통해 과적합을 방지할 수 있다.

   • label 1 조건부 확률 대 label 2 조건부 확률 vs label 2 조건부 확률 대 label1 조건부 확률 등 유의미한 파라미터를 꺼내 쓸 수 있다.

   • 파라미터 label 확률 및 조건부 확률 두 개를 통해 하이퍼 파라미터를 사용해 튜닝할 수 있다.

   • NB에 사용할 feature에 다양한 요소를 통해 에러를 방지할 수 있다.

Review

• ML에서 사용되는 나이브 베이즈를 공부했다. 복습하는 기분으로 차근 차근 들으니 기본적인 개념이 재미있다.
• 다음 시간부터 DL에 관해 공부할 것 같은데, CS-188에서 가르치는 DL은 어떤 방향을 중점적으로 공부할지 기대된다.