• 수학은 목적함수를 정의함
• 목적함수가 최저가 되는 변수를 찾는 것이 최적화 이론의 목적
  • 최적화 이론은 제어를 반영하여 알고리즘 구축
    • 제어: 규제, 모멘텀, 학습률, 멈춤조건, ...

$$ P(y=B|x=A) \\x가\ A인\ 조건하에\ y가\ B일\ 확률 P $$

$$ P(y,x)=P(x|y)P(y)=P(x,y)=P(y|x)P(x)\\ P(y|x)=\frac{P(x|y)P(y)}{P(x)} \\ 베이즈\ 정리 $$

엔트로피 (Entropy)

$$ I(p)=-log_b(p)\\p:\ 어떤\ 이벤트가\ 일어날\ 확률\\b:\ base(보통\ 2) $$

• 불확실성을 나타냄

교차 엔트로피 (Cross Entropy)

• P의 엔트로피 + KL 다이버전스
  • KL 다이버전스: 두 확률분포 사이의 거리를 계산할 때 주로 사용

최적화

• 목적 함수의 값이 최소화된 parameter의 값을 구하는 방법

매개변수 공간의 탐색

• 높은 차원에 비해 훈련집합의 크기가 작아 참인 확률분포를 구하는 일은 불가능
• 따라서 모델의 매개변수 공간을 탐색하는 전략을 사용
• 모델의 매개변수 공간
  • 특징 공간보다 수배 ~ 수만 배 넓음
• 최적화 문제 해결
  • 낱낱탐색 알고리즘 (Exhaustive Search)
    • 모든 공간 탐색
    • 차원이 높아지면 적용 불가능
  • 무작위 탐색 알고리즘 (Random Search)
    • 아무 전략 없는 순진한 알고리즘

경사 하강 알고리즘

$$ \theta_{new}=\theta_{old}-pg\\g=d\theta\\p=학습률 $$

• 배치 경사 하강 알고리즘 (Batch Gradient Descent)
  • 샘플의 기울기를 평균한 후 한번에 갱신
• 스토캐스틱 경사 하강 알고리즘 (Stochastic Gradient Desent)
  • 한 샘플의 기울기를 계산한 후 즉시 갱신
    • 샘플은 보통 random sample