• 과학과 공학에서 최적화
  • 목적함수를 정의하고 최적해를 구함
• 기계 학습의 최적화
  • 훈련집합을 통해 학습, 새로운 샘플 예측 → 일반화 능력이 뛰어나야함

목적함수: 교차 엔트로피와 로그우도

평균제곱 오차 (MSE)

$$ e=\frac{1}{n}\sum_{i=1}^{n}(y_i-o_i)^2 $$

• 오차가 클수록 값이 크므로 벌점으로 좋음

• 하지만 위에서 처럼 단점 有
  • 일반 시그모이드 적용 時 왼쪽 기울기가 더 큼
    • e 값이 오른쪽이 더 큼 → 오류

교차 엔트로피 (Cross Entropy)

• P의 엔트로피 + KL 다이버전스
• MSE의 단점 개선
  • 오류가 더 크면 더 큰 벌점 부과

softmax 활성함수

$$ o_j=\frac{e^{sj}}{\sum_{i=1,c}e^{si}} $$

• softmax는 max를 모방
  • 출력 노드의 중간 계산 결과에서 최댓값은 더욱 활성화하고 작은 값은 억제
  • 모두 더하면 1이됨
• one-hot code를 smoother
• 최대값이 아닌 값을 억제하여 0에 가깝게 만든다는 의도 내포
  • 학습 샘플이 알려주는 부류에 해당하는 노드만 보겠다는 로그우도와 잘 어울림

로그우도 목적함수

$$ e=-\log_{2}o_y $$

• MSE나 Cross Etropy같이 모든 노드 사용 X
  • 하나의 노드만 사용
    • 샘플의 레이블에 해당하는 노드의 출력값
• softmax와 결합하여 사용 多