• 딥러닝은 깊은 신경망을 학습시키는 알고리즘
  • 깊은 신경망 3개 이상

딥러닝의 등장

• 1980년대 깊은 신경망 아이디어
  • 실현 불가능
    • 그레디언트 소멸 문제
    • 훈련집합 부족
    • 계산 시간

딥러닝의 기술 혁신 요인

• 컨볼루션 신경망
• GPU 가격 인하
• 학습데이터 늘어남
• 다양한 활성함수 등장
  • ReLU
• 규제 기법 적용
• 예비학습 기법

특징 학습의 부각

• 다층 퍼셉트론
  • 은닉층 = 특징 추출기
  • 얕은 구조
    • 낮은 성능
  • 수작업 특징 구상 후 신경망에 입력
• 딥러닝
  • 특징 추출을 학습으로 설계
    • 직접 학습
  • 통째 학습 가능 (end-to-end learning)
• 특징학습 (feature learning) = 표현 학습 (representation learning)
• 특징 학습이 강력해짐에 따라
  • 기존 응용 성능 향상
  • 새로운 응용 창출
    • 생성 모델, 협력 모델 등

깊은 다층 퍼셉트론

구조와 동작

• 깊은 MLP (DMLP, deep MLP)의 구조
  • 입력층 (d+1개 노드), 출력층 (c개 노드)
• 동작은 MLP와 같음
  • 은닉층이 많아짐