자료:

기계 학습의 정의

• 학습 = 지속적인 행동의 변화나 그 잠재력의 변화. 또는 지식을 습득하는 과정
• 기계 학습 = 학습 → 기계화
  • 기존: 문제해결 → 알고리즘 → 프로그램
  • 기계 학습: 문제해결 → 해결과정 → data → ML Algorithm →프로그램
  • 스스로 학습
    • 데이터 중심 접근방식
    • 경험 = 데이터

기계 학습 개념

• 예측 문제 (prediction problem)
  • 회귀
    • 목표치가 실수인 경우
  • 분류
    • 목표치가 부류값인 경우 (class)
• 가장 정확하게 예측할 수 있는, 즉 최적의 매개변수를 찾는 작업
  • 초기값은 random value로 초기화
• 궁극적인 목표
  • 훈련집합에 없는 새로운 샘플에 대한 오류를 최소화
  • 일반화 능력 최대화 (generalization)
    • 테스트 집합에 대한 높은 성능
• 목적함수를 통해 정확한 모델을 찾음

  • MSE (평균제곱오차)

    • 선형 회귀(linear regression)을 위한 목적 함수

    $$ J(\theta) = \frac{1}{n}\sum_{i=1}^{n}(f_\theta(x_i)-y_i)^2 $$

  • 기계학습 알고리즘을 통해 J 함수가 최소화되는 세타값을 구함

특징 공간에 대한 이해

d-차원 데이터

• 직선 모델
  • 매개변수 수 = d + 1
• 2차 곡선 모델
  • 매개변수 수 증가
    • d^2 + d + 1

특징 공간 변환과 표현 학습

• 선형 분리 불가능 (linearly non-separable)

  

  • 분류에 유리한 특징 공간으로 변환 시 유리
    • mapping

• 표현학습 (representation learning)

  • 유리한 특징공간을 자동으로 찾는 작업
  • 딥러닝은 신경망을 이용해 계층적인 특징 공간을 찾아냄

• 점간의 거리 = similarity

  • Euclidean distance

    $$ dist(a, b) = \sqrt{\sum_{i=1}^{d}(a_i - b_i)^2} $$

    • 차원에 무관하게 수식 적용 가능

  • 차원의 저주 (dimensionality curse)

    • 차원이 높아짐에 따라 발생하는 문제들
    • 차원이 높아지면 거리차이가 줄어듬

데이터에 대한 이해

• 기계학습 문제는 단순한 수학 수식으로 표현 불가능
  • 자동화 과정 필수