• 불완전한 데이터가 지닌 원천적 성질 이용
• 표현 학습 (feature learning, representation learning)은 준지도 학습과 전이 학습의 토대

준지도 학습

• 레이블이 있는 집합 & 레이블이 없는 집합

  • 레이블이 없는 샘플이 더 많음

• 레이블이 없는 데이터 helpful?

  • might be
  • 적합한 모델을 사용하는 경우 성능 향상

  

알고리즘

• 생성 모델

  1. 레이블이 없는 데이터와 레이블이 있는 데이터를 사용해 훈련집합 확률분포 추정
     • 가우시안 혼합 사용
  2. 각 가우시안은 자신에 속한 샘플을 보고 부류를 정함
  3. 각 부류는 자신에 속한 가우시안을 통해 $P(x|y)$ 추정
  • 한계점
    • 가우시안 분포에 맞는 데이터 집합이어야만 가능
    • 가우시안 개수를 미리 정확히 알기 어려움

• 현대적 생성 모델

  

  • GAN을 사용
  • 가짜 샘플에 해당하는 c+1이라는 레이블을 추가로 사용
  • 분별기 D의 목적함수는 세가지 항을 가짐
    • 가짜 샘플 c+1에 배정하는 항
    • 레이블이 없는 샘플이 c+1에 배정되는 것을 막는 항
    • 레이블이 있는 샘플을 해당 부류로 배정하는 항

• 자가 학습 (Self Learning)

  1. 레이블이 있는 데이터를 사용하여 학습기 학습
  2. 학습된 모델을 통해 레이블이 없는 데이터 레이블 부여
  3. 레이블이 부여된 데이터 중 신뢰도가 높은 r% 샘플을 재외하고 반복
  • 소속이 애매한 샘플에 민감한 상황 발생

• 협동 학습 (co-training)

  1. 특징 공간 x를 2개의 부분공간 x_subset1, x_subset2로 구분
  2. x_expand에 레이블이 있는 집합을 넣음
  3. 나뉜 특징공간 2개를 갖고 각각 학습기를 학습함
  4. 레이블이 없는 데이터 분류함
  5. 신뢰도 높은 샘플을 x_expand로 옮김
  6. 옮긴 샘플의 레이블을 추가함

  • 학습기 2개가 서로 가르치는 방식으로 수정하려면

    

• 그래프 방법

  1. 샘플 사이의 유사도에 따라 그래프 구성
     • ex) k-nearest neighbors로 에지 이어줌
     • 복잡한 비선형 분포를 반영하기 위한 정교한 그래프 구축 방법 필요
  2. 최소 분할 적용해 분할선 찾음
  3. 같은 부분집합에 속하는 샘플에 같은 부류 레이블 부여

전이 학습 (Transfer Learning)

• 과업(task)이 달라지는 경우
  • 응용분야가 달라질 수 있음
    • 힘듬
• 도메인이 달라지는 경우
  • 특징 공간이 다른 경우와 특징 공간은 같은데 데이터의 확률분포가 다른 경우로 구분
  • 소량의 데이터만 수집해도 높은 성능 가능