전이학습 (Transfer Learning)과 파인튜닝(pine tuning)

전이학습(Transfer Leaning)

 

 

전이학습(Transfer Leaning)이란 pretrain 된 모델들을 기반으로 그 모델의 출력층을 바꾸어 학습하는 기법이다.

 

pretrain 된 모델의 최종 출력층(classifier)를 보유중인 데이터에 대응하는 출력층으로 바꾸고, 교체한 출력층의 결합 파라미터를 가지고 있는 데이터를 통해 다시 학습시켜 weight를 update합니다.

 

이때 입력층과 가까운 부분의 weight는 새로이 학습한 값으로 변화시키지 않습니다.

 

이러한 기법을 사용하는 전이학습은 보유중인 데이터가 적더라도 이미 가중치가 update 되어있는 학습된 모델을 활용하기 때문에 좋은 성능의 딥러닝을 실현할 수 있다는 것이 장점입니다.

 

파인튜닝(pine tuning)

 

파인튜닝(pine tuning)은 위에 언급했듯이 입력층에 가까운 파라미터는 갱신하지 않는 것과 달리 입력층에 가까운 층의 결합 파라미터도 학습된 값으로 갱신하는 경우를 말한다.

 

다만 입력층에 가까운 파라미터는 학습률을 작게 변화시키거나 변화시키지 않고, 출력층에 가까운 부분의 파라미터의 학습률을 크게 설정하여 학습을 진행합니다.

 

이때 결합 파라미터의 초깃값은 학습된 파라미터를 사용합니다.

 

전이학습과 마찬가지로 파인튜닝은 학습된 모델을 기반으로 학습을 진행하기 때문에 직접 준비한 데이터가 적어도 높은 성능의 딥러닝 구현이 가능하다는 점이 장점입니다.