반응형 딥러닝 이론3 Batch Normalization hidden layer에서의 데이터들을 정규화함 장점 - 학습 속도를 향상시킬 수 있다. - 가중치 초기화(weight initialization)에 대한 민감도를 감소시킬 수 있다. - 모델을 regularization할 수 있는 효과가 있다. 2022. 5. 27. Loss Function 1. MSE(평균 제곱 오차) 가장 많이 쓰이는 loss function 중 하나이다. CNN feature 값들을 비교하는데 사용하는 방법 K는 노이즈가 포함된 이미지(생성된 이미지)를 의미한다. I1,I2는 Image MXN사이즈 두 이미지의 픽셀들을 의미한다. 1-1 Pixel-wise MSE Loss -생성된 이미지와 실제 이미지 사이의 pixel value들을 MSE를 통해서 비교 계산 G(ILR) : generated network를 통해 생성된 high-resolution image IHR : sampled된 high-resolution image 2. PSNR(Peak Signal-to-Noise Ratio, 최대 신호에서의 노이즈 비율) -영상의 화질에 대한 loss를 평가 , 손실이 적.. 2022. 4. 30. 전이학습 (Transfer Learning)과 파인튜닝(pine tuning) 전이학습(Transfer Leaning) 전이학습(Transfer Leaning)이란 pretrain 된 모델들을 기반으로 그 모델의 출력층을 바꾸어 학습하는 기법이다. pretrain 된 모델의 최종 출력층(classifier)를 보유중인 데이터에 대응하는 출력층으로 바꾸고, 교체한 출력층의 결합 파라미터를 가지고 있는 데이터를 통해 다시 학습시켜 weight를 update합니다. 이때 입력층과 가까운 부분의 weight는 새로이 학습한 값으로 변화시키지 않습니다. 이러한 기법을 사용하는 전이학습은 보유중인 데이터가 적더라도 이미 가중치가 update 되어있는 학습된 모델을 활용하기 때문에 좋은 성능의 딥러닝을 실현할 수 있다는 것이 장점입니다. 파인튜닝(pine tuning) 파인튜닝(pine tun.. 2022. 3. 31. 이전 1 다음 반응형
