Loss Function

1. MSE(평균 제곱 오차)

 

가장 많이 쓰이는 loss function 중 하나이다. CNN feature 값들을 비교하는데 사용하는 방법

 

MSE 수식

MSE 수식 2

K는 노이즈가 포함된 이미지(생성된 이미지)를 의미한다.

I1,I2는 Image MXN사이즈 두 이미지의 픽셀들을 의미한다.

 

 

1-1 Pixel-wise MSE Loss

 

pixel-wise mse 수식

 

-생성된 이미지와 실제 이미지 사이의 pixel value들을 MSE를 통해서 비교 계산

G(ILR) : generated network를 통해 생성된 high-resolution image

IHR : sampled된 high-resolution image

 

 

2. PSNR(Peak Signal-to-Noise Ratio, 최대 신호에서의 노이즈 비율)

 

-영상의 화질에 대한 loss를 평가 , 손실이 적을수록 높은 화질

PSNR 수식

R : 픽셀에 들어갈 수 있는 값의 최대값

 

MSE와 PSNR은 서로 역수관계에 있다.

 

-> PSNR을 높이기 위해 MSE를 낮추도록 학습이 진행되는데 이는 너무 많이 smoothing 되어 high frequency 부분 결핍되어 있고, perceptually가 불만족스럽다는 단점(PSNR 수치는 높지만 실제 눈으로 인식하였을 때는 크게 개선되지 않은 것처럼 보이는 현상)이 나타난다.

 

 

 

 

3. Perceptual loss

 

Perceptual loss : 각각의 이미지를 pretrained CNN model에 통과시켜 얻어낸 feature map을 비교하는 loss

 

 

3-1. VGGLoss

 

SRGAN 논문에서 소개된 loss function으로 GAN이 생성한 HR(high-resolution) 이미지와 Original 이미지를 pretrained VGG19에 통과시켜 얻은 feature map (VGG19 network 속 i번째 maxpooling layer 전 activation 후 j번째 convolution에 의해 얻어진 feature map) 사이의 유클리디안 distance를 구하여 content loss를 구한다.

 

VGG loss 수식