A Neural Algorithm of Artistic Style

2015년에 arXiv를 통해 공개된 논문으로, 평범한 사진에 화가가 그린 그림의 색, 질감을 입혀 마치 화가가 그린 그림처럼 보이도록 하는 이미지 합성 알고리즘을 제안하였다.

 

✅ Summary

CNN, VGGNet을 이용해 사진 및 그림을 style과 content 요소로 구분한 후, 이 두가지를 재조합하여 새로운 artistic image 생성을 목표로 함

CNN의 convolution layer별로 이미지가 어떻게 변화되어 가는지 시각화

1) content image(우측 하단 이미지)의 경우, layer가 깊어질수록 원본 대비 detail한 pixel은 소실되지만 high-level image인 전체적인 윤곽인 건물의 모습 유지

2) style image(우측 상단 이미지)의 경우, layer가 깊어질수록 style image 원본에 가까워짐

---> 같은 layer의 feature map의 채널 간 correlation(Gram Matrix)으로 정의하였기 때문에 위와 같은 현상 발생

 

 

✅ Neural-style Transfer란?

content image와 style image가 주어졌을 때, 윤곽과 형태는 content image와 유사하게 보존하면서 텍스쳐나 스타일만 원하는 style image와 유사하게 바꾸는 것

 

 

✅ Neural style 예시 및 결과

A Neural Algorithm of Artistic Style의 사진 결합 결과

 

예시

 

 

✅ 알고리즘

출처 : https://velog.io/@chy0428/DL-Neural-Transfer-Algorithm

전체 알고리즘!!!!

 

 

[ 위 알고리즘 설명 ]

1) content image p, style image a에 대해 합성할 이미지인 x를 noise image로 초기화

2) 각 이미지 p, a, x를 ImageNet pretrained VGG19에 foward pass 수행

3) 이미지 p와 x에 대해 content feature 기반의 content loss 계산

4) 이미지 a와 x에 대해 style feature 기반의 style loss 계산

5) content loss와 style loss를 합해 total loss 계산

6) Total loss를 back propagation해서 noise image x를 업데이트. 여기서 네트워크 자체의 weight parameter는 업데이트 되지 않으며, 생성하려는 입력 이미지 x의 픽셀 값들만 업데이트 됨

​

[ total loss ]

- p : photograph, a : artwork, x : generated image(처음에는 랜덤한 white noise)

- alpha, beta : 일종의 하이퍼파라미터로, 두 loss 항의 비중을 변경시키기 위해 사용

---> 하나의 layer에서 온 p와 content representation과 여러 layer에서 온 a의 style representaion과의 distance가 최소화 되도록 back propagation해서 노이지 이미지를 조금씩 변형하여 생성

​

​

[ content loss ]

- F : 노이즈에서 생성된 이미지 x를 넣었을 때, l번째 layer에서 i번째 채널인 i번째 feature map의 j번째 위치의 값

- 합성될 영상 x를 네트워크에 feed forward하여, x를 입력으로 feature map들이 계산된 네트워크에서 레이어 I의 feature map

​

​

[ style loss ]

- artwork에서 만든 gram matrix A와, x에서 만든 gram matrix G를 최소화

- 여러 layer를 합산하므로, 각 layer의 contribution에 따라 가중치(w)를 곱해줌 --> 식 5번 참고!