Texture Synthesis Using Convolutional Neural Networks

사진을 특정한 화풍으로 바꿔주는 것으로 질감의 패턴 이용한 기술이다.

 

✅ Summary

Texture(질감)은 일종의 반복되는 패턴이므로, Texture synthesis의 목적은 어떤 sample texture로부터 새로운 sample texture를 만드는 것

--> 바꾸고 싶은 이미지인 content image와 따라하고 싶은 화풍 이미지인 style image 필요

 

 

✅ 알고리즘

[ 과정 ]

1) 입력 이미지가 variable이 됨 ----> 위 사진을 보면 왼쪽과 오른쪽 모두 같은 레이어를 차용하고 사용된 파라미터 수도 같으나, 입력이 다르기 때문!

2) content image(texture image)를 input으로 하는 neural net 구조 생성

3) 이와 같은 파라미터를 사용하는 neural net 구조를 재생성

4) 새로 만든 neural net에 random noise를 input으로 줌

5) random noise가 neural net layer를 거치며 생기는 값들과 원래 input 이미지를 사용한 neural net layer의 값들과 최대한 일치하도록 random noise input 변경

---> random noise가 최초로 입력되면, 지속적으로 학습을 거쳐 변환된 이미지가 완성하게 됨

6) input 학습

7) Gram matrix 간의 유사도를 비교해서 서로 비슷해지도록 input 학습

​

===> texture model은 결국 feature correlation 계산과 동일

​

​

[ Feature Correlation ]

image input이 convolution layer를 통과하면서 feautre mapd을 형성하게 되며, 각각의 단계별 feautre map의 상관계수를 비교하여 얼마나 비슷한 이미지인가를 판별하는 원리

​

​

[ Gram matrix ]

Gram matrix의 (i, j)는 i번째 필터와 j번째 필터의 correlation 값을 의미

--> Gram matrix 값이 높다는 의미는 해당 필터 2개가 겹치는 구간의 패턴이 자주 나오는 패턴이라는 것

​

​

[ Texture generation ]

입력 이미지가 주어지면 이들의 gram matrix를 계산하고, 이를 비슷하게 하는 X_b를 찾는 과정

 

 

✅ 결과

layer 별 모방된 결과

---> 컨볼루션 layer가 올라갈 수록 input image의 큰 단위를 보겠다는 의미

---> 상위 layer의 gram matrix일수록 더 큰 texture를 나타내며, 생성 이미지에 맞는 layer 선택

​

---> A : 파라미터 수에 변화를 주면서, B: Convolution layer별 결과, C : 랜덤으로 초기화

---> 파라미터 수를 늘릴수록 그림이 정밀해지며, 상위 레이어를 활용했을 때 결과가 좋았고, 랜덤으로 초기화하였을 떄는 결과가 좋지 않음. 지지직 이미지가 나옴