네이버 웹툰 '마주쳤다'에 적용된 GAN (generative adversarial networks) 기술

딥러닝을 이용한 컴퓨터 비전 기술은 이미지를 단순히 이해하는 단계를 넘어, 실제와 비슷한 이미지를 그려낼 수 있는 단계로 발전하고 있습니다. 이미지 생성 기술의 한 종류인 GAN (generative adversarial networks)은 2014년 NIPS 학회에서 발표된 이후로 다양한 분야에서 연구 및 적용되고 있습니다.

GAN은 상반되는 목적을 가진 두 모듈이 대결하는 구조를 통해 이미지 생성을 학습합니다. Generator와 discriminator가 그 두 모듈입니다. Generator는 실제 데이터를 학습해 그와 비슷한 거짓 데이터를 생성해내며, 최대한 실제 데이터와 비슷한 거짓 데이터를 생성하는 것이 목적입니다. Discriminator는 입력된 데이터가 실제 데이터인지 거짓 데이터인지 판별하며, 실제 데이터와 거짓 데이터를 잘 구분해내는 것이 목적입니다.

[GAN (generative adversarial networks)의 학습 과정]

이때 GAN이 작동하는 원리는 다음과 같습니다. Generator가 거짓 데이터를 생성하면 discriminator는 실제 데이터와 generator가 생성한 거짓 데이터로부터 실제와 거짓을 구분합니다. Generator는 discriminator를 속이지 못한 정보를, discriminator는 generator로 인해 속은 정보를 입력 받아 학습하고 이 과정을 반복합니다. 학습이 반복되면 generator는 점점 실제와 가까운 데이터를 생성하게 되고, discriminator는 점점 데이터의 실제와 거짓을 잘 구분하게 됩니다. 충분히 학습된 generator를 이미지 생성에 이용하게 되는 것입니다.

GAN 논문이 발표된 이후에 많은 후속 연구들이 발표되어 왔습니다. 우리는 이번에 GAN에 관련된 알고리즘을 이용해 실제 인물의 사진으로부터 웹툰화된 이미지를 생성하는 시도를 했습니다. 이 경우 실제 데이터는 실제로 웹툰 작가가 그린 인물의 웹툰화 이미지, 거짓 데이터는 웹툰 작가의 그림을 흉내낸 이미지가 됩니다.


[학습된 generator로부터 얻은 웹툰화 이미지]

네이버 웹툰 '마주쳤다'에서 GAN 알고리즘을 이용해 인물 사진을 웹툰화하는 시도는, 주로 연구 과제에 머물러 있던 GAN 알고리즘이 수많은 유저가 경험할 수 있는 실제 서비스에 적용되었다는 점에서 큰 의미가 있습니다. 이번 프로젝트에서 서비스와 GAN 연구를 결합하고, 엔지니어링 최적화를 하는 작업은 네이버 웹툰의 개발자들과의 협력으로 이루어졌습니다. 네이버 웹툰에서 쌓아온 노하우와 기술을 바탕으로 GAN이 실생활에서 더욱 다양한 방식으로 응용될 수 있음을 기대할 수 있게 되었습니다. 네이버 웹툰에는 GAN 외에도 다양한 기술들이 응용되는 시도가 계속되고 있습니다. 이와 같은 여러 연구 기술들의 상용화 시도가 향후 새롭고 흥미로운 서비스들의 탄생으로 지속되기를 바랍니다.

네이버 웹툰 '마주쳤다' 바로가기

Related Articles