두 장의 강아지 사진이 얼마나 유사한지 측정한다고 하자. 어떤 사람은 강아지 종류가 같을 때 두 사진이 유사하다고 판단할 수 있고 어떤 사람은 강아지 털의 색이나 촬영 각도가 비슷할 때 유사하다고 볼 수 있을 것이다. 이처럼 두 이미지의 유사도를 정량적이고 객관적으로 측정하는 것은 어려운 일이다. 특히, 디자인 이미지는 유사하다고 판단하는 기준이 디자인 전문가의 주관적인 영향이 크기 때문에 결과를 신뢰하기 어려울 것이다.

국가수리과학연구소 산업수학혁신센터는 브랜드 및 디자이너 매칭 플랫폼을 운영하는 기업과 다양한 디자인 이미지 유사도 측정 및 디자인 산출물의 가치 평가 방법 연구라는 프로젝트를 진행하고 있다. 기업과 진행한 브랜드 광고 디자인 이미지의 유사도를 정량적으로 측정하는 방법을 소개하고자 한다. 이미지 유사도 측정은 다양한 연구 분야에서 활발하게 연구가 진행되고 있다. 하지만 산업과 데이터의 특성마다 유사도를 측정하는데 고려하는 요소가 다르기 때문에 모든 분야에 적용할 수 있는 방법은 찾기 어렵다. 디자인 이미지 유사도를 정확하게 정의하는 것은 불가능하지만 디자인 전문가들이 일반적으로 생각하는 유사한 이미지의 기준을 파악해서 이를 수학적으로 측정하는 모델을 개발하여 기업에 제시하였다.

색상 유사도 분석 모델

먼저 유사한 색상이 사용된 이미지를 선별하는 방법을 찾아서 제안하였다. 사람은 비교할 사진을 눈으로 봤을 때 비슷한 색상이 쓰였는지는 쉽게 확인할 수 있지만 컴퓨터는 사람처럼 이미지를 인식하지 않는다. 컴퓨터는 이미지를 픽셀의 색 농도 값으로 읽는다. 그래서 픽셀 단위로 유사한 색상이 얼마나 사용됐는지를 정량적으로 측정하는 방법을 찾았다.

일반적인 이미지는 빛의 삼원색인 빨간색, 녹색, 파란색의 정도를 수치로 나타내는 RGB 3채널의 프레임으로 구성되어 있고 이 세 가지 색을 가산 혼합하여 색을 표현한다. 값이 크면 이미지가 밝아지며 가산 혼합도 마찬가지로 색을 섞을수록 밝아지는 특징이 있다. 일반적으로 RGB는 웹디자인과 화면용 이미지, 모니터, 조명 등에 사용이 된다. 원 이미지 픽셀 단위의 색상 유사도를 측정해야 하기 위해서 먼저 RGB 데이터 형태를 C(Cyan), M(Magenta), Y(Yellow), K(Black) 형태로 변환했다.

CMYK 4개의 채널 형태의 이미지는 Cyan, Magenta, Yellow 3가지를 혼합해서 색을 만들고 Black을 추가해서 색상을 표현한다. CMYK는 물감의 혼합으로 더하면 더할수록 어두워져 최종적으로는 Black이 되는 감산 혼합을 의미한다. 즉, 혼합할수록 명도와 채도도 낮아지게 된다. RGB 형태가 빛에 기초해서 색상을 구현하는 원리라고 한다면 CMYK는 잉크에 기초한 색상 구현 원리이다. 여기서 CMYK로 변환한 이유는 RGB 채널을 사용하게 되면 이미지가 빨간색, 초록색, 파란색 계열인 경우 유사한 것을 잘 찾을 수 있지만 색이 섞이는 경우에는 만족할 만한 성능을 보장할 수 없다. 예를 들어서 이미지가 보라색인 경우 빨간색과 파란색의 가산 혼합으로 표현이 되어있다. 그래서 빨간색 이미지와 보라색 이미지는 눈으로 보기에 다름에도 불구하고 RGB 채널별로 유사도를 측정하게 되면 경우 R 채널에서의 유사도가 지나치게 높게 나와서 적절한 측정이라고 판단하기 어렵다.

두 이미지 색상의 유사도를 측정하기 위해서 C, M, Y, K 각 채널 픽셀의 농도 값(1차원 스칼라)을 이미지 크기(가로×세로)의 개수가 있는 샘플들의 분포로 보고 두 분포를 비교하는 방법인 Wasserstein 거리로 채널별 색상 분포 유사도를 측정하였다. (여기서 Wasserstein 거리는 두 확률 분포의 거리를 측정하는 방법으로 직관적으로 확률 분포를 옮기는데 발생하는 최적의 이동으로 설명할 수 있다.)

유사 객체 존재 여부 및 국소적인 특징의 유사성 측정 모델

두 번째로 이미지 내 유사한 객체가 있는지를 찾거나 국소적인 디자인의 구조 특징 유사도를 측정하기 위해서 사전 학습된 딥러닝 CNN(Convolutional Neural Network) 필터를 활용하는 방법을 적용하였다. CNN은 이미지 분석에서 주로 사용하는 기술로 사람의 시신경 구조를 모방한 딥러닝 기술이다. 필터를 입력 데이터와 컨볼루션 연산을 해서 입력 데이터를 탐색하고 특징들을 추출한다. 입력 이미지가 딥러닝 CNN 컨볼루션 연산을 거치게 되면 low-level feature부터 high-level feature까지 레이어 층의 깊이에 따라 다른 특징으로 변환된다. 예를 들어, 자동차 이미지가 컨볼루션 연산을 거치면 입력 근처에 있는 low-level feature의 경우 색상 정보도 존재하고 선, 무늬의 이미지로 변환된다. 그리고 더 깊은 층으로 가게 되면 세부적이고 구체적인 구조를 가진 결과가 나오게 된다.

이런 CNN 모델의 잘 알려진 사실을 이용하여 VGG19의 사전 학습된 CNN 필터를 활용한 컨볼루션 연산을 디자인 이미지에 적용하였다. VGG19의 사전 학습된 파라미터는 공개되어 있다. VGG19의 16개 컨볼루션 연산을 디자인 이미지에 적용해서 이미지를 변환했고 변환된 이미지 간의 코사인 유사도를 계산하여 유사도를 측정하였다.

디자인 이미지 유사도 측정 모델

색상 유사도를 먼저 측정해서 이미지 데이터를 필터링하고 설명한 사전 학습된 VGG19 필터로 컨볼루션을 적용하여 구조적인 유사도를 측정하여 추천 결과를 제시하는 방법으로 모델을 설계하였다. 아래는 브랜드 레퍼런스 이미지에 대해서 우리가 제안한 모델로 유사도가 높다고 제시된 결과를 보여준다.

디자인 이미지 유사도 측정 모델의 활용

디자인 이미지 유사도 모델을 활용하여 디자인 업무 분야의 색상과 구조적 유사성을 정량화하여 브랜드(기업)와 디자이너 매칭 과정의 효율성이 높아질 것으로 기대한다. 또한, 간소해진 워크플로로 이전보다 효율적이고 신속하게 디자인 업무 처리를 할 수 있어 전반적인 디자인 산업의 생산성 향상을 기대한다.

이처럼 국가수리과학연구소 산업수학혁신센터에서는 산업 및 공공의 현안이나 문제를 발굴하거나 의뢰를 받아 해결하는 업무를 수행하고 있다.

특히, 4차 산업혁명 시대에서 수요가 높은 '수학적으로 해석할 수 있는 AI 및 데이터 분석 연구'와 '이를 활용한 문제 해결 지원'에 집중하고 있다. 해당 산업 지식과 수학적인 접근을 통해서 문제를 정의하고 이에 대한 해결 결과를 도출한다. 데이터 시각화, 시계열 데이터 처리, 이상 감지, 객체 인식, 자연어 처리와 같은 문제 해결 수요가 높은 데이터 분석 기법 연구를 지속해서 수행하고 있다.