“이렇게 좋은 날에~”

“이렇게 좋은 날에~”

세계적인 소프라노 조수미가 가수 정훈희의 ‘꽃밭에서’를 부르기 시작했다. 화면에 등장한 아바타가 화음을 넣는다. 이 아바타는 조수미의 음성 데이터를 기초로 학습한 AI 가창 시스템이다. 완벽히 자연스럽지는 않지만, 비브라토나 음을 끌어올리는 기술 등 조수미의 기교를 꽤 잘 묘사했다. 소프라노 조수미는 지난달 27일 대전 한국과학기술원(KAIST)에서 열린 ‘이노베이트 코리아 2023’ 행사에서 첫 AI와의 합동 공연을 펼쳤다. 반주는 AI 피아니스트가 맡았고, 음원에서 자막을 추출하는 AI가 가사를 화면에 보여줬다.

컴퓨터가 부른 최초의 노래 ‘데이지 벨’

가창 컴퓨터 시스템의 역사는 1960년대까지 거슬러 올라간다. 1961년 IBM은 컴퓨터 ‘IBM 7094’를 이용해 ‘Daisy Bell(데이지 벨‧두 사람을 위한 자전거)’을 부르게 했다. 컴퓨터 프로그램이 부른 세계 최초의 사례라는 기록을 남겼지만, 들리기에 좋은 노래는 아니었다. 사람과는 사뭇 다른 컴퓨터의 딱딱한 음성 때문에 공포감을 주기 때문이다.

https://www.youtube.com/watch?v=uerNtYhgzSw

▲ 컴퓨터가 선곡한 첫 번째 노래는 영국의 작곡가 해리 데커가 작곡한 ‘데이지 벨’이다. ⓒ유튜브 Nebbed

이후 60여 년간 과학자들은 인류 역사에서 가장 중요한 악기인 ‘노래하는 목소리’를 보다 자연스럽게 모방하기 위한 연구를 진행해왔다. 이노베이트 코리아 2023에서 펼쳐진 AI와 인간의 합동 공연은 그간 과학자들의 노력을 여실히 보여주는 사례다. 공연 기술 감독을 맡은 남주한 KAIST 문화기술대학원 교수는 멜로디와 가사를 토대로 자연스러운 보컬 사운드를 생성하는 컴퓨터 시스팀 ‘SVS’를 개발한 바 있다.

조수미 공연예술 연구센터의 센터장이기도 한 남 교수는 과거 전자악기를 개발하는 회사에서 피아노 소리를 연구했던 경력이 있다. 전자피아노처럼 기계적인 연주가 아닌 사람처럼 연주하고, 노래 부를 수 있는 AI 시스템을 만드는 것이 남 교수팀의 목표다.

AI가 피아니스트가 노래에 맞춰 반주

이날 공연에서 반주를 맡은 AI 피아니스트 ‘비르투오소넷’은 주어진 단순히 주어진 악보를 해석하여 연주할 뿐만 아니라 성악가의 변주에 반응할 수 있는 시스템이다. 즉, 감성적 표현을 위해 악보와 다르게 특정 부분을 느리게 불러도 이에 맞춰 반주한다. 또, 인간 피아니스트의 연주 자세도 학습해 화면을 통해 아바타가 음악에 맞춰 피아노 연주 자세를 보여주기도 했다. 화면에 가사를 보여준 AI 시스템은 음악에서 자동으로 가사를 추출한다. 한글뿐만 아니라 가곡에서 자주 등장하는 독일어 등의 가사도 바로 추출할 수 있다.

남 교수 연구팀은 AI 피아니스트 ‘비르투오소넷’을 이용한 다양한 프로젝트를 연구실 유튜브 페이지에 공개해왔다. 유명 피아니스트 손열음의 연주를 학습한 AI, 실제 인간 피아니스트의 연주에 반응하며 함께 협연을 펼치는 반응형 AI 등이다. 비전문가들은 AI 피아니스트와 인간 피아니스트의 연주를 알아차리기 어렵지만, 전문가들을 대상으로 한 평가에서는 아직 실제 피아니스트의 연주와 비교했을 때는 감동 면에서 부족한 수준이라는 평가를 받았다.

https://www.youtube.com/watch?v=AmGv10NizKo

▲ KAIST 개교 50주년 기념식에서 펼쳐진 인간과 AI의 협동 공연. 피아니스트인 박종화 서울대 기악과 교수와 남주환 KAIST 교수팀이 개발한 AI 피아니스트 ‘비르투오소넷’이 협연했다. ⓒ유튜브 MAC-Lab KAIST

이날 공연을 시작하며 소프라노 조수미는 “인간과 AI가 조화를 이루는 목표를 향한 하나의 실험 무대를 준비했다”며 “그간 감정에 충실한 예술가로서 살아왔는데, 언젠가는 AI도 인간의 감정까지 이해하는 단계로 진화할 것이라는 생각이 들었다”고 말했다.