사람들은 유명 시인의 시와 생성형 인공지능(AI) 챗GPT3.5(ChatGPT3.5)가 이를 모방해 지은 시를 확실히 구분하지 못하며, 두 시를 제시하고 평가할 경우 AI가 지은 시를 더 선호하는 것으로 나타났다.

미국 피츠버그대 브라이언 포터 박사팀은 15일 과학 저널 사이언티픽 리포트(Scientific Reports)에서 일반인들에게 유명 시인 10명의 시와 이들의 시를 모방해 챗GPT3.5가 지어낸 시를 제시한 뒤 이를 구분하고 평가하게 하는 두 가지 실험에서 이런 결과를 얻었다고 밝혔다.

연구팀은 이 연구에서 첫 실험으로 1천634명을 대상으로 AI가 생성한 시와 유명 시인의 시를 구별하는 테스트를 했고, 두 번째 실험에서는 696명을 대상으로 AI의 시와 시인들의 시에 대해 아름다움, 리듬, 독창성 등 14가지 특성을 평가하게 했다. 실험에서는 14세기 시인 제프리 초서부터 윌리엄 셰익스피어, 월트 휘트먼, TS 엘리엇, 현대의 도러시아 라스키 등 유명 시인 10명의 시 50편과 챗GPT3.5가 이들의 시를 모방해 지은 시 50편이 사용됐다.

첫 번째 실험에서 유명 시인의 시 5편과 AI의 시 5편을 무작위로 제시한 다음 시인과 AI의 시를 구별하도록 한 결과 정확도가 46.6%로 우연히 맞힐 수 있는 확률에도 미치지 못하는 것으로 나타났다. 참가자들은 AI가 쓴 시를 사람이 쓴 것이라고 판단할 가능성이 더 높았으며, 이들이 시인이 썼을 가능성이 가장 낮다고 평가한 시 5편은 모두 실제 시인이 쓴 것으로 나타났다.

그 결과 'AI가 쓴 시'라는 말을 들은 참가자들은 실제 시인이 쓴 시인지 AI가 쓴 시인지 관계없이 '사람이 쓴 시'라는 말을 들은 참가자들에 비해 13가지 특성에서 낮은 점수를 줬다. 시의 출처 정보가 없다는 말을 들은 참가자들은 AI가 생성한 시를 시인들이 쓴 시보다 더 높은 점수를 준 것으로 나타났다.

연구팀은 AI의 시를 이처럼 긍정적으로 평가하는 경향은 사람이 쓴 시의 복잡성을 AI가 만들어낸 '일관성 없음'으로 착각하고, 생성형 AI가 얼마나 인간과 유사해 보일 수 있는지에 대해 과소평가하고 있기 때문일 수 있다고 설명했다. 이어 "시는 생성형 AI가 아직 인간과 구별할 수 없는 수준의 작품을 쓰지 못하는 텍스트 영역 중 하나로 여겨져왔다"면서 "하지만 이 연구 결과는 생성형 AI의 능력이 시에서도 이미 사람들의 기대를 넘어섰음을 보여준다'고 말했다.

◆ 출처 : Scientific Reports, Brian Porter et al., 'AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably', https://www.nature.com/articles/s41598-024-76900-1