2024년 말, 호주 브리즈번의 한 스타트업이 ‘Paper-Wizard’라는 인공지능 도구를 공개했다. 이 시스템은 연구자가 논문 원고를 업로드하면 단 몇 분 만에 전문적인 동료 평가 보고서를 자동으로 생성하는 서비스를 제공한다. 표면적으로는 프리-리뷰를 표방하지만, 실질적으로는 심사자의 분석력과 판단을 모방하는 AI 기반 자동화 심사 도구에 가깝다. 인간 전문가가 수행해 온 전통적 논문 심사의 핵심 역할이 AI에 의해 본격적으로 대체될 수 있다는 가능성이 현실로 다가온 것이다.

이러한 변화는 이미 학계 전반에 조용히 확산되고 있다. 국제 학술지 네이처(Nature)가 보도한 바에 따르면, AI 기반 동료 평가 시스템의 도입을 둘러싸고 전 세계 과학계는 기술적 혁신에 대한 기대와 연구 윤리 위기에 대한 우려를 동시에 안고 있다. 특히 대형언어모델(이하 LLM)을 활용한 자동화된 심사 보조 시스템의 확산되면서 출판의 투명성, 평가의 책임성, 그리고 인간의 비판적 개입이라는 과학의 기본 원칙에 중대한 질문이 제기되고 있다.

AI가 심사를 '보조'할 때와 '대체'할 때

AI는 이미 출판계 내부에서 여러 방식으로 사용되고 있다. 통계 검토, 문장 교정, 인용 확인 등의 작업에서 LLM은 빠르고 일관된 품질을 제공하며 편집자의 부담을 덜어주는 역할을 한다. 

이러한 작업은 외부의 전문적 시선을 통해 텍스트의 신뢰성과 완성도를 높이는 것을 목표로 한다는 점에서 학술논문 심사와 유사한 측면이 있다. 특히 편집자와 심사자는 텍스트의 정확성, 논리적 구조, 정보의 출처를 검토하고, 독자에게 전달될 지식의 품질을 책임진다는 점에서 출판계와 학술계 모두에서 심사·편집의 자동화 도구로 빠르게 확산되고 있다.

실제로 네덜란드 암스테르담의 World Brain Scholar(WBS)가 개발한 'Eliza'는 심사자의 피드백을 향상시키고, 관련 문헌을 제안하며, 다국어 리뷰를 영어로 번역해주는 기능을 제공한다. WBS의 설립자 제거 카르센(Zeger Karssen)은 “이 도구는 리뷰어가 작성한 내용을 분석할 뿐, 대체하려는 목적은 아니다”고 강조했다.

그러나 AI가 이런 보조 기능을 넘어 전체 심사를 작성하는 방식에 대한 논의가 본격화되고 있다. 

캐나다 몬트리올대학교의 생태학자 티모테 포이소(Timothée Poisot)는 자신의 논문에 대한 심사 중 하나가 LLM으로 작성된 흔적을 발견했다. 그는 “내 논문을 심사해줄 동료를 기대하고 투고하는 것인데, AI가 대신 심사한다면 동료 평가의 사회적 계약은 무너지는 것”이라고 지적하며, “AI는 지나치게 많은 단어를 사용하지만, 실제로는 아무 말도 하지 않는다”고 비판했다. 

인간과 AI, 누가 더 나은 심사자인가?

최근 연구에 따르면, AI 기반의 LLM이 학술논문 심사 과정에 점점 더 많이 활용되는 추세로 나타났다. 

2024년 말 실시된 한 대규모 설문조사에 따르면, 전 세계 연구자 5,000여 명 중 약 19%는 이미 LLM을 사용해 논문 심사 속도와 효율성을 높여본 경험이 있다고 응답했다. 또한, 2023년과 2024년에 개최된 AI 관련 학술대회에 제출된 논문의 심사 보고서를 분석한 결과 약 6.5%에서 16.9%의 보고서가 LLM에 의해 상당 부분 수정된 흔적이 발견되었다. 이는 단순한 맞춤법 교정을 넘어서는 수정으로 AI의 영향력이 실제 심사 내용에 깊숙이 침투하고 있음을 시사한다.

GPT-4와 인간 심사자의 평가를 비교한 연구결과도 흥미롭다. 스탠퍼드대학교의 계산생물학자 제임스 조(James Zou) 교수가 주도한 연구에서 응답자의 40%는 AI 리뷰가 인간보다 더 유익하거나 적어도 동일한 수준이라고 답했으며, 42%는 일부 사람의 심사보다 낫다고 평가했다. 

논문 심사는 연구 방법론의 타당성, 데이터 해석의 정확성, 학문적 기여도에 대한 전문적 판단과 비판적 사고를 요구하기 때문에 AI의 개입 한계가 분명한 것으로 알려져 왔다. 하지만 적어도 위의 연구결과만 종합한다면 인간 심사자의 심사 편차가 크다는 허점에 비해 AI는 일정 수준의 일관성과 품질을 제공하며 이에 대한 만족도가 높아지고 있다는 사실을 알 수 있다. 

심사자의 사고를 대체할 수 있을까?

하지만 AI의 전면적 개입을 경계하는 목소리도 크다. 

칼 버그스트롬(Carl Bergstrom) 워싱턴대학교 진화생물학과 교수는 “글쓰기는 곧 사고(thinking)다”라며, AI가 겉보기에는 매끄럽지만 비판적 사고와 분석적 깊이는 결여되어 있다고 지적했다. 그는 “피상적인 메모를 기반으로 LLM이 리뷰를 생성하는 것은 결코 적절한 심사가 아니다”라고 단언했다. 

스페인 세비야대학교의 연구윤리 전문가 마리아 안헬레스 오비에도-가르시아(María Ángeles Oviedo-García) 또한 “AI가 작성한 리뷰는 독자가 진짜 심사자의 목소리를 듣는 것이 아니라, 기계가 대신 말하는 것일 뿐”이라며 인간의 판단이 배제된 리뷰는 학문적 대화로 보기 어렵다고 평가했다.

그럼에도 불구하고 AI 기반 리뷰는 더 확산될 가능성이 크다. 

북서대학교의 모하마드 호세이니(Mohammad Hosseini) 교수는 “AI로 논문 초안을 작성하고, AI로 심사하는 방식이 표면적으로는 인간을 끼워 넣지만 실제로는 전 과정이 자동화되는 ‘에코 챔버’처럼 될 수 있다”고 우려했다. 그는 “AI가 사용되었다면 언제, 어떤 시스템이, 어떤 질문으로 사용되었는지까지 투명하게 공개하는 표준이 반드시 필요하다”고 강조했다.

보스턴대학교 소아과 의사이자 미국의사협회저널 JAMA 전 편집장 하워드 보크너(Howard Bauchner)는 좀 더 현실적인 접근을 제안한다. 

그는 “AI는 인간 리뷰 이전에 투고 논문을 선별하거나 요약하는 데 사용될 수 있으며, 심사자의 시간을 아껴 더 비판적인 분석에 집중할 수 있도록 도와줄 수 있다”고 말했다. AI를 ‘도구’로서 활용하는 방식이 미래의 합리적 절충점이 될 수 있다는 입장이다.

다음은 누구의 차례?

AI가 논문 심사 과정을 효율적으로 돕고 있다는 사실은 분명하지만, 창의성과 윤리성, 책임 있는 판단을 요구하는 영역까지 대체할 수 있을지는 여전히 논쟁 중이다. 더불어 단순 반복 작업을 넘어, 과학적 통찰과 검증을 요구하는 영역에서 'AI의 역할은 어디까지 허용되어야 하는가?'라는 질문은 이제 과학계가 피할 수 없는 논쟁이 되었다. 

AI가 심사자의 동료로 남을지, 혹은 인간의 판단을 대체하는 보조자로 자리 잡을지는 이제 과학 출판이 마주한 핵심 질문이다.