GPT-4 같은 거대언어모델(LLM) 인공지능(AI)은 일부 유추 작업은 잘 하지만 문제가 변형되면 성능이 크게 떨어지는 등 추론 능력에 큰 약점이 있다는 연구 결과가 나왔다.

네덜란드 암스테르담대 마사 루이스 교수와 미국 산타페이연구소 멜라니 미첼 박사팀은 24일 과학 저널 기계학습 연구 회보(Transactions on Machine Learning Research)에서 인간은 변형된 추론 문제에서 높은 능력을 유지한 반면 GPT는 표준 문제는 잘 수행했지만 변형 문제에서는 어려움을 겪었다며 이같이 밝혔다.

GPT-4 같은 인공지능은 일부 연구에서 유추 추론에 인상적인 성능을 보이지만 일반적인 추상적 추론을 어느 정도 수행하는지, 학습 데이터에 나타난 유사성에 지나치게 의존하는 것은 아닌지 등에 대한 논쟁이 있다. 

유추 추론은 특정 측면의 유사성을 바탕으로 서로 다른 두 사물을 비교하는 능력으로 인간이 세상을 이해하고 의사결정을 하는 가장 일반적인 방법의 하나다. 루이스 교수는 "현실 세계에서 의사 결정과 문제 해결에 AI가 점점 더 많이 사용되고 있기 때문에 유추 추론 능력은 매우 중요한 문제"라고 지적했다.

연구팀은 이 연구에서 문자 순서 패턴을 식별하고 완성하기와 숫자 패턴 분석 및 누락된 숫자 파악하기, 두 가지 이야기 예시와 가장 일치하는 것 파악하기 등 3가지 유형 문제로 GPT 모델이 인간만큼 유연하고 강력한 유추 추론을 할 수 있는지, 변형된 문제에서도 유추 능력이 유지되는지 조사했다. 이들은 "GPT 모델이 원래 문제를 해결할 수 있는지 테스트하는 것 외에도 문제가 미묘하게 수정되었을 때 얼마나 잘 수행하는지 조사했다"며 "유추를 진짜 이해하는 시스템은 이런 변형에서도 높은 성능을 유지해야 한다"고 말했다.

실험 결과 인간은 대부분 변형된 문제에서 높은 유추 능력을 유지했지만, GPT 모델은 표준 문제는 잘 수행했지만 변형 문제에서는 성능이 떨어졌다. 루이스 교수는 "이는 AI 모델이 인간보다 유연성이 떨어지고, 진정한 추상적 이해보다는 패턴 매칭에 의존해 추론한다는 것을 시사한다"고 지적했다.

또 GPT 모델은 숫자 행렬 문제에서 누락된 숫자 위치가 바뀌면 성능이 크게 떨어졌고, 이야기 유추에서도 첫 번째 주어진 답을 정답으로 자주 선택했으며 이야기의 핵심 요소가 바뀌면 추론에 큰 어려움을 겪었다. 연구팀은 간단한 유추 문제에서도 GPT 모델은 문제가 변형되면 성능 저하를 보인 반면 인간은 일관성을 유지했다며 이는 GPT-4가 더 깊은 인과적 추론보다 표면적 유사성에 의존한다는 것을 시사한다고 말했다.

이어 이 연구 결과는 GPT-4 같은 AI 모델이 인간과 같은 방식으로 추론할 수 있다는 기존 인식에 배치된다며 AI 모델이 인상적인 능력을 보여주지만 무엇을 하고 있는지 진정으로 이해하고 있다는 의미는 아니다"라고 결론 내렸다.

루이스 교수는 "이 연구 결과는 교육·법률·의료 같은 중요 의사결정 영역에서 AI를 사용하는 데 대한 대단히 중요한 경고"라며 "AI는 강력한 도구가 될 수 있지만 아직 인간의 사고와 추론을 대체할 수는 없다"고 강조했다.

◆ 출처 : Transactions on Machine Learning Research, Martha Lewis et al., 'Evaluating the Robustness of Analogical Reasoning in GPT Models', https://openreview.net/pdf?id=t5cy5v9wph