지난 2017년 4월 페이스북은 미국 캘리포니아주 산호세에서 개발자 콘퍼런스를 개최한 바 있다.

이 자리에서 하드웨어 개발팀이었던 ‘빌딩 8’은 생각만으로 문자를 입력할 수 있는 기술을 개발할 계획이라고 발표해 세계를 깜짝 놀라게 한 적이 있다.

그리고 2년여가 지난 지금 세계를 놀라게 한 이 발언이 현실이 되고 있는 중이다.

31일 ‘가디언’ 지는 샌프란시스코 캘리포니아대학 연구팀이 일상적인 표현이 불가능한 중환자로부터 뇌파를 해독해 환자의 의도가 무엇인지 그 내용을 자연스러운 문장으로 전환하는데 성공했다고 보도했다.

실시간 대화하면서 뇌파 해독에 성공 

그동안 환자의 뇌파를 해독해 문자로 전환하려는 시도는 여러 번 있었다.

그러나 환자의 생각을 실시간으로 파악해 자연스러운 대화 내용으로 전환한 것은 이번이 처음이다.

과학계는 이번 연구 결과가 사람의 생각을 해독해 문자화할 수 있는 기술을 개발하는데 징검다리가 될 수 있을 것으로 보고 있다. 또한 향후 커뮤니케이션 기술에 큰 변화를 줄 것으로 예상하고 있다.

이번 연구는 페이스북의 지원을 받아 이루어졌다.

논문 수석저자인 캘리포니아대 신경외과 전문의 에드워드 창(Edward Chang) 교수는 ‘가디언’ 지와의 인터뷰를 통해 “그동안 전신이 마비돼 언어소통이 불가능한 환자들을 위해 눈과 근육 움직임을 파악하는 방식을 사용해왔다.”고 말했다.

그러나 많은 시간이 걸리는 데다 정확도가 떨어져 많은 어려움이 있었다. 창 교수는 “이번 연구를 통해 심각한 질병으로 언어 표현이 불가능한 환자와 자연스러운 대화를 할 수 있는 길이 열렸다.”고 말했다.

실용화 위해 소프트웨어 개발이 관건

논문은 30일 ‘네이처’ 지에 게재됐다. 논문 제목은 ‘Real-time decoding of question-and-answer speech dialogue using human cortical activity’이다.

연구팀은 논문을 통해 청각과 지각을 통해 대화를 나누는 과정에서 뇌가 어떻게 활동하는지 확인하기 위해 ‘ECoG(피질전도)’를 사용했다고 밝혔다.

뇌 피질 위에 전극을 놓고 뇌파를 측정하는 방식을 말하는데 뇌파를 정밀하게 측정할 수 있어 연구자들이 많이 사용하고 있는 방식이다.

환자의 뇌 활동을 패턴화하기 위해서는 인공지능인 머신러닝 시스템이 활용됐다.

환자와 대화를 나누면서 답변을 하고 있는 환자들의 뇌에서 어떤 뇌파가 발생하는지 그 사례들을 축적했으며, 이 과정을 통해 뇌파 속에서 어떤 대화가 진행되고 있는지 그 개연성을 파악했다.

그리고 이렇게 축적된 사례들을 환자에게 적용한 결과 대화 과정에서 환자가 듣는 내용을 61%까지, 환자가 답변하는 내용을 76%까지 정확하게 해독할 수 있었다고 말했다.

연구에 참여한 데이비드 모세스(David Moses) 교수는 “언어표현이 불가능한 환자들을 위해 뇌파를 해독하기 위한 연구가 다양하게 시도돼왔지만 이런 식의 연구를 진행한 것은 캘리포니아 대학이 처음”이라고 말했다.

그러나 “이번 연구에서 적용된 어휘는 매우 제한적이라며, 후속 연구를 통해 어휘를 더 확대해 실제 생활에서 대화를 하는 것처럼 뇌파 해독에 있어 자연스럽게 유연성을 확보해나가겠다.”고 말했다.

모세스 교수가 말하는 유연성이란 환자들과의 증상과 관련된 대화 외에도 방안의 기온이 너무 덥거나 밝고 어둡다든지, 혹은 음악이나 음식의 맛과 같은 일상적인 대화를 말한다.

그러나 뇌파 해독이 일상적인 대화 수준에 이르기 위해서는 다양한 뇌파를 언어로 해독할 수 있는 소프트웨어가 개발돼야 한다.

모세스 교수는 “이 소프트웨어를 개발하기 위해 환자는 물론 다양한 계층의 사람들을 대상으로 엄청난 양의 구어체 단어와 문장들, 그리고 거기에 상응하는 뇌파 신호 데이터가 축적돼야 한다.”고 말했다.

또 다른 과제는 사람의 생각속 말(imagined speech)들을 언어로 바꾸는 일이다. 생각 속에 있는 말을 해독하는 기술은 아직 초보 단계에 머물고 있는 중이다.