마음이론: 인공지능, AI는 아직 당신이 생각하는 바를 알 수 없다.

본질적으로 사회적인 동물인 인간은 서로의 감정과 정신 상태를 다양한 출처에서 유추할 수 있다. 행동을 관찰하고, 대화를 듣고, 과거 행동에서 배우는 것 등이다.

인지 연구자들은 이를 "마음 이론" 또는 ToM이라고 부른다. 관찰된 행동을 기반으로 목표, 신념, 욕망과 같은 숨겨진 정신 상태를 다른 개인에게 귀속시키는 능력이다.

인공지능은 많은 분야에서 뛰어나지만 이 측면에서 인간과 맞먹지 못한다. 적어도 존스홉킨스 휘팅 공과대학의 컴퓨터 과학 조교수인 티안민 슈를 포함한 연구팀에 따르면 아직은 그렇다.

존스홉킨스 대학의 크리거 스쿨 인지 과학과에서 보조 교수로 재직 중인 슈는 "다른 사람이 무엇을 생각하거나 느끼는지 이해하는 것은 사회적으로 지적인 방식으로 사람과 상호 작용할 수 있는 기계를 개발하는 데 필수적이다."라고 말한다.

"예를 들어, 가정용 로봇은 누군가가 무엇을 원하거나 필요로 하는지 파악하여 일상 생활에서 더 효과적으로 도울 수 있는 능력이 필요하다."

AI 모델이 여러 출처의 정보를 사용하여 인간을 이해할 수 있는지 알아보기 위해 슈와 그의 팀은 AI 조수와 로봇 간병인과 같은 실제 AI 시스템이 마주치는 추론 작업의 진정한 복잡성을 반영하는 최초의 표준화된 데이터 세트를 만들었다. 이 팀의 테스트 세트에는 가정 환경에서 일반적인 물건을 찾는 사람들의 134개 비디오와 텍스트 설명이 포함되어 있다.

연구자들은 인간과 최첨단 대규모 언어 및 다중 모달 모델을 모두 테스트하여 비디오 속 사람들이 어떤 물건을 찾고 싶어하는지, 어디에서 찾을 수 있을 것이라고 생각하는지 예측하는 능력을 테스트했다.

이 팀은 인간이 다양한 정보 출처에 접근할 수 있을 때 다른 사람의 생각과 의도를 더 잘 이해한다는 것을 발견했다. 반면 OpenAI의 GPT-4V와 같은 가장 진보된 AI 모델조차도 이러한 작업에 어려움을 겪었으며, 종종 실제로 일어나는 일과 사람이 믿는 일을 혼동하고 시간이 지남에 따라 사람들의 생각의 변화를 추적하는 데 어려움을 겪었다.

이러한 결과를 바탕으로 연구자들은 자체 ToM 모델을 만들었고, 이는 훨씬 더 나은 결과를 얻었다. 그들의 접근 방식은 먼저 비디오와 텍스트 입력을 이해할 수 있는 유형의 표기법으로 변환하여 그 안에 있는 사람의 실제 장면과 행동을 포착한다.

그런 다음 이를 사람의 신념과 목표에 직접 매핑하는 대신, 모델은 원래 시각적 데이터를 위해 설계된 인지적으로 기반을 둔 ToM 방법인 베이지안 역계획과 인간 활동 데이터에 따라 미세 조정된 소규모 언어 모델을 결합하여 사람의 가상 정신 상태와 환경 상태를 고려하여 가장 가능성이 높은 행동을 추론한다.

슈의 지도를 받은 1학년 박사 과정생인 촨양 진은 "우리의 방법은 다양한 유형의 정보에서 잘 작동하는 상징적 표현을 사용하기 때문에 유망한 결과를 보여준다."라고 말한다.

"또한 인간의 추론을 모방하고 언어 모델에 내재된 유연성으로 인해 확장성이 뛰어나고 새로운 시나리오에 적응할 수 있는 역계획 방식 덕분에 견고하다."

이 모든 것이 팀의 주요 테스트 세트에서 더 나은 성능을 가져오고 모델이 훈련되지 않은 상황에서 실제 인간 행동으로 일반화할 수 있게 한다. 연구자들은 AI 시스템이 실제로 마주칠 가능성이 높은 추론 작업을 더 잘 모방하기 위해 더 다양한 시나리오, 인간의 감정, 상황적 제약을 포함하도록 작업을 확대할 계획이다.

"우리 연구는 현재 AI 모델의 중요한 결함을 강조하고 이를 개선할 수 있는 유망한 방법을 제안한다."라고 슈는 말한다.

"이러한 통찰력을 공유함으로써 다른 사람들이 사람을 더 잘 이해하고 함께 일할 수 있는 AI 모델을 만들 수 있도록 돕고, 궁극적으로 인간을 설계의 중심에 두는 기계를 만드는 것을 목표로 한다."

연구자들은 지난달 제62회 계산 언어학 협회 연례 회의에서 연구를 발표했다.

출처: 존스 홉킨스 대학교의 Jaimie Patterson