인공지능(AI) 챗봇의 출현은 대화 경험을 재구성하여 인간의 언어 이해 및 사용과 유사한 발전을 가져왔다. 실질적인 언어 모델을 기반으로 하는 이러한 챗봇은 인간 상호 작용의 복잡성을 탐색하는 데 능숙해지고 있다. 그러나 최근 연구에서는 자연어와 넌센스를 구별하는 데 있어 이러한 모델의 지속적인 취약성이 밝혀졌다. 컬럼비아 대학 연구진이 실시한 조사는 챗봇 성능과 인간 언어 처리의 잠재적인 개선에 대한 흥미로운 통찰력을 제시한다.

언어 모델에 대한 탐구

팀은 수많은 문장 쌍을 대상으로 하는 9개의 서로 다른 언어 모델과 관련된 연구를 자세히 설명했다. 연구에 참여한 인간 참가자들은 일상적인 사용법을 반영하여 각 쌍에서 더 '자연스러운' 문장을 식별하도록 요청 받았다. 그런 다음 모델의 평가가 인간의 선택과 일치하는지 여부를 기반으로 평가되었다.

모델을 서로 비교했을 때, 변환기 신경망을 기반으로 한 모델은 단순한 순환 신경망 모델 및 통계 모델에 비해 우수한 성능을 나타냈다. 그러나 더 정교한 모델에서도 오류가 발생하여 인간이 무의미하다고 인식하는 문장을 선택하는 경우가 많았다.

무의미한 문장과의 싸움

컬럼비아 주커만 연구소(Columbia's Zuckerman Institute)의 수석 조사관인 니콜라우스 크리게스코르테 박사는 단순한 모델에서 놓친 중요한 측면을 포착하는 데 있어 대규모 언어 모델의 상대적인 성공을 강조했다. 그는 "우리가 연구한 최고의 모델조차도 말도 안되는 문장에 속을 수 있다는 것은 그들의 계산이 인간이 언어를 처리하는 방식에 대해 뭔가를 놓치고 있다는 것을 보여준다"고 말했다.

이 연구의 놀라운 예는 인간의 판단에 부합하는 GPT-2와 같은 모델과 대조되어 문장의 자연성을 잘못 판단하는 BERT와 같은 모델을 강조했다. 이 모델의 일반적인 결함은 컬럼비아 대학의 심리학 조교수인 크리스토퍼 발다사노 박사는 의사 결정 과정에서 AI 시스템에 대한 의존도에 대한 우려를 제기하고 문장 라벨링에서 AI 시스템의 명백한 "사각지대"에 주의를 환기시켰다.

시사점 및 향후 방향

크리게스코르테 박사는 성능 차이와 일부 모델이 다른 모델보다 뛰어난 이유를 탐구하는 데 관심을 두고 있다. 그는 이러한 불일치를 이해하면 언어 모델의 발전을 크게 촉진할 수 있다고 믿는다.

이 연구는 또한 AI 챗봇의 메커니즘이 새로운 과학적 탐구를 촉발할 수 있는지 여부를 탐구할 수 있는 길을 열어 신경과학자들이 인간 두뇌의 복잡성을 해독하는 데 도움을 준다.

논문의 교신 저자인 탈 골란 박사는 언어 처리 분야에서 AI 도구의 역량이 점점 커지고 있다는 점을 고려하여 인간의 사고 과정을 이해하는 데 관심을 표명했다. “그들의 언어 이해를 우리의 언어 이해와 비교하는 것은 우리가 생각하는 방식에 대한 새로운 접근 방식을 제공한다.”고 그는 말했다.

AI 챗봇의 언어적 능력을 탐구하면서 AI 챗봇의 이해를 인간의 인지와 일치시키는 데 있어 지속적인 과제가 드러났다.

이러한 차이점과 그에 따른 폭로를 탐구하려는 지속적인 노력은 AI 챗봇의 효율성을 향상시킬 뿐만 아니라 인간 인지 과정의 수많은 계층을 풀어낼 준비가 되어 있다.

AI 기반 언어 이해와 인간 인지의 병치는 다각적인 탐구의 기반을 마련하고 AI와 신경과학의 상호 연결된 영역에서 인식을 재구성하고 지식을 발전시킬 수 있다.