AI가 계속 발전하면서 한 가지 큰 문제가 등장했다. 바로 '환각'이다. 이는 실제로 근거가 없는 AI가 생성한 출력이다. 환각은 작은 실수부터 완전히 기괴하고 꾸며낸 정보까지 무엇이든 될 수 있다. 이 문제는 많은 사람들이 AI 시스템을 신뢰할 수 있는지 궁금해하게 만든다. AI가 부정확하거나 심지어 완전히 조작된 주장을 생성하고 이를 정확한 정보만큼 그럴듯하게 들리게 만들 수 있다면 중요한 작업에서 AI에 어떻게 의존할 수 있을까?
연구자들은 사실과 허구를 구별하도록 AI 시스템을 훈련시키기 위해 검증된 정보의 대규모 데이터 세트를 사용하는 것을 포함하여 환각 문제를 해결하기 위한 다양한 접근 방식을 모색하고 있다. 그러나 일부 전문가들은 환각의 가능성을 완전히 없애려면 AI를 그토록 가치있게 만드는 창의성을 억누르는 것도 필요하다고 주장한다.
AI가 의료부터 금융, 미디어에 이르기까지 다양한 분야에서 점점 더 중요한 역할을 하고 있기 때문에 위험이 높다. 이 탐구의 성공은 AI의 미래와 우리 일상 생활에서의 적용에 광범위한 영향을 미칠 수 있다.
AI가 환각을 느끼는 이유
ChatGPT와 같은 생성 AI 시스템은 이러한 시스템이 텍스트를 생성하는 방식으로 인해 때때로 "환각"(실제 사실에 기반하지 않은 출력)을 생성한다. 응답을 생성할 때 AI는 본질적으로 이전 단어를 기반으로 가능한 다음 단어를 예측한다. (휴대폰 키보드가 다음 단어를 제안하는 방식보다 훨씬 더 정교하지만 동일한 원칙을 기반으로 한다.) 단어별로 이 작업을 계속 수행하여 완전한 문장과 단락을 구성한다.
문제는 어떤 단어가 다른 단어 뒤에 올 확률이 결과 문장이 사실인지 확인하는 신뢰할 수 있는 방법이 아니라는 점이라고 펜실베니아 대학의 컴퓨터 및 정보 과학 교수인 크리스 칼리슨-버치(Chris Callison-Burch)는 말한다. AI는 그럴듯해 보이지만 정확하지 않은 단어를 하나로 묶을 수 있다.
ChatGPT의 기본 수학 문제는 텍스트 생성 접근 방식의 한계를 강조한다. 예를 들어 훈련 데이터에서 "2 더하기 2"와 같이 두 개의 숫자를 추가하라는 요청을 받으면 "4"라고 정확하게 대답할 수 있다. 하지만 이는 숫자와 덧셈의 수학적 개념을 이해했기 때문이 아니라, '2 더하기 2는 같다'라는 문구 다음에 나오는 '4'라는 단어에 높은 확률을 부여했기 때문이다.
이 예는 훈련 데이터의 패턴에 대한 시스템 의존도가 단순한 산술에서도 진정한 추론이 필요한 작업에서 어떻게 실패로 이어질 수 있는지 보여준다.
크리스 칼리슨-버치는 "그러나 이전에 본 적이 없는 매우 긴 숫자 두 개를 선택하면 단순히 임의의 복권 번호가 생성될 것이다."라고 말했다. "이는 ChatGPT 및 유사한 언어 학습 모델(LLM)에서 사용되는 이러한 종류의 자동 회귀 생성이 사실 기반 또는 상징적 추론을 수행하기 어렵게 만든다는 것을 보여준다."
Causal AI
환각을 제거하는 것은 챗봇 작동 방식의 자연스러운 부분이기 때문에 어려운 과제이다. 실제로 텍스트 생성의 다양하고 약간 무작위적인 특성은 이러한 새로운 AI 챗봇의 품질을 매우 좋게 만드는 요소 중 하나이다.
AI 전문가 마리아 수카레바(Maria Sukhareva)는 "모델을 보다 결정적으로 만들면 기본적으로 가장 가능성이 높은 단어를 예측하도록 강제하여 환각을 크게 제한하지만 모델이 항상 동일한 텍스트를 생성하므로 품질이 손상된다."라고 말했다. Siemens는 인터뷰에서 이렇게 말했다.
LLM을 사용하여 환각을 제거하는 것은 불가능하지만, 환각의 확산을 줄이기 위한 효과적인 기술이 개발되었다고 크리스 칼리슨-버치는 말했다. 유망한 접근법 중 하나는 "검색 증강 생성"이다. AI의 기존 훈련 데이터와 사용자가 제공하는 컨텍스트에만 의존하는 대신 시스템은 Wikipedia 또는 기타 웹 페이지에서 관련 정보를 검색할 수 있다. 그런 다음 이(아마도 더 사실적인) 정보를 사용하여 보다 정확한 요약이나 응답을 생성한다.
환각을 줄이는 또 다른 접근 방식은 AI가 변수를 변경하고 다양한 관점에서 문제를 조사하여 다양한 시나리오를 테스트할 수 있도록 하는 ‘Causal AI’를 사용하는 것이다.
UserExperience.ai의 창립자인 토니 페르난데스(Tony Fernandes)는 "올바른 데이터 세트를 얻고 합리적인 결과로 간주되는 것에 대한 가드레일을 설정하면 환각이 드러나는 것을 방지할 수 있다."라고 말했다. "그러나 궁극적인 대답은 AI 프로세스가 아무리 정교하더라도 인간이 계속 참여하고 감독해야 한다는 것이다."
AI 실수를 줄이는 데 도움을 주는 회사인 Aporia를 이끄는 리란 헤이슨(Liran Hason)은 AI가 꾸며내는 것을 막기 위해서는 사이버 보안 세계가 해커의 데이터 침입을 막기 위해 방화벽을 만든 방법을 배워야 한다고 말한다. 핵심은 AI 가드레일, 즉 AI 출력을 실시간으로 필터링하고 수정하도록 설계된 사전 조치를 구현하는 데 있다. 이러한 가드레일은 환각을 식별 및 수정하고 잠재적인 악의적 공격을 차단하는 1차 방어선 역할을 한다.
“이러한 AI 앱은 부정확하거나 오래된 정보를 포함할 수 있는 지식 소스에 의존하기 때문에 환각을 완전히 제거하는 것은 어렵다.”라고 그는 덧붙였다.
창의성에 미치는 영향
AI 생성 콘텐츠의 경우 환각은 양날의 검이 될 수 있다. 의료 상태 진단, 재정적 조언 제공, 뉴스 요약 등 정확성이 중요한 상황에서 현실과의 편차는 문제가 될 수 있으며 심지어 해로울 수도 있다고 크리스 칼리슨-버치는 말했다.
그러나 글쓰기, 예술, 시와 같은 창의적 추구 영역에서는 AI 환각이 귀중한 도구가 될 수 있다. 그들이 기존의 사실 정보에서 벗어나 상상력을 발휘한다는 사실은 창의적인 과정을 촉진하여 참신하고 혁신적인 아이디어가 탄생할 수 있게 해준다.
"예를 들어, 나만의 창의적인 글쓰기 스타일을 모방하고 싶다면 내가 쓴 과거 이야기의 예를 검색한 다음 LLM이 비슷한 스타일을 따르도록 할 수 있다."라고 그는 덧붙였다.
AI 시스템의 환각과 창의성 사이의 연관성은 우리가 인간의 상상에서 보는 것과 유사하다. 사람들이 현실의 경계를 넘어 생각을 함으로써 창의적인 아이디어를 떠올리는 경우가 많은 것처럼, 가장 혁신적이고 독창적인 결과물을 생성하는 AI 모델도 때때로 실제 사실에 기초하지 않은 콘텐츠를 생성하는 경향이 더 크다. Domino Data Lab의 AI 전략 책임자인 셸 칼슨(Kjell Carlsson)은 인터뷰에서 이렇게 말했다.
“AI 모델과 사람들에게는 피해를 방지하기 위해 이것이 정당화되는 것 이상인 때가 분명 있다.”라고 그는 덧붙였다. “그러나 AI 모델의 경우 두 가지 방식을 모두 가질 수 있다. 우리는 특정 AI 애플리케이션 수준에서 환각을 제거할 수 있고 제거해야 한다. 왜냐하면 AI 애플리케이션이 채택되고 영향을 미치려면 가능한 한 의도한 대로 작동해야 하기 때문이다. 그러나 우리는 이러한 제약을 제거하고, 더 적은 맥락을 제공하며, 이러한 AI 모델을 사용하여 우리 자신의 창의적 사고를 촉진할 수도 있다.”
