OpenAI의 가장 강력한 AI 모델은 눈 문제가 있는 환자를 치료하는 방법을 결정하는 데 있어 하급 의사를 능가했으며 적어도 이 테스트에서는 전문 안과 의사만큼 높은 점수를 받는 데 가까웠다.

과제: 의사가 의과대학에 있으면 임상 분야를 순환하면서 외과, 정신의학, 안과 등의 전문가와 시간을 보내 의사 면허를 취득할 때까지 모든 과목에 대한 기본 지식을 갖추게 된다.

하지만 일반의(GP)가 되면 일부 전문 분야와 덜 일반적인 질환을 치료하는 데 배운 정보를 거의 사용하지 않을 수 있다.

아이디어: 케임브리지 대학의 연구원들은 대화형 텍스트를 이해하고 생성할 수 있는 LLM(대형 언어 모델) AI가 일반의가 일상적으로 다루기 힘든 눈 문제가 있는 환자를 치료하는 데 도움이 될 수 있는지 궁금했다.

PLOS Digital Health에 발표된 연구에서 그들은 다양한 눈 문제가 있는 환자에 대한 87가지 시나리오가 포함된 OpenAI의 ChatGPT Plus를 지원하는 LLM인 GPT-4를 제시하고 4가지 옵션 중에서 최상의 진단 또는 치료법을 선택하도록 요청했다.

또한 전문 안과의사, 안과의사가 되기 위해 노력하는 수련생, 눈 문제에 대해 일반의와 거의 같은 지식을 갖고 있는 비 전문 후배 의사들에게도 테스트를 실시했다.

GPT-4는 하위 의사의 중간 점수인 43%에 비해 테스트에서 69%의 점수를 얻어 주니어 의사보다 훨씬 더 나은 성과를 보였다. 또한 중앙값 59%를 기록한 수련생보다 높은 점수를 얻었고, 전문 안과의사의 중앙값인 76%에 거의 근접했다.

“이 연구가 보여주는 것은 안구 건강 맥락에서 이러한 대규모 언어 모델의 지식과 추론 능력이 이제 전문가와 거의 구별할 수 없다는 것이다.”라고 수석 저자인 아룬 티루나부카라스(Arun Thirunavukarasu)가 말했다.

미래 전망: 캠브리지 팀은 LLM이 의사를 대체할 것이라 고는 생각하지 않지만 임상 워크플로우에 시스템이 통합되는 것을 구상하고 있다. 전문의는 자신이 경험하지 못한 치료 방법에 대한 조언을 얻기 위해 전문가에게 연락하는 데 어려움을 겪고 있다. 예를 들어 잠시 동안(또는 한 번도) 본 적이 있는 경우 AI에 쿼리할 수 있다.

"가장 중요한 것은 환자가 컴퓨터 시스템을 포함할지 여부를 결정할 수 있도록 하는 것이다."라고 티루나부카라스는 말했다. "그것은 각 환자가 내리는 개인적인 결정이 될 것이다."