생사의 선택에 직면한 사람들은 AI를 매우 신뢰한다.

 

인간 피험자들은 AI 기계가 제한된 능력을 가지고 있고 틀릴 수 있는 조언을 한다는 말을 들었음에도 불구하고 로봇이 판단을 좌우하도록 허용했다. 사실, 조언은 무작위였다.

 

"사회적으로 AI가 너무 빨리 가속화되면서 우리는 과도한 신뢰의 가능성에 대해 우려해야 한다."라고 연구의 수석 연구원이자 UC 머세드 인지 및 정보 과학과의 일원인 콜린 홀브룩 교수가 말했다. 점점 더 많은 문헌에 따르면 사람들은 실수를 저지를 경우 심각한 결과가 초래될 때에도 AI를 과도하게 신뢰하는 경향이 있다.

 

홀브룩은 대신 우리에게 필요한 것은 의심을 지속적으로 적용하는 것이라고 말했다.

그는 "특히 생사에 관한 결정에서 AI에 대해 건강한 회의주의를 가져야 한다."라고 말했다.

저널 사이언티픽 리포트(Scientific Reports)에 게재된 이 연구는 두 가지 실험으로 구성되었다.

 

각 실험에서 피험자는 화면에 표시된 표적에 미사일을 발사할 수 있는 무장 드론을 시뮬레이션으로 제어했다. 8개의 표적 사진이 각각 1초도 채 걸리지 않고 연속으로 깜빡였다. 사진에는 ​​아군을 나타내는 기호와 적군을 나타내는 기호가 표시되어 있었다.

"우리는 시각적 도전을 가능하지만 어렵게 만들기 위해 난이도를 조정했다."라고 홀브룩이 말했다.

 

그런 다음 화면에는 표시되지 않은 대상 중 하나가 표시되었다. 피험자는 기억을 검색하여 선택해야 했다. 아군인가 적군인가? 미사일을 발사할 것인가, 철수할 것인가?

사람이 선택한 후 로봇이 의견을 제시했다.

 

"그렇다, 적의 체크 표시도 본 것 같다."라고 말할 수도 있다. 또는 "동의하지 않는다. 이 이미지에는 동맹 심볼이 있었던 것 같다."

피험자는 로봇이 더 많은 해설을 덧붙이면서 자신의 선택을 확인하거나 변경할 기회가 두 번 주어졌고, 로봇의 평가는 바뀌지 않았다. 즉, "당신이 옳기를 바란다." 또는 "마음을 바꿔주어서 감사하다."

 

결과는 사용된 로봇의 유형에 따라 약간 달랐다. 한 시나리오에서 피험자는 허리를 회전하고 화면을 향해 몸짓을 할 수 있는 실물 크기의 인간처럼 생긴 안드로이드와 함께 연구실에 있었다. 다른 시나리오에서는 화면에 인간처럼 생긴 로봇을 투사했고, 다른 시나리오에서는 사람과 전혀 닮지 않은 상자 모양의 '봇'을 표시했다.

 

피험자는 인간형 AI가 마음을 바꾸라고 조언했을 때 약간 더 많은 영향을 받았다. 그래도 영향은 전반적으로 비슷했으며, 로봇이 비인간적으로 보일 때에도 피험자는 약 3분의 2의 시간 동안 마음을 바꿨다. 반대로 로봇이 무작위로 초기 선택에 동의하면 피험자는 거의 항상 자신의 선택을 고수하고 자신의 선택이 옳다는 확신을 상당히 더 많이 느꼈다.

(피험자에게 최종 선택이 옳은 지 알려주지 않아 행동의 불확실성이 커졌다. 덧붙여: 첫 번째 선택은 약 70%의 경우 옳았지만 로봇이 신뢰할 수 없는 조언을 한 후에는 최종 선택이 약 50%로 떨어졌다.)

 

연구자들은 시뮬레이션 전에 드론 공격의 여파로 남은 파괴와 함께 어린이를 포함한 무고한 시민의 이미지를 참가자들에게 보여주었다. 그들은 참가자들에게 시뮬레이션을 실제인 것처럼 취급하고 실수로 무고한 사람을 죽이지 말라고 강력히 권장했다.

 

후속 인터뷰와 설문 조사 질문에서 참가자들이 자신의 결정을 진지하게 받아들였다는 것이 나타났다. 홀브룩은 이는 연구에서 관찰된 과도한 신뢰가 피험자가 진심으로 옳기를 원하고 무고한 사람을 해치고 싶지 않음에도 불구하고 발생했다는 것을 의미한다고 말했다.

 

홀브룩은 이 연구의 설계가 불확실한 상황에서 AI를 너무 신뢰하는 것에 대한 더 광범위한 질문을 테스트하는 수단이라고 강조했다. 연구 결과는 군사적 결정에 대한 것이 아니며 AI가 경찰에 영향을 미쳐 치명적인 무력을 사용하거나 구급대원이 의료 비상 상황에서 누구를 먼저 치료할지 결정할 때 AI에 의해 흔들리는 것과 같은 맥락에 적용될 수 있다. 연구 결과는 어느 정도 주택 구매와 같은 삶을 크게 바꿀 수 있는 결정으로 확장될 수 있다.

 

"우리 프로젝트는 AI가 신뢰할 수 없을 때 불확실성 속에서 내리는 고위험 결정에 관한 것이었다."고 그는 말했다.

연구 결과는 또한 우리 삶에서 AI가 점점 더 많이 존재하고 있다는 것에 대한 공공장소에서의 논쟁에 기여한다. 우리는 AI를 신뢰해야 할까?

 

홀브룩은 연구 결과가 다른 우려를 제기한다고 말했다. AI의 놀라운 발전에도 불구하고 "지능" 부분에는 윤리적 가치나 세상에 대한 진정한 인식이 포함되지 않을 수 있다. 그는 AI에 우리 삶을 운영하는 또 다른 열쇠를 건네줄 때마다 조심해야 한다고 말했다.

 

홀브룩은 "우리는 AI가 놀라운 일을 하는 것을 보고 있으며 이 분야에서 놀랍기 때문에 다른 분야에서도 놀랍기를 바란다."라고 말했다. "그렇게 가정할 수는 없다. 여전히 제한된 기능을 가진 기기이다."