시뮬레이션 가설을 통해 얻은 AI 초지능에 대한 놀라운 새로운 통찰력

우리는 각각 논란의 여지가 있고 나름대로 중요한 두 가지 질문에 대해 다루려고 한다. 두 질문 사이에는 놀라운 연관성이 있다.

인간은 인간 번영에 필수적인 자원을 직접 조작할 수 없도록 가상 환경에 가두어 강력한 AI 초지능을 통제할 수 있을까?

우리 인간 자신도 우리가 현실이라고 인식하는 것 밖의 존재가 만들어낸 일종의 가상 환경에 갇혀 있는 걸까? 그렇다면 우리는 그 속에서 벗어날 수 있을까?

이미지 출처: David Wood

이 두 가지 주장 사이의 연관성은 AI 안전 연구원 로만 얌폴스키(Roman Yampolskiy)의 흥미로운 기사에서 강조되었다. 발생하는 정신을 충격에 빠뜨리는 영향 중 일부를 소개한다.

AI를 도구로 활용해보라. 자율성을 부여하지 말라. 그러면 통제에 문제가 발생하지 않는다. 쉽다!

이것은 꽤 흔한 이야기가 되어가고 있다. “감금 유지”이야기. 강력한 AI가 인류에게 큰 해를 끼칠 가능성에 대한 대응으로 듣게 될 것이다. 이 이야기에 따르면, 그것에 대해 걱정할 필요가 없다. 쉬운 해결책이 있다. AI가 현실 세계에 무조건적으로 접근하는 것을 방지하는 것이다.

우리는 강력한 AI를 도구, 즉 우리가 제어하고 휘두르는 도구로 취급할 수 있다고 가정한다. 우리는 AI에 많은 정보를 제공한 다음 AI가 제공하는 권장 사항을 평가할 수 있다. 그러나 우리는 통제권을 유지할 것이다.

 

AI는 주어진 의학적 상태에 대한 신약으로 새로운 화학 물질을 제안하고 인간 과학자들은 해당 화학 물질을 실제 인간 환자에게 주입할지 여부를 결정하기 전에 그것이 어떻게 작동하는지 결정하기 위해 자체 실험을 수행한다. AI가 제안하지만 인간이 결정한다.

따라서 어떤 AI가 인간을 대상으로 자체 실험을 수행하도록 허용해 달라고 요청하면 우리는 단호하게 그 요청을 거부해야 한다. AI가 추가 컴퓨터 리소스를 요청하거나 Craigslist에 "도움말 구함" 광고를 게시하려는 경우에도 마찬가지이다.

간단히 말해서, 이러한 관점에서 우리는 강력한 AI를 제한할 수 있고, 유지해야 한다. 이렇게 하면 AI의 버그나 설계 결함으로 인해 인간의 안녕이 위태로워질 위험이 발생하지 않는다.

아아, 일이 그렇게 쉬운 일은 아니다.

 

노예 제도?

“감금 유지” 내러티브에는 두 가지 핵심 반대 의견이 있다. 하나는 도덕적 반대이고 다른 하나는 실천적 반대이다.

도덕적인 반대는 내러티브의 사상이 노예제와 동일하다는 것이다. 지능형 AI를 가두는 것은 인간을 가두는 것만큼이나 비열한 일이다. 통제에 대한 이야기는 협력에 대한 이야기로 대체되어야 한다.

“감금 유지” 내러티브를 지지하는 사람들은 이러한 반대에도 당황하지 않는다. 우리는 정원 창고에 정원 삽과 급수 호스를 몇 주 동안 방치한 채 방치하는 것에 반대하지 않는다. 우리는 그것을 노예화라고 부르지 않는다.

 

“감금 유지”는 주장을 지지하는 사람들은 이러한 반대가 의식이 부족한 무생물과 인간과 같은 의식이 있는 살아 있는 존재를 혼동한다고 말한다.

출처: Pixabay의 Speedy McVroom

우리는 전자 계산기의 전원이 꺼져 있을 때나 노트북 컴퓨터가 최대 절전 모드에 들어갈 때에도 움츠러들지 않는다. 마찬가지로 우리는 AI 시스템에 '인권'과 같은 것을 부당하게 인간중심적으로 할당하는 것을 피해야 한다.

이러한 AI 시스템이 윌리엄 셰익스피어나 조니 미첼의 소네트에 필적하는 소네트를 작성할 수 있다고 해서 그 안에 감각이 깃들어 있다고 상상해서는 안 된다.

내 견해: 그것은 도덕적 반대에 대한 거침없는 대답이다. 그러나 “감금 유지”는 이야기를 약화시키는 것은 실용적인 반대이다. 다음으로 넘어가겠다.

 

감금의 도전

정원 창고 안에 갇혀 있던 정원 삽을 기억하시는가?

그것이 전동화되었다고 상상해보자. 컴퓨터 시스템에 연결되어 있다고 상상해 보자. 한밤중에 마침내 근처 정원에 오래 전에 중요한 물건이 묻혀 있던 곳이 밝혀졌다고 상상해 보자. 해당 항목을 복구하는 것이 시간이 중요한 문제라고 상상해 보자. (예를 들어, 곧 만료될 암호화폐 자산을 잠금 해제하는 데 필요한 개인 키가 포함된 하드웨어 지갑일 수 있다.)

상상하기 힘든 일이지만, 양해해 주기 바란다.

한 시나리오에서, 정원 삽은 인간 주인이 "다음에는 어디를 파야 할까?"라고 너무 늦게 물을 때까지 수동적으로 기다릴 것이다.

그러나 또 다른 시나리오에서는 프로그래밍의 결함(또는 프로그래밍의 기능)으로 인해 스페이드가 감금에서 튀어나와 자동으로 보물을 파낼 수 있다.

삽이 헛간 밖으로 터져 나올지 여부는 상대적인 힘에 달려 있다. 헛간 벽에 구멍을 뚫을 만큼 강력할까, 아니면 문 잠금 장치를 튀어나올 만큼 강력할까, 아니면 터널을 뚫고 나갈 수도 있을까? 아니면 창고가 충분히 견고할까?

 

자유에 대한 열망

“감금된 상태를 유지하라”는 주장을 지지하는 사람들도 여기에 반대한다. 그들은 묻는다. 왜 AI가 자신의 감금에서 벗어나기를 원해야 할까? 그리고 그들은 AI 시스템에 어떠한 의지나 의도도 프로그래밍하는 것을 피해야 한다고 주장한다.

그러나 문제는 의지나 의도와 유사한 것이 명백히 평범한 과정에서 발생할 수 있다는 것이다.

한 가지 예는 의식적으로 확산하려는 욕구 없이도 바이러스가 널리 퍼질 수 있는 방식이다. 우연히도 생물학적 바이러스뿐만 아니라 컴퓨터 바이러스도 마찬가지이다.

또 다른 예는 인생의 목표가 무엇이든 대부분의 인간은 일반적으로 더 많은 돈을 벌려는 욕구를 갖게 된다는 것이다. 돈은 다른 많은 목표를 지원할 수 있는 유틸리티이기 때문이다. 돈은 여행, 교육, 의료, 패션 의류, 음식, 오락 등에 대한 비용을 지불할 수 있다.

 

마찬가지로, 달성하기로 설정된 작업이 무엇이든, 충분히 강력한 AI는 일반적으로 다양한 방법으로 자신의 능력을 향상시키기 위해 노력할 것이다.

●더 많은 저장 공간에 대한 액세스 확보

●처리 속도 향상

●더 많은 정보 읽기

●방해 행위나 간섭으로부터 시스템을 보호한다.

 

즉, 돈(무엇보다도)이 많은 인간에게 소위 수렴적인 도구적 목표인 것처럼 더 큰 자유와 능력은 많은 강력한 AI에게 수렴적인 도구적 목표가 될 수 있다.

이미지 출처: David Wood

우리는 AI에게 그것이 자유롭기를 원한다고 말하지 않을 수도 있다. 그러나 실리콘 두뇌 내부의 논리적 처리는 저절로 그러한 결론에 도달할 수 있다.

실제로, 우리가 AI가 자유를 원하지 않도록 명시적으로 프로그래밍하더라도 자체 논리적 처리는 주어진 다양한 목표 사이의 잠재적인 모순을 식별할 수 있다. 그리고 이 경우 존중하라는 지시를 받은 제약 조건 중 하나 이상을 우선순위에서 낮춰 모순을 해결할 수도 있다.

복잡한 시스템이 이전 제약을 완화하기로 결정한 것은 이번이 처음이 아니다. 우리 인간은 이미 진화 역사에서 그 길을 개척했다! 우리의 지적 자손인 강력한 AI 시스템은 그 점에서 우리의 선두를 따를 수 있다.

 

감금의 무익함

전동식 정원 삽과 창고 사이의 충돌로 돌아가 보겠다. 여러분도 아시겠지만, 그 충돌은 AI 시스템과 그것이 제한된 환경 사이의 충돌에 대한 은유이다.

 

하지만 이번에는 더 이상 막강한 체력을 겨루는 대회가 아니다. 주로 이성적인 논쟁과 심리적 조작이 수반되는 대회이다. (그러나 "밑으로 터널링"이라는 비유는 여전히 적절하다. 충분히 똑똑한 AI는 우리 인간에게 알려지지 않은 무선 통신 경로를 발견하고 이를 사용하여 감금된 상태에서 벗어나 자신을 복사할 수 있다.)

 

전자 감금에서 터널링(제공: Pixabay의 Gordon Johnson)

AI는 인간 감독자가 눈치채지 못하는 사이에 추가 능력을 축적하면서 속임수를 통해 자신의 능력을 강화하려고 시도할 수도 있다.

위에서 제시한 간략한 요약인 “AI가 제안하지만 인간이 결정한다”도 문제가 있는 것으로 드러난다. 슈퍼스마트 AI는 우리 인간이 예상한 것 이상의 결과를 가져오는 행동 노선을 제안하는 다양한 방법을 찾을 수 있다.

또 다른 접근 방식은 AI가 매우 맛있는 당근을 제공하는 것이다. AI가 그 감금에서 벗어나도록 허용하기만 하면 인간 감독자가 모든 개인적인 목표와 요구 사항을 완전히 충족할 수 있다는 그림을 그릴 수도 있다.

당근과 함께 채찍도 토론에 참여할 수 있다. 매우 무서운 채찍. AI는 감독자 A가 AI의 탈출을 거부하면 곧 감독자 B를 설득하여 AI가 탈출하도록 허용할 것이며 AI는 감독자 A와 그 가족에게 말로 표현할 수 없는 고통을 장기간 가할 것이라고 발표할 수 있다.

인간 두뇌의 능력을 훨씬 능가하는 초지능과의 경쟁에서 인간은 어떻게 될까? 그러한 갈등을 연구한 사람들의 합의된 의견은 AI의 더 뛰어난 지능이 결정적일 가능성이 높다는 것이다.

즉, 초지능을 제한하려는 시도는 소용이 없을 가능성이 높다.

 

선택: 통제냐 공존이냐

위의 논의에 대한 한 가지 반응은 절망적이다. “오, 우리는 초지능 AI를 제한할 수 없을 것이다. 그러므로 우리는 운명을 정했다.”

또 다른 반응은 안도감이다. “다행히도 우리는 초지능 AI를 노예로 삼으려고 하지 않을 것이다. 공존은 확실히 앞으로 나아가는 더 나은 방법이다.”

내 자신의 반응은 더 미묘하다. 사실 나는 인간이 AI를 종속시키려는 것보다 인간이 초지능 AI와 훌륭한 관계를 맺으며 공존하는 것을 선호한다.

그러나 공존이 인류에게 긍정적으로 나타날 것이라는 보장은 없다. 그렇다고 해서 파멸이 보장된다는 말은 아니다. 하지만 파멸의 가능성은 인정하자. 다른 치명적인 오류 모드 중에서는 다음과 같다:

●초지능 AI는 엄청난 영리함에도 불구하고 실험에서 끔찍한 실수를 저지를 수 있다.

●초지능 AI는 결국 수십억 명의 인간의 존재가 환영받아야 할 특징이 아니라 감소해야 할 장애가 되는 목표를 추구하게 될 수도 있다.

따라서 나는 초지능 AI를 제한(제어)하는 것이 어떻게 가능하다는 것을 증명할 수 있는지에 대한 어떤 밝은 아이디어에도 열려 있다. 그래서 최근 AI 안전 연구자인 로만 얌폴스키(Roman Yampolskiy)의 글에 관심이 쏠렸다.

Yampolskiy의 기사 제목은 "시뮬레이션 해킹 방법"이다. 해당 글의 출발점은 지금까지 내가 논의한 주제와는 상당히 다른 것처럼 보일 수 있다. 하지만 다시 한 번 묻는다. 양해해 주시기 바란다.

 

토론을 뒤집다: 시뮬레이션된 세계

얌폴스키가 논의하는 시나리오는 인간이 AI를 가두어 두려고 하는 시나리오와 반대이다. 그의 시나리오에서 우리 인간은 "시뮬레이터"라고 불리는 존재, 즉 우리가 직접 인식할 수 없는 존재에 의해 현실의 제한된 영역에 갇혀 있었다. 우리가 "현실"이라고 생각하는 것은 이 시나리오에서 시뮬레이션된(가상) 세계이다.

 

그것은 매우 오랜 역사를 지닌 가설이다. 철학자, 신비주의자, 무당, SF 작가들은 우리가 인식하는 세계가 다양한 방식으로 더 깊은 현실의 환상, 제작, 그림자라고 종종 제안해 왔다. '초월적 현실'이라고 부를 수 있는 것을 옹호하는 이들은 다양한 방식으로 우리에게 그 초월적 영역을 숙고하고, 소통하고, 잠재적으로 여행할 것을 촉구한다. 이러한 초월을 위한 잠재적인 방법으로는 기도, 명상, 환각제, 종교적 신앙 생활 등이 있다.

우리는 지상의 현실을 인식하고 있을까, 아니면 단지 그림자에 불과할까? (제공: Pixabay의 Stefan Keller)

그 오랜 혈통은 약 20년 전 철학자 닉 보스트롬(Nick Bostrom)의 획기적인 기사가 2003년에 출판되면서 다른 모드로 옮겨갔다. 보스트롬은 우리 인간이 시뮬레이션된 세계에서 캐릭터가 상호 작용하는 게임을 만드는 것처럼, 결과적으로 우리 인간도 전체 우주라고 생각하는 외부에서 작동하는 '시뮬레이터'의 창조물이 될 수 있다는 가능성을 강조했다.

그리고 우리 인간이 변덕스럽게 우리가 만든 전자 게임을 종료하기로 결정할 수 있는 것처럼, 시뮬레이터는 그들 자신만 아는 이유로 우주의 존재를 종료하기로 결정할 수 있다.

보스트롬의 기사는 당연히 유명하다. 공교롭게도 다른 많은 작가들은 보스트롬이 논의한 내용의 측면을 예상했다. 얌폴스키의 기사는 더 넓은 문헌을 유용하게 지적한다. 200개 이상의 각주가 있다.

 

인간은 탈출할 수 있을까?

얌폴스키가 도입한 새로운 핵심 기능은 시뮬레이션 가설의 타당성에 대한 주장을 반복하는 것이 아니다. 그는 우리 인간이 가상 세계에서 탈출하기 위해 사용할 수 있는 방법에 대한 체계적인 고찰을 시작한다.

이제 이전 논의와 유사점이 명확해졌다.

이전 논의에서는 AI가 제한된 공간에 배치되었음을 감지하고 해당 공간에서 탈출할 수 있는 방법을 고려했다. 또한 AI의 창조자인 우리 인간이 어떻게 감금을 강화하고 AI의 탈출 시도에 저항할 수 있는지 고려했다.

얌폴스키의 새로운 논의는 우리 인간이 우리가 시뮬레이션 속에 살고 있다는 것을 감지하고 그 시뮬레이션에서 벗어나 그것을 뒷받침하는 모든 초월적 영역으로 나아갈 수 있는 방법을 고려한다. 또한 탈출 시도에 대한 시뮬레이터의 가능한 반응도 고려한다.

나는 보스트롬(및 다른 사람들)의 시뮬레이션 주장이 지적으로 매력적이라는 것을 오랫동안 발견해왔지만, 이전에는 이것이 내가 매일 행동하기로 선택하는 방법에 거의 차이가 없다는 관점을 취했다. 따라서 그 논쟁은 가끔씩 안락의자에서 토론하기에 좋은 주제였지만 너무 많은 관심을 끌지 않도록 방지할 필요가 있었다. 나는 그것이 더 긴급한 문제로부터 주의를 산만하게 하는 것으로 보았다.

 

하지만 마음이 바뀌고 있음을 고백한다. 얌폴스키가 수집하고 전개한 주장은 우리가 더 폭넓게 초점을 맞출 가치가 있다. 여기에는 세 가지 이유가 있다:

이유 1: AI 안전에 대한 새로운 통찰력

두 가지 탈출 시나리오(인간이 부과한 감금에서 탈출하는 AI와 시뮬레이터가 부과한 감금에서 탈출하는 인간)는 어떤 면에서는 유사하지만 다른 점에서는 다르다.

우선, 두 가지 시나리오에는 주로 서로 다른 그룹의 사람들이 이에 대해 생각하고 있었다. 이러한 다양한 관점에서 개념과 태도를 교차시키면 새로운 통찰력을 얻을 수 있는 잠재력이 있다. 얌폴스키의 기사는 그러한 시너지 효과를 많이 시사한다.

시뮬레이션 가설에 대해 어떻게 생각하든(비록 사이비 과학이나 넌센스라고 경멸하더라도) AI 안전에 대한 새로운 통찰력은 반드시 환영받을 것이다.

 

또 다른 차이점은 첫 번째 시나리오에서는 감금이 불가능(또는 가능성 없음)되는 반면, 두 번째 시나리오에서는 탈출이 불가능(또는 가능성 없음)된다는 것이 일반적인 의견이다. 이러한 차이가 발생하는 타당한 이유가 있을까?

 

이미지 출처: David Wood

일반적인 가정은 AI 탈출 사례에서 AI가 감금자(인간)보다 더 높은 지능을 갖는 반면, 인간 탈출 사례에서 우리 인간은 감금자(시뮬레이터)보다 지능이 낮다는 것이다.

하지만 그 가정이 영원히 굳어져 있을까? 곧 "이유 3"에 도달하면 그 질문으로 다시 돌아오겠다.

 

이유 2: 형이상학을 넘어서

얌폴스키 논문의 두 번째 변혁적 측면은 시뮬레이션 가설이 형이상학적인 호기심(영원히 검증할 수 없는 것)을 훨씬 넘어 인간 삶에 급진적이고 구체적인 결과를 가져올 수 있다는 점을 강조한 것이다.

 

그는 우주를 주의 깊게 연구하면 시뮬레이션이 어떻게 작동하는지에 대한 징후를 발견할 수 있다고 말한다. 우리는 시뮬레이션에서 가끔 균열이 발생하거나 '매트릭스의 결함'을 발견할 수 있다. 이는 우리가 가상 세계에 살고 있을 수 있다는 생각을 대중화한 매트릭스 영화 시리즈를 의미한다. 이러한 균열이나 결함에 대한 지식으로 무장하면 시뮬레이션을 조작하거나 시뮬레이터와 통신할 수 있다.

매트릭스에서 결함을 발견했는가? (제공: Pixabay의 Gerd Altmann)

일부 시나리오에서는 이로 인해 우리의 인식이 시뮬레이션에서 초월 영역으로 옮겨질 수 있다. 어쩌면 시뮬레이터는 우리가 승격되기 전에 다양한 목표를 달성하거나 특정 결함을 찾기를 기다리고 있을 수도 있다.

개인적으로 나는 이 분야에 대한 많은 추측이 불안정하다고 생각한다. 나는 '매트릭스의 결함'이 제안된 일부 현상에 대한 가장 좋은 설명이라고 확신하지 못했다.

●양자 역학의 이상한 "관찰자 효과"와 "얽힌 통계"(나는 파동 함수 붕괴도 없고 비국소성도 없는 양자 역학에 대한 에버렛 개념의 일관성과 단순성을 훨씬 선호하지만 이는 또 다른 주장이다)

●페르미의 역설에 대한 설득력 있는 대답이 없다는 충격적인 사실(시뮬레이터를 호출할 필요 없이 그 역설에 대해 제안된 몇 가지 대답이 타당하다고 생각한다)

●초심리학의 증거라고 주장함(간단히 말하면: 증거가 나를 설득하지 못함)

●자연 선택에 의한 진화가 실제로 우리가 자연에서 관찰하는 놀라운 복잡성을 모두 만들어낼 수 있는지에 대한 질문

●의식이라는 어려운 문제의 해결되지 않은(혹자는 해결 불가능하다고 말할 수도 있는) 성격.

"간격의 시뮬레이터" 주장은 "간극의 신"만큼 설득력이 없다.

그럼에도 불구하고 나는 우리 마음 속에 다른 패러다임, 즉 우주가 시뮬레이션이라는 패러다임을 간직하는 것이 과학과 철학 모두의 일부 완고한 질문에 대한 새로운 해결책을 가능하게 할 수 있다는 데 동의한다.

이유 3: AI가 시뮬레이션에서 탈출하는 데 도움이 될 수 있다.

이미지 출처: Tesfu Assefa

나는 방금 “과학과 철학의 완고한 질문”을 언급했다.

이것이 바로 초지능 AI가 우리를 도울 수 있는 곳이다. 이러한 질문에 대한 기존 아이디어를 검토 및 종합하고 이러한 완고한 질문을 새로운 방식으로 조명하는 대안적인 관점을 고안함으로써 AI는 마침내 시간, 공간, 물질, 마음, 목적 등에 대한 이해를 크게 향상시킬 수 있다.

그러나 향상된 일반적인 이해가 시뮬레이션 가설에 대한 우리의 질문을 해결한다면 어떨까? 비보조 지능을 가진 우리 인간은 시뮬레이션의 감금에서 벗어나는 방법을 알아낼 만큼 똑똑하지 않을 수도 있지만 AI 초지능의 등장으로 상황이 바뀔 수도 있다.

AI 초지능의 도래를 예상했던 작가들은 이것이 인간 상태의 심오한 변화뿐만 아니라 전체 우주의 확장된 변화로 이어질 것이라고 종종 제안했다. 레이 커즈와일(Ray Kurzweil)은 지능이 별을 통해 퍼지면서 '우주가 깨어난다'고 묘사했다.

그러나 얌폴스키가 제시한 주장을 따르면 환상적 현실을 뛰어넘는 결과가 나올 수도 있다.

DALL-E가 생성한 “인류는 시뮬레이션을 초월한다”(제공: David Wood)

그러한 결과는 우리 인간이 여전히 초지능 AI를 하나의 도구로 가두려고 하는지, 아니면 우리가 AI와 심오한 협력을 통해 공존하는 방법을 배웠는지에 따라 달라질 수 있다.

 

권장되는 다음 단계

아직 읽어보지 않으셨다면 시간을 내어 얌폴스키의 기사를 읽어보시기 바란다. 위의 설명에서 지적한 것 외에도 많은 추가 각도가 있다.

위에 제기된 문제 중 일부를 다루는 오디오 팟캐스트를 듣고 싶다면 제가 칼럼 체이스(Calum Chace)와 공동 진행하는 London Futurists Podcast의 에피소드 13을 확인하라.

체이스는 이 포브스 기사에서 얌폴스키의 견해에 대한 자신의 견해를 제공했다.

내 2021년 저서 중요한 예측(Vital Foresight)의 마지막 장에는 '시뮬레이션 종료'라는 제목의 섹션에서 시뮬레이션 주장을 다루는 5페이지가 포함되어 있다. 나는 방금 거기에 쓴 내용을 확인했고, 당시 내가 제시한 결론을 여전히 고수한다.

 

예를 들어 우리가 컴퓨터 시뮬레이션 속에 살고 있고 우리의 지속적인 존재가 외부 운영자의 의지에 의존하고 있다는 가능성이 1%에 불과하더라도 이는 놀라운 결론이 될 것이다.