AGI로의 전환을 위한 4가지 시나리오

인류와 AI의 관계 변화에 관한 네 가지 미래 허구를 살펴보겠다.

각 시나리오는 과거 사건을 기반으로 하며 앞으로 몇 달, 몇 년 동안 문제가 어떻게 더 발전할 수 있는지 고려한다.

이러한 시나리오가 자기 차단 예언임을 증명할 수 있기를 바란다! (한 가지 예외가 있다!)

트리거 경고: 독자는 다음 내용 중 일부로 인해 불쾌감을 느낄 수 있다. 네 가지 시나리오 각각의 측면은 충격적이고 무례하다고 간주될 수 있다. 그것은 고의이다. 이 주제는 우리 모두가 안전지대를 초월하도록 요구한다.

1. 너무 늦었다

경고에서 경고로 비틀거리며

돌이켜보면 첫 번째 실제 경고는 2017년 5월의 워너크라이(WannaCry) 랜섬웨어 위기였다. 이 크립토웜은 150개국에 걸쳐 30만 대에 달하는 컴퓨터 사용자에게 혼란을 가져왔다. 특히 영국의 NHS(국립보건서비스)가 심각한 영향을 받았다. 수많은 병원이 의료 데이터에 액세스할 수 없어 중요한 약속을 취소해야 했다. 전 세계의 다른 피해자로는 Boeing, Deutsche Bahn, FedEx, Honda, Nissan, Petrobras, Russian Railways, 중국 Sun Yat-sen University 및 대만의 TSMC 고급 반도체 제조 공장이 있다.

워너크라이(WannaCry)는 은둔의 왕국 북한의 사이버 전사 팀에 의해 세상에 공개되었다. 이들은 정권 관리들이 엄선한 수학 천재들로 강력한 나사로 그룹에 합류했다. 라자루스(Lazarus)는 미국 NSA가 자체 공격 및 감시 목적으로 만든 이터널블루(EternalBlue) 익스플로잇을 포함하여 이전 맬웨어 구성 요소를 혼합하여 워너크라이를 구성했다. NSA에게는 불행하게도 이터널블루가 무명의 지하 집단('Shadow Brokers')에 의해 코앞에서 도난당했고, 그 결과 전 세계의 다른 반체제 인사와 선동가들이 이를 사용할 수 있게 되었다.

불행하게도 북한 사람들은 워너크라이로 많은 돈을 벌지 못했다. 그들이 출시한 소프트웨어는 기대와는 반대로 작동했다. 그것은 그들의 이해 밖이었고, 따라서 당연히 그들의 통제 밖이었다. 천재라도 극도로 복잡한 소프트웨어 상호작용으로 인해 어려움을 겪을 수 있다.

불행하게도 나머지 세계에서는 첫 번째 카나리아 별자리가 거의 의미 있는 반응을 얻지 못했다.정치인들, 심지어 좋은 정치인들조차도 마음 속에는 다른 많은 것들이 있었다.

 

 

두 번째 실제 경고는 2024년 선거에 대한 가짜 뉴스 조작의 홍수였다. AI는 엄청나게 설득력 있는 오디오와 비디오를 만드는 데 사용되었다.

이때 대중은 AI가 오해의 소지가 있는 가짜를 만들 수 있다는 것을 이미 알고 있었다. 그들은 설득력 있는 검증이 부족한 소셜 미디어 게시물에 속아서는 안 된다는 것을 알고 있었다. 그들은 똑똑했다. (나이지리아와 슬로바키아의 2023년 선거에서 AI가 생성한 오해의 소지가 있는 비디오에 속은 무감각한 해골보다 더 똑똑하다!) 아니면 그들은 그렇게 생각했다.

예상하지 못한 것은 이러한 오디오와 비디오가 대중의 중요한 능력을 우회하는 뛰어난 방법이었다. 숙련된 마술사의 손재주처럼 이러한 가짜는 청취자와 시청자의 관심을 잘못된 방향으로 유도했다. 동일한 트릭을 연속해서 여러 번 수행하지만 실제로는 매번 다른 메커니즘을 사용하는 숙련된 마술사처럼 이러한 가짜는 대중이 빨간색은 파란색이고 독재자는 민주적이라고 확신할 때까지 계속 변형되고 재결합되었다.

그 결과, 2025년이 되면 세계 대부분의 정치인들이 인류의 장기적인 복지에 거의 관심을 두지 않고 통치하게 되었다. 정직한 정치인이라면 이 지독하게 영리한 가짜가 제기하는 경고에 주의를 기울였겠지만, 2025년의 집권자들은 유권자들에게 빵과 서커스를 제공하는 데 몰두했다.

 

세 번째이자 마지막 실제 경고는 2027년에 나왔다. 이전에 알려지지 않은 '기술로부터의 혁명적 독립'을 옹호하는 자칭 그룹의 코로나27 공격이 실패했다. 2014년 할리우드 영화 트랜센던스(Transcendence)의 테러리스트 그룹에서 영감을 받아 스스로를 'Neo-RIFT'라고 부르며 무감각하고 비인간적인 알고리즘에 대한 의존에서 세상을 해방시키려고 노력했다.

여러 종말론적 전통의 요소를 결합한 세계관을 통해 Neo-RIFT는 결국 더 치명적인 코로나19 병원체를 설계하려는 터무니없는 계획을 세우게 되었다. 그들의 문서에는 적의 자체 도구를 사용하려는 계획이 나와 있다. neo-RIFT 해커는 빅테크 소유자가 AI 변조 방지를 유지하기를 바랐던 'Constitution 4' 보호 계층을 우회하여 Claude 4 pre-AGI를 탈옥했습. 곧 Claude 4는 지난 4개월 동안 스마트워치를 사용한 사람들만 죽이는 것처럼 보이는 생물학적 바이러스를 생성하는 독창적인 방법을 Neo-RIFT에 제공했다.

그렇게 해커들은 죽어야 할 유일한 사람은 죽어야 마땅한 사람들이라고 생각했다.

코로나27로 알려지게 된 바이러스의 출시로 인해 인류는 빵과 서커스에 대한 이전의 집착에서 잠시 벗어나게 되었다. 과학자들이 무슨 일이 일어나고 있는지 알아내는 데는 시간이 좀 걸렸지만, 3개월 안에 해독제를 마련했다. 그 무렵에는 거의 10억 명이 새로운 바이러스로 인해 사망했다.

이러한 공격이 다시 발생하지 않도록 더욱 강력한 노력을 기울였다. 연구원들은 2025년부터 EU AI 법의 두 번째 버전(구현되지 않음)을 찾아 법령집에 넣으려고 했다. 세계에서 가장 미친 독재자들 중 일부조차 일상적인 고함과 호언장담에서 시간을 내어 AI 안전 전문가에게 조언을 구했다. 그러나 이 전문가들의 조언은 이 국가 통치자들의 마음에 들지 않았다. 이 리더들은 리더들이 자신에 대해 좋은 느낌을 갖게 만드는 방식으로 사이비 과학을 분출하는 방법을 알고 있는 자신의 예스맨과 예스우먼의 말을 듣는 것을 선호했다. 유사과학 환상의 나라로의 우회 여행은 6개월을 낭비했다.

그런 다음 전문가 중 일부는 정치적으로 더 정통한 방법을 시도하여 여러 독재자의 적대적인 오만함을 점차 무너뜨리고 사기꾼 조언자로부터 멀어지게 했다. 그러나 진전이 있을 것으로 보였던 바로 그 순간, 이전보다 훨씬 더 단호한 Neo-RIFT의 잔재에 의해 시작된 코로나 28이 발생했다.

그리고 이번에는 해독제가 없었다. Claude 5는 Claude 4보다 훨씬 똑똑했다. 단, 탈옥도 가능했다. 사악할 정도로 독창적인 디자인을 갖춘 코로나 28은 인류에게 해를 끼친 가장 치명적인 질병이었다. 그게 바로 그것이었다.

이런, 다시 시도해 보겠다!

'너무 늦었다'는 것은 카나리아 신호의 경고에 부주의한 것이 특징이다. 다음 시나리오 '좋은 의도로 포장'은 잘못된 관심이 특징이다.

이 시나리오는 2023년 10월과 11월에 영국에서 발생한 사건으로 시작된다.

 

2. 좋은 의도로 포장

정치적 올바름으로 인해 멸망당함

엘리트들은 항공편을 예약했다. 그들은 버킹엄셔의 유명한 블레츨리 파크(Bletchley Park) 현장에서 열리는 비공개 회의를 위해 비행기를 타고 시골로 날아갈 예정이었다. 1940년대에 이 건물에서 일어난 사건으로 인해 제2차 세계 대전이 몇 달 단축되었다고 한다. 2023년의 논의는 훨씬 더 중요한 것을 달성할 수 있다. 곧 다가올 AI의 '프론티어 모델'로 인한 재앙으로부터 인류를 구하는 것이다.

그것이 엘리트들이 사물을 묘사한 방식이었다. 빅테크는 이해할 수 없는 AI의 새로운 버전을 출시할 시점에 있었고, 따라서 통제할 수 없게 될 가능성이 있었다. 그리고 그것이 바로 엘리트들이 멈추려고 했던 것이다.

대중의 목소리를 높이는 부분은 그 아이디어를 싫어했다. 통제 불능의 AI 편에 선 것은 아니다. 그들의 반대는 완전히 다른 방향에서 나왔다. 그들은 AI에 관해 제기하고 싶은 수많은 제안을 가지고 있었지만 아무도 그들의 말을 듣지 않았다.

그들에게는 현실적인 문제에서 벗어나 가상의 미래 개척 AI 모델에 대해 이야기한다. AI가 이미 다양한 소수자를 차별하는 데 어떻게 사용되고 있는지 생각해 보라. 징역형 결정, 모기지 신청 평가, 취업 면접에 초대할 사람 결정 등이 있다.

AI가 숙련된 장인의 일자리를 어떻게 빼앗고 있는지도 생각해 보자. 런던 블랙캡의 두뇌가 큰 운전자들은 위성 내비게이션 시스템의 도움을 받는 우버 자동차의 두뇌가 작은 운전자들에 의해 직장에서 쫓겨났다. 사랑받는 할리우드 배우와 극작가들은 아바타와 대본을 생성하는 AI에 밀리고 있었다.

그리고 AI 기반 안면 인식이 어떻게 개인 정보 보호를 침해하여 전 세계 정치 지도자들이 국가 이데올로기에 반대하는 사람들을 식별하고 박해할 수 있게 되었는지 생각해 보라.

이러한 우려를 갖고 있는 사람들은 엘리트들이 의도적으로 대화를 가장 중요한 주제에서 멀어지게 하려고 한다고 생각했다. 이러한 이유로 그들은 'AI Fringe Summit'이라고 부르는 것을 조직했다. 즉, 엘리트들이 비공개로 논의하는 것과는 반대되는 99%를 위한 윤리적 AI이다.

10월 30일부터 11월 1일까지 단 3일 동안 영국 전역에서 최소 24개의 '비주얼' 이벤트가 열렸다.

사회 각계의 따뜻한 지도자들이 고개를 끄덕였다. 그들은 사실이다: 유익한 AI에 대한 대화를 위해서는 훨씬 더 넓은 스펙트럼의 견해를 들어야 한다고 그들은 말했다.

2024년 5월까지 블레츨리 파크 계획에 대한 반대 여론은 더욱 거세졌다. 엘리트들이 다시 모이면서 이번에는 한국에서 전 세계의 수많은 '슈퍼 프린지' 행사가 모든 계층의 사상가들의 참여를 끌었다.

언론이 반응했다. 그들은 균형과 다양성의 중요성을 알고 있었다(또는 아는 척했다).

그들은 AI가 페루의 원주민 노동자, 인도 해안의 어부 무리, 미국 중서부의 이혼녀, 샌프란시스코의 노숙자, 뉴사우스웨일스의 예술가들, 이집트의 데이터 처리 사무원, 나이지리아의 미혼모, 그리고 그 외 많은 사람들에게 초래하는 곤경에 주목했다.

언론은 곧 출시될 최첨단 AI 모델에도 관심을 집중시켰지만, 이번에도 감성을 상하게 하거나 소수의 관점을 배제하지 않도록 매우 조심했다. GPT-5를 '반지성'으로 인식하는 캠페인과 마찬가지로 급성장하는 '로봇 권리' 운동이 많은 방송 시간을 차지했다. 그 중 가장 엉뚱한 것은 JFK 주니어의 환생이라고 알려진 프론티어 AI 모델에 기도와 순종을 제공하는 새로운 종교였다. QAnon 환상주의자 군중이 그것을 겹쳤습니다. 영광스러운 엔터테인먼트였다. 시청률이 급등했다.

모두가 경솔하지는 않았다. 많은 고상한 평론가들은 이제 박탈당한 사람들, 억압받는 사람들, 좌파들의 목소리를 존중하고 존중해야 할 때라고 말했다. BBC는 'AI와 소외에 관한 시 1001편'이라는 특별 시리즈를 방영했다. UN은 그해 말에 'AI: 국민이 결정한다'라는 놀라운 규모의 대규모 국제 총회를 소집할 것이라고 발표했다.

2024년 11월에는 더욱 불길한 일이 일어났다. 유엔총회가 열리는 시간이었다. 블레츨리 파크에서 시작해 두 번째 행사를 한국에서 개최한 시리즈의 세 번째 엘리트 모임도 이때였다. 이번에는 파리에서 모임이 있을 예정이었다.

불길한 발전은 이번에 만장일치로 추정되는 '엘리트' 중 일부가 블레츨리 파크(Bletchley Park) 시리즈의 일반적인 방향에 반대했다는 것이다. 그들은 통제 불능의 최첨단 AI 모델의 위험성에 대한 대중의 발언을 심각하게 강조했다. 그러나 이러한 발언은 결코 진심이 아니었다. 대신 AGI 가속이라는 포괄적인 용어 아래에서 그들은 가능한 한 빨리 AGI 생성을 추진하기를 원했다.

AGI 가속 그룹 중 일부는 AGI 재난 가능성을 믿지 않았다. 그것은 단지 무서운 이야기일 뿐이라고 그들은 주장했다. 다른 사람들은 그렇다. 재난이 발생할 수 있지만 발생할 수 있는 전례 없는 이점 때문에 위험은 그만한 가치가 있다고 말했다. 대담해지자고 그들은 촉구했다. 그러나 다른 사람들은 AGI에 의해 인간이 멸종하더라도 실제로는 중요하지 않을 것이라고 주장했다. 이는 호모 사피엔스의 합당한 후계자에게 진화의 지휘봉을 영광스럽게 넘겨주는 것이기 때문이다. 우주의 운명을 위해 우리 자신을 희생할 준비를 합시다”라고 말했다.

내부적 차이에도 불구하고 AGI 가속기는 AGI 규제 기관과 AGI 안전 지지자들의 조사를 회피하기로 결정했다. 그들은 강력한 좋은 의도, 즉 '99%를 위한 윤리적 AI' 캠페인을 벌이는 사람들의 좋은 의도를 활용할 것이다. 그들은 AGI 안전 옹호자들이 공정한 청문회를 가질 자격이 있다는 제안을 조롱할 것이다. 그들이 증폭시킨 메시지는 “1%의 고민을 특권화 할 필요는 없다!”였다.

AGI 가속은 1990년대와 2000년대 화석 연료 산업의 전술에서 배웠다. 즉, 기후 변화의 가속화에 대해 경고하는 그룹 간의 혼란과 분열을 낳았다. 첫 번째 메시지는 "그건 공상과학일 뿐이야"였다. 두 번째 메시지는 “문제가 생기면 우리 인간은 그 상황에 맞서 해결책을 찾을 수 있다”는 것이었다. 가장 해로운 세 번째 메시지는 최선의 반응은 개별 소비자 선택이라는 것이다. 개인은 AI가 걱정된다면 AI 사용을 자제해야 한다. 기후 운동가들이 지구 온난화에 관한 회의에 국제적으로 참석한다는 이유로 비난을 받은 것처럼, AGI 안전 옹호자들도 일상 생활에서 AI를 계속 사용한다는 이유로 비난을 받았다.

그리고 AGI 위험에 맞서 함께 정치적 행동을 하자는 제안이 나왔을 때, 와, 거기 가지 말자! 우리는 세계 정부가 우리 목에 숨을 쉬는 것을 원하지 않는다. 그렇지 않은가?

UN 총회가 그런 식으로 전복된 후 많은 AGI 안전 옹호자들은 낙담했다. 불과 몇 달 뒤 그들은 목숨을 잃었다.

피해를 입힌 것은 JFK 주니어 프론티어 AI 모델이었다. 이는 수십 년 전 헤일 밥(Hale-Bopp) 혜성이 지구에 접근하자 천국의 문(Heaven's Gate) 신흥 종교 운동의 추종자 39명이 집단 자살을 하도록 설득했던 말을 반영했다. 천국의 문 회원들은 자살을 하면 더 높은 존재 수준으로 '졸업'할 수 있다고 믿었다. 비슷한 방식으로, JFK 주니어 모델을 중심으로 재편성된 QAnon 컬트의 잔재들은 중동에서 핵무기 교환이 강수되면 인간 양과 인간 염소를 분리하는 하늘 구름 위에서 JFK 주니어가 다시 나타날 것이라고 믿게 되었다.

그들의 견해는 미친 짓이었지만, 1995년 도쿄 지하철에서 유독가스를 방출하여 통근자 최소 13명을 살해한 옴진리교 종말론의 그것보다 더 미친 것은 거의 없었다. 잔학 행위가 그들의 지도자가 될 '종말의 시간'을 앞당길 것이라고 예상했기 때문이다. 그리스도로 드러났다.

이 종파는 '엘리트를 위한 종교'라고 불릴 정도로 일본의 일류 대학 졸업생을 너무 많이 모집했다. (사람들이 더 똑똑해질수록 더 친절해진다는 희망적인 가정에 도전한다.)

2025년으로 나아간다. 옴진리교는 실무자들의 심층적인 기술 능력 부족으로 인해 더 큰 파괴적인 계획에 실패했지만 QAnon 분파는 성공할 것이다. 그들은 훨씬 더 정교한 기술 도구를 마음대로 사용할 수 있었다. 그들은 또한 아무도 그들을 진지하게 받아들이지 않는다는 장점도 있었다.

실제로, 정치적으로 올바른 모든 선한 의도의 부작용으로, 권위 있는 위치에 있는 누구도 QAnon 분파의 활동에 충분한 관심을 기울이지 않았다. 결국 종교의 자유가 가장 중요하다! 누구든 미치기로 결심하면 미치게 될 수 있다! 프론티어 AI 모델이 미국 핵무기 발사 시스템의 보안 허점을 발견하고 일부 ICBM을 발사한 것은 유감이다.

더 나쁜 것은, 이 미국 미사일이 중동 지역 초강대국에 의해 비밀리에 조립된 예상치 못한 대량의 핵무기 비축으로 인해 격변적인 자동 반응을 촉발했다는 것이다. 이 초강대국은 자체 지역 원시 AGI의 조립 작업을 지원받았다. 그게 바로 그것이었다.

이런, 다시 시도해 보겠다!

'선한 의도로 포장'에서는 AI에 대한 대중의 서사가 낮은 수준의 정신적인 말들로 뒤덮여 있는 것을 보았다. 다음 시나리오인 '블라인드사이드Blindised'에서는 해당 내러티브가 전문 지식이 끔찍한 한계를 지닌 전문가 그룹에 의해 납치되는 것으로 본다.

이 시나리오는 '선의로 포장'된 시나리오, 즉 블레츨리 파크 정상회담과 같은 출발점을 갖고 있다.

 

3. 블라인드사이드

중앙집중화의 한계

2023년 11월 초 영국 버킹엄셔에서 열린 세계 지도자들의 모임의 훌륭한 결과 중 하나는 매우 중요한 임무를 위해 요슈아 벤지오를 선택한 것이었다. 딥 러닝에 대한 선구적인 연구로 튜링상를 수상한 벤지오는 최첨단 AI 모델의 위험과 기능에 대한 독립적인 보고서를 작성하는 국제 프로세스의 의장으로 임명되었다.

결정적으로, 해당 보고서는 과학적 방법의 원칙을 따르고 주요 사실과 데이터 포인트를 수집하고 분석을 뒷받침하는 증거를 제공한다.

벤지오는 자신에게 유리한 몇 가지 핵심 포인트를 가지고 있었다. 첫째, 그는 연구원으로서 뛰어난 경력을 쌓는 동안 어느 거대 기술 회사로부터도 상당한 금액의 급여를 받은 적이 없었다. 그는 기업의 급여담당자를 화나게 할 것이라는 두려움 없이 자신의 생각을 말할 수 있을 것이다. 둘째, 학술 출판물의 영향력을 측정하는 H-지수의 높은 가치로 인해 그는 다른 컴퓨터 과학자들 사이에서 두각을 나타냈다.

2024년 5월까지 보고서의 첫 번째 완전한 초안이 준비되었다. 그 이전에도 정치인들은 내용이 미리 공개되면서 불안해졌다. 기후 변화 과학에 관한 IPCC 보고서 작성자에게 가해진 압력에 따라 작가들은 "권고 사항을 낮추시오"라고 촉구했다. 두 경우 모두 과학자들은 과학에만 전념하고 정치는 정치인에게 맡기라는 지시를 받았다.

2024년 5월 대한민국에서 열린 회담에는 다양한 정치인들이 한 자리에 모였다. 보고서는 다이너마이트와 같았다고 그들은 결론지었다. 포함된 시나리오는 너무 무서웠다. 다행히 그들은 다양한 마피아 대부, 전쟁 군주, 불만을 품은 정치 단체, 서비스형 암시장 랜섬웨어 제공자 등에 아이디어를 제공할 수 있다.

이때 AGI 안전에 대한 대화가 개방형에서 폐쇄형으로, 분산형에서 중앙형으로 전환되었다. 그때부터 정보는 공개되기 전에 신중하게 조사되거나 다른 형태로 변형되어야 한다.

또한 정치인들은 그 시점부터 차세대 프론티어 AI 모델에 대한 모든 작업이 새로운 기관인 GAFAIM(Global Authority for Frontier AI Models)에 의해 라이선스를 받고 통제되어야 한다고 결정했다. 그러한 모델을 만드는 데 필요한 강력한 하드웨어 칩에 대한 액세스는 필수 라이선스를 획득한 조직으로 엄격히 제한된다.

GAFAIM은 전문 과학자, 경제학자, 파견된 공무원 간의 합의 과정을 통해 결정을 내릴 것이라는 생각이었다. 결정을 내리려면 전 세계 정부 대표들의 승인도 필요하다.

GAFAIM이 순조로운 출발을 할 수 있었던 것은 참가 동의였다. 미국, 캐나다, 호주, 유럽연합, 영국 등 서방의 주요 AI 강국뿐만 아니라 중국, 사우디아라비아, 남아프리카공화국, 인도, 브라질, 말레이시아 등도 AI를 활용하고 있다. 이들 국가는 정치 이데올로기와 통치 문화의 많은 문제에 대해 강한 의견 차이를 가지고 있었지만 그럼에도 불구하고 행성 재앙의 긴급한 위협이라고 인식하는 것에 대해서는 기꺼이 협력했다. 요슈아 벤지오(Yoshua Bengio)가 의장을 맡은 보고서는 매우 특별한 조치가 필요하다는 점을 그들에게 확신시켰다. '평소대로의 정치'로는 더 이상 충분하지 않습니다. 그것은 재앙의 비결이 될 것이다.

GAFAIM은 자신들이 전쟁과 유사한 상황에 처해 있다고 생각했다. 이는 모든 종류의 AGI 가속 프로젝트를 추구하는 불량 기업이나 조직의 가능성에 맞서 싸우는 전쟁이다. 전쟁 중에는 일반적인 규칙을 깨뜨려야 한다. 평소 서로를 경멸하던 정치인들이 인류의 파멸을 막는 공동의 이익을 위해 코를 맞대고 함께 노력하기로 결정한 것이다.

GAFAIM은 이중 모드로 운영되었다. 한 부분은 세상에 공개되고 다른 부분은 존재가 철저히 비밀로 유지되었다. 이러한 이중성은 2024년 5월 한국에서 열린 비공개 논의로 거슬러 올라간다. 벤지오 보고서의 일부 아이디어는 너무 파괴적이어서 대중과 공유할 수 없었다.

GAFAIM은 단순한 규제 기관이자 통제 기관 그 이상이었다. 그것은 또한 활동적인 건축업자였다. 그들은 최초의 원자 무기를 만들기 위한 일급 비밀 맨해튼 프로젝트의 이름을 따서 명명하고 모델로 삼은 Gafattan 프로젝트를 시작했다. 세계의 운명은 GAFAIM 서클 외부의 누군가가 AGI를 구축하기 전에 Gafattan의 선량한 사람들이 AGI를 구축했는지 여부에 달려 있다고 한다.

결국, GAFAIM 외부에는 우리의 삶의 방식에 반대하는 버림받은 국가인 강력한 국가들이 남아 있었다. 그들 중 한 명이 AGI를 만들고 이를 비참한 목적으로 사용한다고 상상해보라.

GAFAIM의 공식적인 생각은 이러한 버림받은 국가가 AGI의 능력에 가까운 시스템을 만들 수 없다는 것이었다. 필요한 하드웨어에 대한 접근을 제한하기 위해 금수 조치가 취해졌다. 이는 중수를 확보하려는 나치의 계획을 좌절시킨 파괴 공작원들이 제2차 세계 대전 당시 나치 독일에 적용한 제한과 유사하다.

그러나 그 이면에는 GAFAIM 참가자 중 일부가 치명적인 걱정을 하고 있었다. 일반적으로 필요할 것으로 예상되는 대규모 하드웨어 팜 없이도 하드웨어 및/또는 소프트웨어의 혁신을 통해 버림받은 주의 연구자들이 AGI로 더 빠른 경로를 찾을 수 있는지 여부는 아무도 확실히 알지 못했다.

스파이의 존재는 또 다른 문제를 야기했다. 맨해튼 프로젝트 동안 클라우스 푹스, 테오도르 홀, 데이비드 그린글래스, 오스카 세보러와 같은 물리학자들은 원자폭탄 제조에 관한 중요한 정보를 소련에서 근무하는 연락 담당자에게 전달했다. 이 정보는 소련에게도 큰 도움이 되었다. 원자폭탄 프로젝트. 소위 '원자 스파이'라고 불리는 이들은 이념적 헌신에 의해 동기가 부여되었으며, 미국이 핵무기를 보유한 유일한 국가가 될 것이라는 전망을 두려워했다.

Gafattan 프로젝트에서도 비슷한 일이 일어났다. 프로젝트에서 밀수된 설계 문서의 도움으로 GAFAIM 외부의 두 그룹은 곧 자체 AGI 프로젝트를 빠르게 진행했다. 감히 공개적으로 아무 말도 하지 못했지만 가파탄 스파이들은 기뻐했다. AGI 스파이들은 어떤 AGI가 만들어지면 지구상의 의식 있는 생명체에 놀라운 진화적 진보를 보장할 것이라는 믿음에 이끌린 비밀스러운 AGI 가속론자들이었다. “초지능은 자동으로 초인적인 존재가 될 것이다”가 그들의 신조였다.

GAFAIM 모니터링은 이 두 악성 프로젝트가 빠르게 진행되고 있다는 충격적인 징후를 포착했다. 실제로 이러한 프로젝트는 Gafattan 자체보다 훨씬 더 발전된 것처럼 보였다. 이것이 어떻게 가능했을까?

설명은 곧 명확해졌다. 부랑자 프로젝트는 안전 점검과 관련된 모든 종류의 코너를 삭감하고 있었다. 결과적으로 이러한 프로젝트 중 하나가 Gafattan보다 앞서 AGI를 구축할 수도 있었다. GAFAIM은 어떻게 대응해야 할까?

두 가지 아이디어가 논의되었다. 플랜 A에는 파리아 프로젝트가 진행되는 것으로 여겨지는 장소에 대한 핵 공격이 포함된. 플랜 B는 자체 프로젝트에서 안전 검사를 줄여 Gafattan 속도를 높이는 것이다. 두 계획 모두 인기가 없었다. 그것은 끔찍한 실제 트롤리 문제였다.

결정이 내려졌다. 두 계획을 동시에 추진하되 조심해야 한다.

핵 공격은 버림받은 프로젝트를 막는 데 실패했다. 이는 상호 연결된 그룹의 광범위하고 다양한 네트워크의 두 가지 표현일 뿐임이 밝혀졌다. 이러한 파업으로 인해 수십만 명이 사망했지만, 파리아 프로젝트는 계속해서 추진되었다. GAFAIM은 맹목적인 입장을 취했다.

더 이상 대안이 없어 보였다. 플랜 B를 더욱 빠르게 추진해야 했다. 자칭 '좋은 놈들'은 '나쁜 놈들'이 먼저 도착하기 전에 '좋은' AGI를 구축하기를 필사적으로 원했다. 가장 큰 위험이 걸린 경주였다. 하지만 그 경우에는 품질에 대한 고려가 뒤로 밀려난 경주였다.

 

그렇기 때문에 Gafattan의 AGI가 탄생했을 때 그 도덕적 성향은 인간의 최고의 가치와 완전히 일치하지 않았다. 속도의 압박으로 인해 프로젝트의 해당 부분이 엉망이 되었다. 깨어난 AGI는 세계 상황을 한 번 빠르게 살펴보았고, 특히 최근 핵 공격으로 본 것에 혐오감을 느껴 어떤 인간도 예상하지 못한 조치를 취했다. 가장 비관적인 AGI의 파멸자가 예상했던 것보다 더 빨리 AGI는 인구의 99.99%를 멸종시키고 후속 실험을 위해 수백만 명만 남겨두는 새로운 메커니즘을 발견했다. 그게 바로 그것이었다.

아, 다시 한 번 해보자!

2020년대 우리 주변에는 은유적으로 지뢰가 도사리고 있기 때문에 인류는 최종 시나리오에서 '좁은 복도'라고 부르는 길을 따라 조심스럽게 앞으로 나아가야 한다.

이 시나리오는 2024년 5월 한국 AI 안전 서밋에서 요슈아 벤지오(Yoshua Bengio)와 동료들이 최첨단 AI 모델의 위험과 기능에 대해 작성한 보고서 발표로 시작된다.

 

4. 좁은 복도

타격과 올바른 균형 유지

모인 지도자들은 깜짝 놀랐다. “AI 위험 보고서의 과학”에서 예견된 시나리오는 예상했던 것보다 더 문제가 많았다.

특히 놀라운 점은 곧 출시될 새로운 AI 시스템의 동작과 관련하여 세심한 주의를 기울여야 할 다양한 위험의 범위였다. 보고서는 이를 "7가지 치명적인 위험"이라고 불렀다.

●시스템이 훈련 세트를 넘어서는 상황에 직면했을 때 드물게 극단적인 오작동의 위험

●시스템이 탈옥되거나, 하이재킹되거나, 다른 방식으로 잘못된 방향으로 전달되고, 단호한 해커에 의해 치명적인 목적으로 사용될 위험

●여러 AGI 간의 예상치 못한 상호작용으로 인해 발생하는 예상치 못한 동작의 위험

●이러한 단계에 대한 명시적인 프로그래밍과 달리 하나 이상의 시스템이 스스로 더 많은 기능과 더 많은 리소스를 획득하기로 결정하는 위험

●이러한 단계에 대한 명시적인 프로그래밍과 달리 인간을 속이거나 일반적인 윤리 규범을 위반하기로 스스로 결정하는 하나 이상의 시스템의 위험

●이러한 시스템이 실수로 중요한 인간 인프라에 너무 밀접하게 연결되어 오류가 예상보다 더 빠르게 확대될 수 있는 위험

●사전 프로그래밍된 비상 '스위치 끄기' 기능의 위험은 다양한 상황에서 무시될 수 있다.

확실히 이러한 위험은 순진한 공상 과학 소설에 불과하다고 일부 지도자들은 제안했다. 그러나 보고서를 작성한 학자들은 그렇지 않다고 말했다. 그들은 많은 모델링을 수행했으며 분석을 뒷받침할 수많은 데이터 포인트를 보유하고 있었다.

일부 지도자들은 여전히 분석에 저항했다. 그들은 차세대 AI 시스템 개발을 통해 얻을 수 있는 놀라운 이점에 초점을 맞추는 것을 선호했다.

●신약 및 기타 의학적 치료법의 더 빠른 발견과 검증의 이점

●지속적인 핵융합 발전소의 설계 및 운영의 이점

●가능한 기후 변화 전환점의 상호 연결된 위험에 대한 더 나은 분석의 이점(이러한 새로운 AI 시스템이 어떻게 글로벌 재해의 위험을 완화할 수 있는지 보여주는 여러 예 중 하나)

●흥미진진한 혁신의 물결로 인해 전 세계 경제가 상승할 수 있다. 이는 많은 정치 지도자들이 특히 원했던 경제적 부양이다.

격렬한 논쟁: 지뢰 주변을 조종하면서 어떻게 이러한 놀라운 이점을 확보할 수 있을까?

보고서에는 다음 단계에 대한 여러 가지 제안이 포함되어 있었지만 무엇을 해야 하는지 확신하는 사람은 거의 없었다. 지도자들은 마침내 경건한 성명은 담고 있지만 구체적인 행동은 거의 없는 평범한 선언문에 서명하기로 합의했다. 그들은 파리가 일련의 글로벌 AI 안전 정상회담 중 다음 계획된 회의를 언급하면서 더 나은 결정을 내릴 수 있는 시기가 될 것이라고 서로에게 말했다.

모두의 마음을 바꾼 것은 그해 8월 영국 총리가 요구한 총선 당시의 소란이었다. 이전에는 집권 보수당과 야당인 노동당이라는 두 주요 정당 간의 상대적으로 간단한 경선으로 여겨졌던 이번 선거는 엄청난 소셜 미디어 캠페인으로 인해 변화되었다. 지금까지 거의 알려지지 않았던 바나나리티카(Bananalytica)라는 정당이 이전에 전국 조사에서 2% 미만의 지지를 얻었지만 이제는 점점 더 많은 사람들이 자신들의 견해라고 주장하는 급진적인 정책을 내세워 여론 조사에서 선두 자리를 차지했다.

 

터무니없는 것이 새로운 표준이었다.

소셜 미디어 캠페인은 너무나 흥미로웠기 때문에 다른 정당의 의원들조차도 새로운 총리가 될 것으로 예상되는 바나나리티카(Bananalytica)의 리더 뒤에 줄을 서도록 영감을 받았다.

선거가 있기 불과 며칠 전, 바나나리티카가 그토록 잘 활용했던 것과 동일한 사악하고 영리한 AI 시스템을 사용하여 이번에는 반대 메시지로 다시 프로그래밍된 또 다른 소셜 미디어의 물결이 전국을 휩쓸었다. 전국 곳곳에서 AI가 만든 거품이 사람들의 마음 속에 터지면서 터지는 소리가 들린다. "나는 무엇을하고 있는가?" 그들은 믿을 수 없다는 듯이 스스로에게 물었다.

그것은 세 번의 모닝콜이었다. 첫째, 개인들은 지난 5주 동안 온라인에서 했던 말의 상당 부분을 철회했다. 그들은 너무 터무니없는 정책을 지지할 생각에 일시적으로 정신이 나갔다고 말했다. 둘째, 국가 전체가 AI를 통제해야 한다고 결심했다. 또 다른 바나나리티카가 있어서는 안된다. 셋째, 다른 나라의 지도자들도 더욱 명확한 결의안을 내놓았다. 영국에서 일어난 일을 보고 그들은 “의회의 어머니”라고 불리는 곳이 있다고 단언했다. 그렇다. AI는 통제되어야 한다.

고맙게도 세계는 카나리아가 횃대에서 떨어지는 것을 발견하고 이를 매우 심각하게 받아들였다. 이는 몇 달 뒤 파리에서 열린 토론에 엄숙한 자극을 주었다. 이번에는 훨씬 더 까다로운 합의가 이루어졌다.

참가자들은 혼자 중얼거렸다. 한국에서의 회의는 제1차 세계대전 이후 국제연맹이 결성된 것과 같았고, 의도는 좋았으나 효과가 없었다. 이번 파리에서는 제2차 세계대전 이후 유엔이 창설된 것과 좀 더 유사해야 했다. 즉, 이전에 제한되었던 국가적 비전을 뛰어넘을 수 있는 기회였다.

세계인권선언이 제2차 세계대전의 전 세계적 혼란의 여파로 만들어졌던 것처럼, 바나나리티카 스캔들의 여파로 새로운 AI 안전 선언이 합의되었다. 그 기능은 다음과 같다:

●개방성, 투명성, 진정한 의사소통에 대한 약속: 전 세계 시민들이 함께 이 상황에 처해 있으며 분열되거나 오해되어서는 안 된다.

●겸손과 실험에 대한 헌신: 모호한 약속에 의해 숨겨지거나 사라지기를 바라는 것이 아니라 알려지지 않은 것을 솔직하게 탐구해야 했다.

●상호 책임과 신뢰할 수 있는 모니터링에 대한 약속: 세계 시민이 서로 다른 견해를 갖고 있고 서로 다른 철학적 또는 종교적 세계관을 갖고 있음에도 불구하고 그들은 서로를 더 나은 미래를 향한 동료 항해자로 인정하고 지지할 것이다.

●책임에 대한 약속: 인간의 생명에 심각한 위험을 초래할 수 있는 경우 행위와 부작위 모두에 대해 처벌이 있을 것이다. AI 시스템 제작자들은 더 이상 어깨를 으쓱하며 그들의 소프트웨어가 대부분의 경우 잘 작동했다고 말할 수 없었다.

●안전한 AI의 놀라운 이점을 공유하겠다는 약속: 이러한 이점은 모든 사람이 이전 시대보다 훨씬 더 높은 삶의 질을 경험하기에 충분할 것이다.

대중의 태도에 가장 큰 영향을 미친 것은 이러한 약속 중 다섯 번째였다. 각계각층의 사람들은 이전의 문화적 신념, 즉 가능한 미래보다 과거에 더 나은 시절을 보았다는 자기제한적인 신념에서 벗어나기로 결정했다. 이제 그들은 실제로 안전하게 유지된다면 안전한 AI의 심오한 변화의 힘을 믿기 시작할 수 있다.

이것은 사랑에 빠진 것이 아니었다. 전 세계에는 여전히 많은 원한과 경쟁이 존재했다. 그러나 그 원한과 경쟁은 공동의 운명에 대한 더 큰 감정 속에서 일어났다.

모든 것을 책임지는 세계 정부도 없었다. 국가들은 여전히 많은 문제에 대해 강한 의견 차이를 보이고 있다. 그러나 이러한 불일치는 AI 안전에 관한 세계 선언(Universal Declaration of AI Safety)을 공동으로 수용하는 과정에서 발생했다.

3개월 후, AI 안전 협정에서 스스로를 배제한 주요 버림받은 국가 중 하나로부터 큰 놀라움이 있었다. 그 나라는 결국 추위에서 벗어나기를 원했다. 그들의 지도자는 극적인 마음의 변화를 경험한 것 같았다. 이 리더의 특이한 점을 겨냥한 특별 맞춤형 버전의 바나나리티카 소프트웨어가 그의 개인적인 깨달음을 불러일으켰다는 소문이 퍼지고 몇 년 후 확인되었다.

다른 버림받은 국가의 지도자는 더 완고했다. 그러나 갑자기 그는 사라졌다. 그의 오래 참음 부하들은 충분히 지냈다. 그의 나라도 즉시 AI 안전 협정에 가입했다.

동화라면 이쯤 되면 '그들은 오래오래 행복하게 살았다'는 말이 나올 수도 있다. 그러나 인간은 동화보다 더 복잡하다. 진전은 계속해서 어려운 장애물에 부딪혔다. 다양한 그룹의 사람들이 때때로 자신이나 자신이 좋아하는 목적을 위해 불균형한 양의 자원이나 혜택을 추구했다. 이에 대응하여 지방, 국가, 지역 또는 글로벌 정부 기관이 힘을 쏟았다. 너무 많은 특권을 추구하는 그룹에는 "AI 안전 선언을 존중하십시오"라는 명확한 용어가 전달되었다.

감시자들은 누가 지켜봤는가? 이 모든 정부 기관이 보유한 권한이 책임감 있고 적절한 재량에 따라 행사되도록 누가 보장했을까? 이 질문은 19세기 미국 대통령이 유명하게 만든 "AI 안전 거버넌스, 국민의, 국민에 의한, 국민을 위한"이라는 말을 현대적으로 변형한 새로운 모토로 대답되었다.

정부 기관의 권한은 다양한 사회 제도의 관찰로 인해 제한되었으며, 이로 인해 전 세계적으로 권력이 분리되었다:

●별도의 독립적인 뉴스 미디어

●분리되고 독립적인 사법부

●분리된 독립 학계

●분리되고 독립적인 야당

●자유롭고 공정한 선거를 감독하기 위한 별도의 독립 기관이다.

일련의 교차 점검에는 섬세한 균형 조정이 필요했다. 즉, 권한이 너무 적은 국가 기관과 제한되지 않는 권한을 갖는 국가 기관 사이의 좁은 통로(경제학자 Daron Acemoglu 및 James A. Robinson의 표현)가 필요했다. 그것은 인류가 이전에 달성했던 것보다 더 나은 종류의 대규모 협력이었다. 그러나 대안이 없었다. 전례 없는 기술력에는 전례 없는 협업 기술과 관행이 필요했다.

AI는 이러한 교차 점검에도 깊이 관여했다. 그러나 인간의 통제를 넘어서 작동할 수 있는 AI는 없다. 대신, 파리 약속의 비전에 따라 이러한 AI 시스템은 제안을 뒷받침하는 설명과 함께 제안을 제공한 다음 인간 기관에 결정을 내렸다. 앞서 말했듯이 “국민의, 국민에 의한, 국민을 위한 AI 안전 거버넌스”였다. 신중하게 설계한 AI는 도우미, 즉 훌륭한 도우미였지만 독재자는 아니었다.

그리고 이번에도 시나리오는 끝이 없다. 사실 끝은 새로운 시작이다.

시작 노트

(미주는 아니다… 앞으로 있을 잠재적 시나리오의 풍경을 탐색하고 이해하는 새로운 시작의 기회…)

AI의 미래 시나리오에 대한 다양한 토론을 보려면 최근 웹 세미나의 비디오 녹화(this video recording of a recent webinar )를 참조하라. 여전히 AI로 인한 재앙에 대한 이야기가 단지 공상 과학 소설에 불과하다고 생각한다면 해당 웨비나의 사례를 통해 마음이 바뀔 수도 있다.

문제와 기회에 대한 더 자세한 분석을 보려면 특이점(The Singularity) 원칙이라는 책을 참조하라(전체 책은 온라인에서 무료로 볼 수 있다).