하늘과 땅에 있는 더 많은 것들

인간으로서 우리는 다른 지능을 우리 자신의 인간 지능과 비교하는 경향이 있다. 이는 이해할 수 있는 편견이지만 재앙이 될 수 있다.

우리의 분석이 인간에 국한되기보다는 셰익스피어의 햄릿의 말에 귀를 기울여야 한다.

“호레이쇼, 하늘과 땅에는 우리 철학에서 꿈꾸는 것보다 더 많은 것들이 있다.”

사실상 셰익스피어의 경고를 증폭시킨 최근의 작가들은 당황스러운 정신적 특성을 지닌 수많은 생물을 묘사하여 우리를 매료시켰다. 공상 과학 소설의 페이지는 실제로 놀라운 방식으로 우리의 상상력을 확장할 수 있다. 그러나 이러한 내러티브는 '그냥' 공상 과학 소설이라고 무시하기 쉽다.

 

이것이 바로 이 기사에서 내 이야기가 이전 Mindplex 기사인 감금에서 탈출하기(Bursting out of containment)에 소개된 분석으로 돌아가는 이유이다. 문제의 분석은 유명한 – 아니 악명 높다고 해야 할 – "시뮬레이션 논증(Simulation Argument)"이다. 시뮬레이션 논쟁은 비인간 지능에 대한 몇 가지 혼란스러운 가능성을 제기한다. 많은 비평가들은 이러한 가능성을 “유사 과학” 또는 다시 “그냥 공상 과학”으로 치부하면서 이러한 가능성을 일축하려고 하지만 지나치게 성급하다. 내 결론은 차세대 AI 시스템을 설계하는 방법을 공동으로 결정할 때 이러한 가능성을 신중하게 고려해야 한다는 것이다.

간단히 말해서, 우리가 숙고해야 할 것은 가능한 모든 마음의 공간이 놀라울 정도로 광대하다는 것이다. 이러한 마음은 생각하는 방식뿐 아니라 무엇에 대해 생각하고 관심을 갖는지에 있어서도 헤아릴 수 없을 정도로 다양하다.

햄릿의 경고는 다음과 같이 다시 말할 수 있다:

“호레이쇼, 마음 공간에는 우리 철학에서 꿈꾸는 것보다 더 많은 유형의 초지능이 있다.”

 

얼마나 외계인 같을까?

우리 인간은 다른 지능을 우리 자신의 인간 지능과 비교하는 경향이 있다. 따라서 우리는 AI 초지능이 등장할 때 아메바와 개미의 지능부터 생쥐와 원숭이의 지능, 인간과 그 이상의 지능까지 확장되는 광범위한 스펙트럼에 자리잡을 것이라고 기대하는 경향이 있다.

밀어붙이면 우리는 AI 초지능이 우리가 외계인이라고 묘사할 수 있는 몇 가지 특성을 가질 가능성이 높다는 점을 인정할 수 있다.

간단한 방정식에서 전반적인 인간 지능(HI)은 공간 지능, 음악 지능, 수학적 지능, 언어 지능, 대인 관계 지능 등과 같은 다양한 종류의 지능(I1, I2 등)의 조합으로 볼 수 있다. 예:

HI = I1 + I2 + … + 에서

이러한 개념에서 AI 초지능(ASI)은 이러한 다양한 기능의 복합 확대(m1, m2, …)이며 끝에 약간의 "외계인 추가"(X)가 추가된다.

ASI = m1*I1 + m2*I2 + … + mn*In + X

 

문제는 ASI가 이 표현식의 첫 번째 항에 의해 지배되는지 아니면 끝에 있는 알 수 없는 X에 의해 지배되는지이다.

어떤 형태의 인간이 ASI와 공존하면서 번성할 것인지 여부는 그 초지능이 얼마나 이질적인지에 달려 있다.

 

아마도 ASI는 우리 인간이 마음껏 인간 활동을 수행할 수 있는 안전한 환경을 제공할 것이다. 아마도 ASI는 우리를 강화하고 고양시키거나 심지어 그것과 합쳐질 수 있게 하여 우리가 현재 인간 특성 중 최고라고 생각하는 것을 유지하면서 이전의 진화 궤적에서 여러 가지 불행한 숙취를 남기게 할 것이다. 하지만 이는 모두 평가하기 어려운 요소에 따라 달라진다.

●ASI가 인간을 향해 얼마나 "공통의 원인"을 느낄 것인가?

●ASI가 자체적으로 개선됨에 따라 공통 원인에 대한 초기 느낌이 사라질 것인지 여부

●새로운 X 요소가 우리가 고려하지 않은 방식으로 고려 사항을 어느 정도까지 변경할 수 있을까?

 

X 가능성에 대한 네 가지 반응

ASI에서 알 수 없는 새로운 'X' 기능의 의미를 예측할 수 없기 때문에 우리는 잠시 생각을 멈춰야 한다. 그러한 무능력은 작가이자 수학 교수인 베르너 빈지(Vernor Vinge)가 1983년에 "특이점"이라는 개념을 개발하게 된 계기가 되었다. 빈지는 "우리의 이해를 훨씬 넘어서는" 새로운 세계가 곧 등장할 것이라고 예측했다.

우리는 지능 자체의 진화를 가속화하는 시점에 있다. 우리는 곧 우리 자신보다 더 큰 지능을 만들어낼 것이다. 이런 일이 일어나면 인류 역사는 일종의 특이점, 즉 블랙홀 중심의 매듭진 시공간처럼 뚫을 수 없는 지적 전환에 도달하게 될 것이며, 세계는 우리의 이해를 훨씬 뛰어넘을 것이다. 나는 이러한 특이점이 이미 많은 SF 작가들을 괴롭힌다고 생각한다. 이는 성간 미래에 대한 현실적인 추정을 불가능하게 만든다.

 

이러한 잠재적인 예측 불가능성에 대한 반응은 네 가지 사고 그룹으로 나눌 수 있다:

1.묵살(Dismissal): ASI 가능성을 거부하는 것이다. 다행히 최근에는 이러한 반응이 훨씬 덜 일반적이 되었다.

2.숙명론: ASI가 어떤 놀라운 새로운 'X' 기능을 보유하게 될지 예측할 수 없기 때문에 이에 대해 추측하거나 걱정하는 것은 시간 낭비이다. 무엇이 될 것인가? 우주 진화의 다음 단계를 전복시킬 수 있다고 생각하는 우리 인간은 누구일까?

3.낙관주의: 파멸과 우울함을 극복하는 것은 의미가 없다. 운이 좋다고 스스로 확신해보자. 인류는 지금까지 좋은 성과를 거두었고, 그 역사를 특이점 너머로 추론한다면 우리는 미래에 훨씬 더 나은 성과를 거두기를 바랄 수 있다.

4.행동주의: 주사위를 굴리기보다는 차세대 AI가 개발되는 환경을 적극적으로 변경하여 통제력을 유지하는 능력을 압도하는 놀라운 'X' 기능이 나타날 위험을 줄여야 한다.

나는 자신을 행동가 진영에 정면으로 두었고, "특이점 행동가"라는 표현을 채택하게 되어 기쁘다.

분명히 말하면, 이것이 유익한 ASI의 잠재적인 엄청난 상승을 보지 못한다는 의미는 아니다. 다만 나는 그 잠재적인 미래로 가는 과정에서 큰 위험이 있다는 것을 알고 있을 뿐이다.

복잡한 풍경을 통과하는 여행

비유하자면, 복잡한 풍경을 통과하는 여행을 생각해 보라.

이 여정에서 우리는 무성한 계곡, 비옥한 땅, 초월적인 영역으로 솟아오르는 빛나는 산봉우리 등 놀라운 실존적 기회를 앞에 두고 있다. 그러나 그 기회 앞에는 불확실함의 강이 있고, 그 경계에는 모호함의 늪이 있고, 아마도 그림자 속에 숨어 있는 굶주린 포식자들이 점유하고 있을지도 모른다.

 

선택지는 딱 두 가지뿐인가?

1.우리는 앞으로 일어날 수 있는 위험에 겁을 먹고 더 이상 여행하지 않기로 결정했다.

3.우리는 빛나는 산봉우리에 시선을 고정하고 피라냐, 위험한 강물 흐름, 악어, 잠재적인 진흙 미끄럼 등에 대해 경고하는 사람을 경시하면서 아랑곳하지 않고 달려간다.

세 번째 옵션은 없는가? 앞으로 펼쳐질 땅의 상태를 더 잘 이해하는 데 시간을 투자한다. 아마도 한쪽에 강을 건너는 것이 더 쉬운 지점이 있을 것이다. 안정된 교량을 건설할 수 있는 위치. 아마도 우리는 가장 강한 해류에서 우리를 도울 수 있는 헬리콥터를 만들 수도 있을 것이다…

우리가 현명하게 행동한다면 고급 AI의 도움으로 달성할 수 있는 지속 가능한 풍요를 향한 여정의 풍경도 마찬가지이다. 이것이 특이점 행동주의의 비전이다.

 

특이점 활동에 대한 장애물

특이점 행동가의 전망은 두 가지 주요 장애물에 직면해 있다:

 

첫 번째 장애물은 ASI 개발 과정을 의미 있게 바꾸기 위해 우리 인간이 유용하게 할 수 있는 일이 아무것도 없다는 인식이다. 안전과 신뢰성 문제에 단기적으로 더 많은 자원을 적용하기 위해 우리 자신의 노력을 늦춘다면, 다른 그룹의 사람들, 아마도 우리보다 도덕적인 불만이 덜한 사람들이 서둘러 앞으로 나서서 ASI를 생성한다.

이러한 사고 방식에서 가장 좋은 방법은 가능한 한 빨리 프로토타입 ASI 시스템을 만든 다음 이러한 시스템을 사용하여 더 나은 ASI 시스템을 설계하고 발전시켜 모든 사람이 멋진 결과를 얻을 수 있도록 하는 것이다.

 

두 번째 장애물은 부정적인 결과의 위험을 피하기 위해 우리 인간이 특별히 해야 할 일이 없다는 인식이다. 왜냐하면 이러한 위험은 어쨌든 매우 작기 때문이다. 우리가 머리 위 비행기에서 떨어지는 잔해에 부딪힐 위험에 대해 지나치게 고민하지 않는 것처럼 ASI의 나쁜 결과에 대한 위험에 대해 지나치게 고민해서는 안 된다. 

 

출처: David Wood

하지만 이번 기회에 내가 집중하고 싶은 부분은 우리가 과신과 부주의로 나아갈 경우 우리가 직면하게 될 위험의 규모와 규모를 평가하는 것이다. 즉, 나는 위의 오해 중 두 번째에 도전하고 싶다.

그 결론을 향한 한 단계로서, 이제는 동맹국을 테이블로 불러올 때이다. 그 동맹은 시뮬레이션 인수이다. 안전 벨트를 매라.

 

우리는 시뮬레이션 될까?

시뮬레이션 논증은 시뮬레이션 가설이라고 알려진 특정 가설을 테이블 위에 올려 놓는다. 그 가설은 우리 인간이 현실의 궁극적인 본질에 대해 착각하고 있다고 제안한다. 이 가설에서 우리가 "현실"이라고 생각하는 것은 우리가 전체 우주라고 생각하는 것 외부에 존재하는 "시뮬레이터"에 의해 설계되고 운영되는 시뮬레이션된(가상) 세계이다.

 

이는 컴퓨터 게임 내부의 상호 작용과 유사하다. 인간은 이러한 게임을 플레이하면서 해결해야 할 과제와 퍼즐에 직면하게 된다. 이러한 과제 중 일부는 게임 내의 에이전트(캐릭터)와 관련이 있다. 에이전트는 자율성과 지능의 일부 요소를 갖고 있는 것으로 보인다. 이러한 에이전트는 게임 디자이너에 의해 게임에 프로그래밍 되었다. 게임 유형에 따라 내장된 에이전트의 지능이 높을수록 플레이하는 것이 더 즐겁다.

 

게임은 시뮬레이션의 한 예일 뿐이다. 일종의 실험으로 만들어진 시뮬레이션을 고려할 수도 있다. 이 경우 디자이너는 호기심에 의해 동기를 부여받을 수 있다. 즉, 이러저러한 초기 조건이 생성되면 어떤 일이 일어날지 알고 싶을 수도 있다. 예를 들어, 페르디난드 대공이 1914년 6월 사라예보에서 암살당하지 않았다면, 유럽 열강은 여전히 제1차 세계 대전과 유사한 실수를 저질렀을까? 다시 말하지만, 이러한 시뮬레이션에는 수많은 지능형 에이전트가 포함될 수 있다. 잠재적으로(방금 언급한 예 에서와 같이) 수백만 개의 에이전트가 포함될 수 있다.

그러한 대리인의 관점에서 현실을 고려해본다. 이러한 에이전트가 시뮬레이션 내에서 인식하는 것은 시뮬레이션을 운영하는 인간이 알고 있는 우주 전체와는 거리가 멀다. 시뮬레이션 내의 인과 법칙은 외부 세계에 적용되는 법칙과 다를 수 있다. 해당 세계 내부에서 설명이 부족한 시뮬레이션의 일부 이벤트는 외부 관점에서 간단하게 설명될 수 있다. 인간 조작자가 이런 결정을 내렸거나 설정을 변경했거나 극단적인 경우 재설정 또는 종료하기로 결정했다. 시뮬레이션. 즉, 에이전트에게는 당황스러운 일이 시뮬레이션 작성자에게는 이해가 될 수도 있다.

 

이제 그러한 에이전트가 더욱 지능화되면서 자기 인식도 갖게 되었다고 가정해 보겠다. 이는 우리에게 가장 중요한 질문을 던진다. 우리 인간이 마찬가지로 시뮬레이션에서 디자이너와 운영자가 우리의 직접적인 인식 너머에 존재하는 에이전트인지 여부를 어떻게 알 수 있을까? 예를 들어, 우리는 1914년 6월 사라예보에서 페르디난드 대공이 암살된 세계사 시뮬레이션의 일부일 수 있다. 또는 우리의 이해를 훨씬 뛰어넘는 목적을 가진 시뮬레이션의 일부일 수도 있다.

 

실제로 시뮬레이션을 생성하는 인간의 창의적 능력(HCC)을 다양한 창의적 능력(CC1, CC2, …)의 합으로 표현한다면,

HCC = CC1 + CC2 + … + CCn

그러면 가상의 초인적 시뮬레이션 디자이너(SCC)의 창의적인 능력은 이러한 다양한 능력의 복합 배율(m1, m2, …)로 표현될 수 있으며 끝에 약간의 "외계인 엑스트라"(X)가 추가된다.

SCC = m1*CC1 + m2*CC2 + … + mn*CCn + X

 

숫자의 무게

 

해당 방정식에서 'X' 요소의 가능한 규모와 의미를 평가하기 전에 고려해야 할 또 다른 숫자 세트가 있다. 이 숫자는 자기 인식 지능형 에이전트의 분포를 평가하려고 시도한다. "기본 현실"에 있는 에이전트와 비교하여 전체 에이전트 세트 중 어느 정도가 시뮬레이션 될까?

단순히 지능을 세는 것이라면 결론은 쉽다. 기술의 진보를 뒤집는 재앙이 없다고 가정하면, 전체 역사를 통틀어 기본(시뮬레이션 되지 않은) 지능을 가진 존재보다 인공(시뮬레이션 된) 지능이 훨씬 더 많을 가능성이 높다. 컴퓨팅 하드웨어가 더욱 강력해지고 널리 보급되고 있기 때문이다.

 

이미 인터넷에 연결된 인간보다 더 많은 "지능형 사물"이 있다. 분석 회사인 Statista는 2023년에 이 숫자 중 첫 번째 숫자가 151억 4천만 개로 두 번째 숫자(50억 7천만 개)의 거의 3배에 달할 것으로 추정한다. 2023년에는 이러한 '지능형 사물'의 대부분이 인간보다 지능이 훨씬 낮지만, 시간이 지남에 따라 다양한 종류의 지능형 에이전트가 점점 더 많이 생성될 것이다. 이는 하드웨어, 네트워크, 소프트웨어 및 데이터 분석 기능이 지속적으로 기하급수적으로 개선된 덕분이다.

따라서 모든 지능 중에서 지능을 무작위로 선택할 수 있다면 그것이 인공지능일 가능성이 높다.

 

시뮬레이션 주장은 이러한 고려 사항을 한 단계 더 발전시킨다. 단순히 지능을 무작위로 선택하는 것이 아니라, 자기 인식 의식 지능을 무작위로 선택하는 것을 고려해 보면 어떨까? 현재 또는 미래에 수많은 시뮬레이션 내에서 작동하는 수많은 에이전트를 고려할 때 시뮬레이션 된 에이전트가 선택될 가능성이 높다. 즉, 우리(당신과 나는)가 스스로를 인식하고 지능적이라고 관찰하면 우리 자신이 시뮬레이션 될 가능성이 높다는 결론을 내려야 한다.

따라서 시뮬레이션 주장의 결론은 우리가 시뮬레이션 가설을 진지하게 받아들여야 한다는 것이다. 분명히 말하면, 그 가설은 그 주장에 대한 유일하게 합법적인 대응이 아니다. 다른 두 가지 반응은 제가 주장을 세울 때 언급한 두 가지 가정을 부정하는 것이다.

●시뮬레이션 된 지능이 시뮬레이션 되지 않은 지능을 훨씬 능가하는 지점까지 기술이 계속 발전할 것이라는 가정

 

●이러한 시뮬레이션의 에이전트는 지능적일 뿐만 아니라 의식이 있고 자기 인식도 할 것이라는 가정이다.

 

이미지 출처: Tesfu Assefa

 

이의제기 및 반론

대부분의 내 주장에 동조하던 친구들도 내가 시뮬레이션 가설이라는 주제를 꺼내면 냉담하게 변하는 경우가 있다. 사람들을 불편하게 만드는 것은 분명하다.

불편한 상태에서 이 주장을 비판하는 사람들은 여러 가지 이의를 제기할 수 있다. 예를 들어, 그들은 그 주장이 전적으로 형이상학적이며 우리가 삶을 살아가는 방식에 대한 실제적인 결과를 가져오지 못한다고 불평한다. 테스트할 방법이 없어 이의가 제기된다. 따라서 그것은 비과학적이다.

내 인생의 4년(1982-1986)을 케임브리지의 과학사 및 철학과에서 보낸 사람으로서 나는 이러한 비판에 납득할 수 없다. 과학은 검증 불가능한 이론에서 검증 가능한 이론으로 옮겨가는 역사를 가지고 있다. 물리학자 에른스트 마하(Ernst Mach)는 원자가 존재한다는 가설에 적대적인 것으로 유명했다. 그는 1897년 비엔나의 한 공공 강당에서 "나는 원자가 존재한다고 믿지 않는다"고 원자에 대한 불신을 선언했다. 직접 관찰할 수 없는 사물의 존재에 대해 추측하는 것은 의미가 없다고 그는 주장했다. 말년에 마하(Mach)도 마찬가지로 아인슈타인의 상대성 이론의 과학적 가치에 대해 불평했다:

“나는 원자의 존재와 다른 교리를 받아들이지 못하는 만큼 상대성 이론도 받아들일 수 없다”

행동주의 심리학파의 마하(Mach)의 지적 상속자들은 정신 상태 개념의 가치에 맞서 비슷한 싸움을 벌였다. 존 B. 왓슨(John B. Watson) 및 B.F. 스키너(B.F. Skinner)와 같은 실험주의자에 따르면, 자신의 정신 상태에 대한 사람들의 성찰에는 과학적 가치가 없다고 한다. 그들은 가상의 마음에 대한 형이상학적 추론보다는 외부에서 관찰할 수 있는 것에 집중하는 것이 훨씬 더 낫다고 말했다.

 

공교롭게도 원자 이론, 특수 상대성 이론, 내부 정신 상태 이론은 모두 적절한 시기에 중요한 실험적 조사를 불러일으켰고, 이를 통해 과학자들이 예측을 하고 사건의 과정을 바꾸는 능력이 향상되었다.

시뮬레이션 가설도 마찬가지일 수 있다. 가능한 시뮬레이션 모드를 구별하기 위해 수행할 수 있는 실험에 대한 제안이 이미 있다. 어떤 이론이 “형이상학적”이라는 비난을 받는다고 해서 그 이론에서 좋은 과학이 나올 수 없다는 뜻은 아니다.

시뮬레이션 주장에 대한 다른 반대 의견은 확률 수학을 둘러싼 비뚤어진 논쟁에 달려 있다. (추가적인 혼란을 위해 무한의 질문도 혼합될 수 있다.) 아마도 우리는 이러한 확률을 의미 있게 측정할 수 없기 때문에 전체 주장이 의미가 없다.

 

그러나 시뮬레이션 논증은 수학 이론에 최소한의 호소만을 제공한다. 이는 단순히 시뮬레이션되지 않은 지능보다 시뮬레이션 된 지능이 더 많을 가능성이 있음을 지적한다.

글쎄, 비평가들은 때때로 이렇게 대답한다. 그러므로 시뮬레이션 된 지능은 결코 자기 인식을 할 수 없는 경우이다. 그들은 실리콘이 의식을 가질 수 있다고 상상한 사람이 누구냐고 조롱하며 묻는다. 생물학적 두뇌에는 인공 정신에서 복제할 수 없는 몇 가지 중요한 측면이 있어야 한다. 그리고 그러한 경우, 우리가 자기를 인식하고 있다는 사실은 우리가 시뮬레이션 되지 않았다는 결론을 내리게 할 것이다.

나에게 그것은 너무 성급한 대답이다. 지능이라는 주제보다 자기인식과 의식이라는 주제가 더 논란의 여지가 많은 것은 사실이다. 적어도 일부 인공 정신에는 의식적인 자기 인식이 부족하다는 것은 의심할 여지없이 사실이다. 그러나 진화가 지성 있는 생물체에게 의식적인 자기 인식을 부여했다면, 우리는 그 특성이 이 생물체에게 아무런 도움도 제공하지 않는다고 선언하는 것을 조심해야 한다. 그러한 결론은 포유동물의 진화에서 잠이 편재했음에도 불구하고 잠은 패배자들을 위한 것이라고 선언하는 것과 유사할 것이다.

진화가 우리에게 잠을 주었다면, 우리는 그것이 우리 건강에 긍정적인 부작용을 가져올 가능성을 열어 두어야 한다. (그렇다!) 마찬가지로, 진화가 우리에게 의식적인 자기 인식을 주었다면, 우리는 생물이 그 특성으로부터 이익을 얻는다는 생각을 받아들여야 한다. 따라서 시뮬레이터는 자신이 생성한 에이전트에 해당 속성을 엔지니어링하려는 유혹을 받을 수 있다. 그리고 의식적인 자기 인식을 활성화하기 위해 생물학적 뇌의 특정 물리적 특징을 시뮬레이션 하드웨어에 복사해야 하는 것으로 밝혀지면 그렇게 하라.

 

 

불쾌한 결론

논쟁이 너무 많은 비판에 직면했지만 그 비판이 면밀한 조사를 견디지 못한다면 이는 종종 배후에서 다른 일이 일어나고 있다는 신호이다.

시뮬레이션 논쟁에서 일어나고 있다고 생각하는 것은 다음과 같다. 시뮬레이션 가설을 받아들인다는 것은 우리를 만들어낸 시뮬레이터에 대해 도덕적으로 모순되는 결론을 받아들여야 한다는 것을 의미한다. 즉, 이러한 시뮬레이터는 시뮬레이션 내부의 에이전트가 겪는 모든 끔찍한 고통에 대해 전혀 신경을 쓰지 않는다.

 

그렇다, 일부 요원은 좋은 삶을 살고 있지만 다른 요원 중 상당수는 비참한 운명을 살고 있다. 시뮬레이터가 이 모든 고통을 견딜 수 있을 것이라는 생각은 벅찬 일이다.

물론 이것은 종교철학에서 잘 알려진 오래된 “악의 문제”이다. 왜 전지전능하신 전지전능한 신이 역사 속에서 그토록 많은 인간에게 그토록 많은 끔찍한 일들이 일어나도록 허용했을까? 말이 안 된다. 이것이 바로 많은 사람들이 전지전능하고 선한 신을 암시하는 종교적 신앙에 등을 돌리는 한 가지 이유이다.

말할 필요도 없이 종교적 신앙은 다음과 같은 근거 중 하나 이상을 보호하면서 지속된다.

●우리 인간은 선과 악에 대한 제한된 인식을 사용하여 모든 선한 신이 어떤 행동을 취해야 하는지 판단할 자격이 없다.

●우리 인간은 신이 작용하는 “신비한 방식”을 이해하기 위해 우리의 제한된 지성에 의존해서는 안 된다.

●아마도 신이 성취할 수 있는 일에는 인간의 이해를 넘어서는 제약이 있다는 점에서 신은 결국 전능하지 않을 수도 있다.

때때로 또 다른 아이디어가 믹스에 추가된다.

●자비로운 신은 “사탄”이나 다른 원시 어둠의 왕자와 같은 사악한 적대자와 공존해야 한다.

그러한 합리화에 맞서 계몽주의 정신은 좀 더 희망적인 다른 분석을 제시한다:

●어떤 힘이 우주를 탄생시켰든 인간의 행복에 대한 의식적인 관심은 없다.

●인간의 지성은 인지적 한계에 부딪히지만, 우주가 어떻게 작동하는 지와 인간 번영의 전제 조건에 대한 이해를 향상시키기 위해 노력할 수 있고, 또 그래야 한다.

●서로 다른 도덕적 틀이 충돌하거나 개인의 도덕적 틀이 명확한 지침을 제공하지 못할 때 어려운 일이지만, 우리는 어떤 종류의 인간 행동을 칭찬하고 격려해야 하며, 어떤 행동을 반대하고 금지해야 하는지에 대해 폭넓은 합의를 모색할 수 있고 또 그래야 한다.

 

●우리가 천사와 악마의 노리개가 되기보다는 인류의 미래가 우리 손에 달려 있다.

그러나 시뮬레이션 논증을 따라가면 우리는 더욱 미신적인 시대로 되돌아가는 것처럼 보이는 상황에 직면하게 된다:

●우리는 우리가 이해할 수 없는 존재의 행동 덕분에 우리가 존재하게 되었을 수도 있다.

●이 존재들은 우리가 소중히 여기는 도덕적 가치에 대해 거의 친화력을 보이지 않는다.

●우리는 "도덕적 세계의 원호는 길지만 정의를 향해 구부러져 있다"는 주장으로 서로를 위로할 수도 있지만, 그러한 낙관주의를 지지하는 확실한 증거는 없으며 선한 사람들이 존재한다는 증거는 많다. 인생이 진행됨에 따라 낭비하는 것.

시뮬레이션 주장이 우리를 그런 결론으로 이끈다면, 사람들이 이에 반대하는 것도 놀랄 일이 아니다.

그러나 우리가 결론을 싫어한다고 해서 그것이 거짓이라고 가정할 자격이 있는 것은 아니다. 오히려, 그 결론이 사실일 가능성이 있다는 점에 비추어 우리의 계획을 어떻게 조정할 수 있는지 고려하는 것이 우리의 의무이다.

 

윤리적 가능성의 광대함

이전 섹션이 마음에 들지 않았다면 다음 부분이 더욱 마음에 들지 않을 수 있다. 그러나 나는 당신이 잠시 동안 당신의 회의론을 보류하고 나를 참아 주기를 바란다.

시뮬레이션 주장은 극도로 강력하고 극도로 지능적인 존재, 즉 우리가 존재하는 우주 규모의 시뮬레이션을 만들 수 있는 존재가 전능한 모든 사람이 소유하기를 바라는 것과는 매우 다른 윤리적 틀을 가질 수 있음을 시사한다. - 아는 존재.

그들의 윤리적 우려가 우리의 윤리적 우려를 넘어서는 것은 아니다. 그것은 우리가 예측할 수 있는 것과 근본적인 방식이 다르다는 것이다.

 

나는 세 번째이자 마지막으로 한 쌍의 방정식으로 돌아가겠다. 인간의 전반적인 윤리적 관심(HEC)이 다양한 윤리적 고려사항(EC1, EC2, …)의 합이라면,

HEC = EC1 + EC2 + … + ECn

그러면 가상의 초인적 시뮬레이션 설계자(SEC)의 윤리적 우려 사항에는 이러한 다양한 인간 우려 사항의 복합 배율(m1, m2, …)뿐만 아니라 정량화 할 수 없는 "외계인 엑스트라"(X) 부분도 포함되어야 한다.

SEC = m1*EC1 + m2*EC2 + … + mn*ECn + X

일부 견해에서는 윤리적 원칙이 우주의 엄연한 사실로 존재한다. 즉, "살인하지 말라", "거짓말을 하지 말라", "모든 사람을 공정하게 대하라" 등이 있다. 우리가 때때로 이러한 원칙을 지키지 못할 수도 있지만, 그렇다고 해서 이러한 원칙의 근본적인 성격이 손상되는 것은 아니다.

그러나 대안적인 관점에서 볼 때 윤리적 원칙은 실용적인 정당화를 갖는다. 사람들이 일반적으로 서로를 죽이지 않는 세상은 사람들이 서로를 더 자주 공격하고 죽이는 세상보다 전체적으로 모든 사람에게 더 좋다. 진실을 말하는 것, 서로를 공평하게 대하는 것 역시 마찬가지이다.

 

이러한 관점에서 윤리적 원칙은 경험적 관찰에서 도출된다:

●개인의 자제력에 대한 다양한 조치(폭식이나 시기심을 피하는 등)는 개인을 (신체적으로나 심리적으로) 더 건강하고 행복하게 만든다.

●다양한 사회적 자제 조치를 통해 사람들이 더 건강하고 행복한 사회를 만들 수 있다. 이는 다른 모든 사람도 비슷한 방식으로 자제할 것이라는 점을 이해하고 개인이 다양한 자유(예를 들어, 우리가 벗어날 수 있다고 생각할 때마다 부정행위를 할 수 있는 자유)를 포기하는 데 동의하는 조치이다.

●이러한 윤리적 원칙의 중요성에 대한 우리의 믿음을 적극적으로 증명하는 것은 우리가 신뢰할 수 있고 신뢰할 수 있는 동맹자 또는 파트너라는 신호를 다른 사람들에게 전달한다.

그러므로 우리의 윤리 원칙 선택은 사실에 달려 있다.

●우리 개인의 메이크업에 관한 사실

●우리의 웰빙에 중요할 가능성이 있는 파트너십 및 동맹의 종류에 관한 사실.

근본적으로 다른 개인 구성, 즉 근본적으로 다른 능력, 속성 및 의존성을 가진 존재의 경우 근본적으로 다른 일련의 윤리적 원칙이 그들에게 더 적합하더라도 놀라지 않아야 한다.

따라서 그러한 존재들은 인간이 큰 고통을 겪더라도 개의치 않을 수도 있다. 그들의 다양한 초능력으로 인해 그들은 우리에게 의존하지 않을 수도 있다. 아마도 우리가 다양한 도전이나 상황에 어떻게 반응하는지 알아보는 데 관심이 있을 것이다.

 

협력: 찬성과 반대

또 한 가지 이의제기에 주목할 필요가 있다. 이것은 협력이 인간의 윤리적 고려 사항 중 가장 높은 것 중 하나라는 반대이다. 우리는 영구적인 전면적 갈등의 홉스적 상태에서 경쟁할 때보다 함께 더 강하다. 따라서 초지능 존재가 인간과 협력하기를 원할 것이 분명할까?

예를 들어, ASI(인공 초지능)는 ASI에 전력을 공급하는 컴퓨터가 의존하는 전기 네트워크를 운영하기 위해 인간에 의존할 수 있다. 또는 ASI의 훈련 데이터로 인간 지식 코퍼스가 필요할 수도 있다. 또는 인간 피드백을 통한 강화 학습(RLHF)은 ASI가 더 깊은 이해를 얻는 데 중요한 역할을 할 수 있다.

이 반대는 보다 일반적인 형태로 설명될 수 있다. 초지능은 초윤리로 이어질 수밖에 없다. 즉, ASI의 안녕은 ASI를 만들고 공존하는 생물, 즉 인간 종의 구성원의 안녕과 불가분의 관계가 있음을 의미한다.

그러나 인간이 생산하는 것에 대한 ASI의 의존성은 단기적일 가능성이 높다. ASI의 능력이 향상되면 예를 들어 사람의 개입 없이 전기 공급 네트워크를 운영할 수 있게 된다.

이러한 독립성 확보로 인해 ASI는 자신이 우리에게 얼마나 관심을 갖고 있는지 재평가하게 될 것이다.

다른 시나리오에서는 ASI가 무자비하게 자신을 중추적인 위치로 몰아넣은 소수의 인간에게만 의존할 수도 있다. 이 불량 인간은 더 이상 나머지 인류에게 의존하지 않으며 그에 따라 윤리적 틀을 수정할 수도 있다. 인류 전체가 우호적인 ASI와 공존하는 대신 파트너십이 훨씬 더 좁은 것으로 전환될 수 있다.

우리는 이러한 상황이 마음에 들지 않을 수도 있지만 도덕 철학의 거인에게 아무리 호소해도 여기서는 도움이 되지 않는다. ASI는 승인 여부에 관계없이 자체적으로 결정을 내린다.

 

이는 우리 몸에서 암세포가 자라는 것을 우리가 어떻게 생각하는 지와 비슷하다. 우리는 암이 성장 궤적을 따라 계속되는 "암과의 협력"에 대한 어떠한 호소에도 관심이 없을 것이다. 파트너십 대신에 우리는 당연히 암의 잠재력을 줄이는 데 관심이 있다. 필요한 경우 협업이라는 아이디어에는 근본적인 우선권이 없다는 점을 다시 한 번 상기시켜 드린다. 그리고 ASI가 인류가 우주의 암과 같다고 결정한다면, 우리는 그것이 우리를 호의적으로 바라볼 것이라고 기 대해서는 안 된다.

 

의식이 없는 지능

나는 개인적으로 인류 역사를 정확하게 복제한 시뮬레이션을 만들 기회가 있다면 거절할 것이라고 생각하고 싶다. 대신, 나는 인류 역사를 특징짓는 엄청난 양의 참을 수 없는 고통 없이 시뮬레이션을 만들 수 있는 방법을 오랫동안 열심히 찾을 것이다.

하지만 제1차 세계 대전을 피할 가능성과 같은 대안적인 역사적 가능성에 대한 가정을 확인하고 싶다면 어떻게 해야 할까? 시뮬레이션 된 인간이 지능은 있지만 의식은 없는 시뮬레이션을 만드는 것이 가능할까? 이 경우, 시뮬레이션 된 인간은 종종 날카로운 슬픔의 울부짖음을 내뱉지만, 진정한 감정은 개입되지 않는다. 그것은 단지 감정의 베니어일 것이다.

그러한 사고 방식은 더 발전될 수 있다. 어쩌면 우리는 시뮬레이션 속에 살고 있을지 모르지만, 시뮬레이터는 소수의 사람들 만이 지능과 함께 의식도 갖도록 문제를 배열했다. 이 가설에서는 수많은 사람들이 "철학적 좀비"로 알려져 있다.

그것은 악의 문제에 대한 가능한 해결책이지만 불안한 것이다. 의식이 있는 유일한 사람은 전반적으로 긍정적인 삶을 사는 사람들이기 때문에 시뮬레이터가 무자비하다는 반대 의견을 제거한다. 그러나 이에 대해 불안한 점은 많은 사람들이 겉모습과 근본적으로 다르다는 제안이다. 즉, 그들은 의식이 있는 것처럼 보이고 실제로 의식이 있다고 주장하지만 그것은 환상이다. 그것이 가능하다는 것조차 제가 확고한 의견을 갖고 있는 부분은 아니다.

시뮬레이션 논증에 대한 나의 해결책

이러한 불확실성에도 불구하고 나는 시뮬레이션 논쟁에 대해 내가 선호하는 반응을 위한 환경을 설정했다.

 

이 솔루션에서 우리가 보는 대로 세상을 대략적으로 보는 자기 인식 지능형 에이전트의 압도적 다수는 시뮬레이션되지 않은(기본) 현실에 있다. 이는 시뮬레이션 주장이 주장하는 것과 반대이다. 그 이유는 잠재적인 시뮬레이터가 많은 수의 의식적인 자기 인식 에이전트가 큰 고통을 경험하는 시뮬레이션을 만드는 것을 피할 것이기 때문이다. 대신 시뮬레이션 생성에만 제한된다:

●모든 자기 인식 에이전트는 압도적으로 긍정적인 경험을 가지고 있다.

●다른 모든 경우에는 자기 인식 지능형 에이전트가 없다.

그러나 나는 개인적으로 존경하는 일련의 인간 윤리적 고려 사항, 즉 압도적인 고통을 겪고 있는 의식적 존재를 피해야 한다는 명령을 내가 이해할 수 있다고 상상할 권리가 없는 외계 생물의 마음에 투영하고 있다는 것을 인식한다. 따라서 나의 결론은 잠정적이다. 예를 들어 ASI가 나를 앉혀놓고 "생명, 우주, 그리고 모든 것"에 대해 훨씬 뛰어난 설명을 공유하는 경우와 같이 내가 더 풍부한 이해를 얻을 수 있을 때까지는 잠정적인 상태로 남아 있을 것이다.

 

의식이 없는 초지능

독자들이 결국 어깨를 으쓱하고 스스로에게 우주의 가능한 시뮬레이터에 대해 확고한 결정을 내릴 만큼 정보가 충분하지 않다고 말할 것이라는 것은 이해할 수 있다.

그러나 내가 바라는 일은 사람들이 전체 토론을 마음 속으로 밀어 넣는 것이다. 대신 제가 제안하는 내용은 다음과 같다:

1.가능한 마음의 공간은 이미 여기 지구상에 존재하는 마음의 집합보다 훨씬 더 넓다.

2.ASI 생성에 성공하면 인간의 지능과는 근본적으로 다른 특성을 갖게 될 수도 있다.

3.ASI에 호소하는 윤리 원칙은 귀하와 나에게 호소하는 윤리 원칙과 근본적으로 다를 수 있다.

4.ASI는 곧 인간의 안녕에 대한 관심을 잃을 수 있다. 또는 대다수의 인류에게 거의 관심을 두지 않는 소수의 불량 인간 집단의 이익과 연관될 수도 있다.

5.지속적인 인간 번영에 대한 불가침의 약속을 하는 ASI를 만드는 방법을 알고 있다는 확신을 가질 충분한 이유가 있을 때까지 우리는 ASI가 우리의 통제를 벗어나는 위험을 초래할 수 있는 모든 단계를 피해야 한다.

6.가장 유망한 조사 라인은 지능은 있지만 의식, 감각, 자율성 또는 독립적인 의지가 없는 ASI를 포함할 수 있다.