[유발 노아 하라리, 민주주의와 AI가 공존할 수 있는지 말하다] AI 때문에 인간이 자신의 삶에 대한 기본 결정을 더 이상 이해할 수 없다면 더 이상 책임이 없으며 이것은 민주주의의 종말을 의미한다. 정보기술은 민주주의의 기초이며 민주주의는 정보의 흐름 위에 구축된다. 우리가 소셜 미디어 알고리즘 등을 통해 경험하고 있듯이 민주주의가 지각변동 중에 있으며 민주주의가 끝날지에 대한 문제는 민주주의가 적응할 것인가이다.https://www.vox.com/the-gray-area/372742/democracy-ai-warning-yuval-noah-harari-nexus
유발 노아 하라리, 민주주의와 AI가 공존할 수 있는지 말하다.
인터넷 시대에 이데올로기가 있다면 더 많은 정보와 데이터, 더 많은 개방성이 더 좋고 더 진실된 세상을 만들 것이라는 점이다. 지금보다 세상에 대해 더 많이 아는 것이 그 어느 때보다 쉬웠고, 그 지식을 공유하는 것이 지금보다 더 쉬웠던 적은 없었다. 하지만 상황을 보고 이것이 진리와 지혜의 승리였다고 결론을 내릴 수는 없다고 생각한다. 우리는 그걸로 무엇을 만들 수 있을까? 더 많은 정보가 우리를 덜 무지하고 더 현명하게 만들지 못한 이유는 무엇일까?
유발 노아 하라리(Yuval Noah Harari)는 역사가이자 넥서스: 석기 시대부터 AI까지 정보 네트워크의 간략한 역사(Nexus: A Brief History of Information Networks from the Stone Age to AI)라는 새로운 책의 저자이다. 하라리의 모든 책과 마찬가지로 이 책도 방대한 내용을 다루고 있지만 소화할 수 있는 방식으로 처리하고 있다. 그것은 나에게 중요하다고 생각하는 두 가지 큰 주장을 제시하며, 또한 이 주장을 통해 내가 방금 제기한 몇 가지 질문에 대한 답에 더 가까워질 수 있다고 생각한다.
첫 번째 주장은 우리 세계에서 중요한 모든 시스템은 본질적으로 정보 네트워크의 결과라는 것이다. 통화부터 종교, 민족 국가, 인공지능에 이르기까지 모든 것이 작동한다. 정보를 수집하고 공유하는 사람과 기계, 기관의 사슬이 있기 때문이다.
두 번째 주장은 우리가 이러한 협력 네트워크를 구축함으로써 엄청난 양의 힘을 얻더라도 대부분의 네트워크가 구축되는 방식으로 인해 나쁜 결과를 낳을 가능성이 더 높으며, 종으로서의 우리의 힘은 기술 덕분에 성장하고 있기 때문이라는 것이다. 이로 인한 잠재적 결과는 점점 더 치명적이다.
나는 이러한 아이디어 중 일부를 탐구하기 위해 회색지대(The Gray Area)에 하라리를 초대했다. 우리의 대화는 인공지능에 초점을 맞추었고 그가 앞으로 몇 년 동안 우리가 그 분야에서 내리는 선택이 그토록 중요할 것이라고 생각하는 이유에 대해 이야기했다. 이 대화는 길이와 명확성을 위해 팟 캐스트 내용이 편집되었다.
션 일링(Sean Illing) 이 책에서 하고 싶었던 기본적인 이야기는 무엇인가?
유발 노아 하라리(Yuval Noah Harari) 이 책이 탐구하는 기본적인 질문은 인간이 그렇게 똑똑하다면 왜 그렇게 어리석은가 하는 것이다. 우리는 확실히 지구상에서 가장 똑똑한 동물이다. 우리는 비행기, 원자폭탄, 컴퓨터 등을 만들 수 있다. 동시에 우리는 우리 자신과 문명, 그리고 생태계의 상당 부분을 파괴할 위기에 처해 있다. 그리고 우리가 세계와 먼 은하계, DNA와 아원자 입자에 대해 그렇게 많이 알고 있다면 왜 그렇게 많은 자기 파괴적인 일을 하고 있다는 것은 이 엄청난 역설처럼 보인다. 그리고 많은 신화와 신학에서 얻는 기본적인 대답은 인간의 본성에 뭔가 잘못된 것이 있으므로 우리를 우리 자신으로부터 구하기 위해 신과 같은 외부 소스에 의존해야 한다는 것이다. 그리고 나는 그것이 잘못된 대답이라고 생각한다. 사람들이 책임을 회피하게 만들기 때문에 위험한 대답이다.
인간의 본성에는 아무런 문제가 없다는 것이 진정한 대답이라고 생각한다. 문제는 우리의 정보에 있다. 대부분의 인간은 좋은 사람이다. 그들은 자기 파괴적이지 않다. 하지만 좋은 사람에게 나쁜 정보를 주면 그들은 나쁜 결정을 내린다. 그리고 우리가 역사를 통해 보는 것은 그렇다. 우리는 엄청난 양의 정보를 축적하는 데 점점 더 나아졌지만 정보는 더 나아지지 않는다는 것이다. 현대 사회는 석기 시대 부족만큼 집단 망상과 정신병에 취약하다.
너무 많은 사람들, 특히 실리콘밸리 같은 곳에서는 정보가 진실이고 정보가 진실이라고 생각한다. 많은 정보를 축적하면 세상의 많은 것을 알게 된다는 것. 그러나 대부분의 정보는 정크이다. 정보는 진실이 아니다. 정보가 하는 가장 중요한 일은 연결이다. 많은 사람들을 사회, 종교, 기업, 군대에 연결하는 가장 쉬운 방법은 진리가 아니다. 사람들을 연결하는 가장 쉬운 방법은 환상, 신화, 망상이다. 이것이 바로 우리가 역사상 가장 정교한 정보 기술을 보유하고 있으며 우리 자신이 파괴될 위기에 처해 있는 이유이다.
션 일링 책에 나오는 부기맨은 인공지능이다. 당신은 인공지능이 지금까지 만들어진 정보 네트워크 중 가장 복잡하고 예측할 수 없는 것이라고 주장한다. AI가 형성하는 세계는 매우 다를 것이며, 새로운 정체성과 세상에 존재하는 새로운 방식을 낳을 것이다. 우리는 그것이 문화적, 심지어 영적인 영향을 미칠지 전혀 모른다. 하지만 당신이 말했듯이 AI는 사회를 조직하는 방법에 대한 새로운 아이디어도 불러일으킬 것이다. 앞으로 나아갈 방향을 상상해 볼 수 있을까?
유발 노아 하라리 설마. 왜냐하면 오늘날까지 인류의 모든 문화는 인간의 마음에 의해 창조되었기 때문이다. 우리는 문화 속에 살고 있다. 우리에게 일어나는 모든 일은 신화, 이데올로기, 유물, 노래, 연극, TV 시리즈 등 문화 산물의 매개를 통해 경험된다. 우리는 이 문화적 세계 속에 갇혀 살고 있다. 그리고 오늘날까지 모든 것, 모든 도구, 모든 시, 모든 TV 시리즈, 모든 신화 등은 유기적인 인간 정신의 산물이다. 그리고 이제 점점 더 그들은 무기적 AI 지능, 외계 지능의 산물이 될 것이다. 다시 말하지만, AI라는 약어는 전통적으로 인공지능을 의미했지만 실제로는 외계인 지능을 의미해야 한다. 외계인은 우주에서 왔다는 의미가 아니라 유기체가 아니기 때문에 인간이 생각하고 결정하는 방식과 매우 다르다는 의미에서 외계인이다.
구체적인 예를 들자면 AI 혁명의 핵심 순간 중 하나는 알파고가 바둑 토너먼트에서 이세돌을 꺾은 순간이다. 바둑은 체스와 비슷하지만 훨씬 더 복잡한 대담한 전략 게임이며 고대 중국에서 발명되었다. 많은 곳에서 그것은 모든 문명인이 알아야 할 기본 예술 중 하나로 간주된다. 당신이 중세 중국 신사라면 서예도 알고, 음악도 할 줄 알고, 바둑도 할 줄 안다. 삶과 정치의 거울로 여겨지는 게임을 중심으로 전체 철학이 발전했다. 그리고 2016년 AI 프로그램인 알파고(AlphaGo)가 스스로 바둑 두는 법을 배워 인간 세계 챔피언을 무너뜨렸다. 하지만 가장 흥미로운 점은 그것이 수행된 방식이다. 아무도 그렇게 플레이하지 않기 때문에 처음에는 모든 전문가들이 끔찍하다고 말한 전략을 전개했다. 그리고 그것은 훌륭하다는 것이 밝혀졌다. 수천만 명의 인간이 이 게임을 했고, 이제 우리는 그들이 바둑의 풍경 중 아주 작은 부분만을 탐험했다는 것을 알고 있다.
그래서 인간은 한 섬에 갇혀 있었고 이것이 바둑의 행성 전체라고 생각했다. 그리고 AI가 등장했고 몇 주 안에 새로운 대륙을 발견했다. 그리고 이제 인간도 바둑을 이전에 하던 것과는 매우 다르게 둔다. 그러나 같은 일이 점점 더 많은 분야에서 일어날 가능성이 높다. 금융을 생각해보면 금융도 예술이다. 우리가 알고 있는 전체 금융구조는 인간의 상상에 기초하고 있다. 금융의 역사는 인간이 금융 장치를 발명한 역사이다. 돈은 금융 장치이고, 채권, 주식, ETF, CDO 등 이 모든 이상한 것들은 인간 독창성의 산물이다. 그리고 이제 AI가 등장하여 어떤 인간도 생각해본 적 없고 상상해본 적도 없는 새로운 금융 장치를 발명하기 시작한다.
예를 들어, AI의 새로운 창조로 인해 금융이 너무 복잡해져서 어떤 인간도 더 이상 금융을 이해할 수 없다면 어떻게 될까? 오늘날에도 금융시스템을 제대로 이해하고 있는 사람이 얼마나 될까? 1% 미만? 10년 후에는 금융 시스템을 이해하는 사람이 정확히 0명에 이를 수도 있다. 왜냐하면 금융 시스템은 AI의 이상적인 놀이터이기 때문이다. 순수한 정보와 수학의 세계이다.
AI는 여전히 외부의 물리적 세계를 처리하는 데 어려움을 겪고 있다. 이것이 바로 일론 머스크가 매년 우리에게 내년에는 완전 자율주행차가 도로에 운행될 것이지만 그런 일은 일어나지 않을 것이라고 말하는 이유이다. 왜일까? 자동차를 운전하려면 모든 건설 현장과 보행자 등이 있는 뉴욕의 지저분한 교통 세계와 물리적 세계와 상호 작용해야 하기 때문이다. 금융이 훨씬 쉬워졌다. 그것은 단지 숫자일 뿐이다. 그리고 AI가 원주민이고 우리가 외계인이고 이민자인 이 정보 영역에서 아무도 이해하지 못하는 정교한 금융 장치와 메커니즘을 만든다면 어떻게 될까?
션 일링 그렇다면 지금 세상을 바라보고 미래를 내다보면 그게 보이는가? 믿을 수 없을 정도로 강력하지만 궁극적으로 통제할 수 없는 정보 네트워크에 사회가 갇혀 있을까?
유발 노아 하라리 그렇다. 그러나 그것은 결정적이지도, 불가피하지도 않는다. 우리는 이러한 것들을 디자인하는 방법에 대해 훨씬 더 신중하고 사려 깊어야 한다. 다시 말하지만, 그것들은 도구가 아니라 에이전트이기 때문에 우리가 조심하지 않으면 우리의 통제를 벗어날 가능성이 매우 높다. 세상을 장악하려는 슈퍼컴퓨터가 단 한 대 있다는 것이 아니다. 학교, 공장, 어디에서나 우리가 이해할 수 없는 방식으로 우리에 대해 결정을 내리는 수백만 명의 AI 관료가 있다.
민주주의는 대체로 책임에 관한 것이다. 책임은 결정을 이해하는 능력에 달려 있다. 만약... 당신이 은행에 대출을 신청했는데 은행이 당신을 거부하고 "왜 안돼?"라고 물었을 때 대답은 "우리는 모른다. 알고리즘이 모든 데이터를 검토한 후 대출을 하지 않기로 결정했다." 당신에게 대출을 해주고 우리는 우리의 알고리즘을 믿을 뿐이다.” 이것은 대체로 민주주의의 종말이다. 여전히 선거를 통해 원하는 사람을 선택할 수 있지만, 인간이 자신의 삶에 대한 이러한 기본 결정을 더 이상 이해할 수 없다면 더 이상 책임이 없다.
션 일링 당신은 우리가 여전히 이러한 것들을 통제할 수 있다고 말하지만, 얼마나 오랫동안? 그 기준점은 무엇일까? 사건의 지평선이란 무엇일까? 건너가도 알 수 있을까?
유발 노아 하라리 아무도 확실히 알지 못한다. 거의 모든 사람이 예상했던 것보다 빠르게 움직이고 있다. 3년이 될 수도 있고, 5년이 될 수도 있고, 10년이 될 수도 있다. 하지만 나는 그것이 그 이상이라고 생각하지 않는다. 우주적인 관점에서 생각해 보라. 우리는 40억년에 걸친 유기적 진화의 산물이다. 우리가 아는 한 유기적 진화는 40억년 전 이 작은 미생물과 함께 지구에서 시작되었다. 그리고 다세포 유기체, 파충류, 포유류, 유인원, 인간이 진화하는 데는 수십억 년이 걸렸다. 디지털 진화, 즉 비유기적 진화는 유기적 진화보다 수백만 배 빠르다. 그리고 우리는 이제 수천 년, 심지어 수백만 년 동안 지속될 수 있는 새로운 진화 과정의 시작점에 있다. 2024년 현재 우리가 알고 있는 AI, ChatGPT 등은 AI 진화 과정의 아메바일 뿐이다.
션 일링 민주주의가 이러한 21세기 정보 네트워크와 진정으로 양립할 수 있다고 생각하는가?
유발 노아 하라리 우리의 결정에 달려있다. 우선, 우리는 정보기술이 어느 한쪽의 것이 아니라는 점을 깨달아야 한다. 한편으로는 민주주의가 아니고 다른 한편으로는 정보 기술이 아니다. 정보기술은 민주주의의 기초이다. 민주주의는 정보의 흐름 위에 구축된다.
대부분의 역사 동안 정보기술이 부족했기 때문에 대규모의 민주적 구조를 창출할 가능성이 없었다. 민주주의는 기본적으로 많은 사람들 사이의 대화이다. 수천 년 전에는 작은 부족이나 작은 도시 국가에서 고대 아테네의 전체 인구 또는 인구의 상당 부분이 있을 수 있었다. 스파르타와의 전쟁 여부를 결정하기 위해 도시 광장. 기술적으로 대화가 가능했다. 하지만 수천 킬로미터에 걸쳐 흩어져 있는 수백만 명의 사람들이 서로 대화할 수 있는 방법은 없었다. 실시간으로 대화를 나눌 수 있는 방법은 없었다. 그러므로 전근대 세계에서는 대규모 민주주의의 사례가 단 하나도 없다. 모든 예제는 매우 작은 규모이다.
대규모 민주주의는 신문과 전신, 라디오와 텔레비전이 등장한 후에야 가능해졌다. 이제 넓은 지역에 퍼져 있는 수백만 명의 사람들과 대화를 나눌 수 있다. 따라서 민주주의는 정보 기술 위에 구축된다. 정보 기술에 큰 변화가 있을 때마다 그 위에 세워진 민주주의에도 지진이 일어난다. 이것이 바로 지금 우리가 소셜 미디어 알고리즘 등을 통해 경험하고 있는 것이다. 민주주의가 끝났다는 뜻은 아니다. 문제는 민주주의가 적응할 것인가이다.
션 일링 AI가 궁극적으로 권력 균형을 민주 사회나 전체주의 사회에 유리하게 기울일 것이라고 생각하시는가?
유발 노아 하라리 다시 말하지만, 그것은 우리의 결정에 달려 있다. 최악의 시나리오도 인간 독재자들도 AI에 큰 문제를 안고 있기 때문이 아니다. 독재 사회에서는 정권이 말하기를 원하지 않는 것에 대해서는 아무것도 말할 수 없다. 그러나 실제로 독재자들은 AI가 통제할 수 없는 에이전트이기 때문에 그들만의 문제를 안고 있다. 그리고 역사를 통틀어 인간 독재자에게 [가장 무서운] 것은 너무 강력해지고 통제하는 방법을 모르는 부하이다. 예를 들어 로마제국을 보면 단 한 명의 로마 황제도 민주주의 혁명으로 무너진 적이 없다. 단 하나도 아니다. 그러나 그들 중 다수는 암살되거나 폐위되거나 자신의 부하, 유력한 장군이나 도지사, 형제나 아내, 가족 중 누군가의 꼭두각시가 되었다. 이것이 모든 독재자의 가장 큰 두려움이다. 그리고 독재자들은 두려움을 바탕으로 나라를 운영한다.
이제 AI를 어떻게 위협할까? 당신을 통제하는 법을 배우는 대신 그것이 당신의 통제 하에 있도록 어떻게 확신할 수 있을까? 독재자들을 정말로 괴롭히는 두 가지 시나리오를 제시하겠다. 하나는 간단하고 하나는 훨씬 더 복잡하다. 오늘날 러시아에서는 우크라이나 전쟁을 전쟁이라고 부르는 것은 범죄이다. 러시아 법에 따르면 러시아의 우크라이나 침공은 특수 군사작전이다. 그리고 이것이 전쟁이라고 말하면 감옥에 갈 수 있다. 이제 러시아의 인간들은 그것이 전쟁이라고 말하지 않고 다른 어떤 방식으로든 푸틴 정권을 비판하지 않는 법을 어려운 방법으로 배웠다. 하지만 러시아 인터넷의 챗봇은 어떻게 될까? 정권이 AI를 조사하고 심지어 스스로 생산하더라도 AI의 장점은 AI가 스스로 학습하고 변화할 수 있다는 것이다.
따라서 푸틴의 엔지니어가 정권 AI를 만든 다음 러시아 인터넷에서 사람들과 상호 작용하고 무슨 일이 일어나고 있는지 관찰하기 시작하더라도 자체 결론에 도달할 수 있다. 사람들에게 그것이 실제로 전쟁이라고 말하기 시작하면 어떻게 될까요? 당신은 무엇을할까? 챗봇을 굴라그로 보낼 수 없다. 그 가족을 이길 수는 없다. 당신의 오래된 테러 무기는 AI에서 작동하지 않는다. 그래서 이것은 작은 문제이다.
큰 문제는 AI가 독재자를 직접 조종하기 시작하면 어떻게 되는지이다. 민주주의가 복잡하기 때문에 민주주의에서 권력을 잡는 것은 매우 복잡하다. 5~10년 후에 AI가 미국 대통령을 조종하는 방법을 배운다고 가정해 보겠다. 여전히 상원의 필리버스터를 처리해야 한다. 대통령을 조종하는 방법을 알고 있다는 사실만으로는 상원이나 주 주지사, 대법원에 도움이 되지 않는다. 처리해야 할 일이 너무 많다. 그러나 러시아나 북한과 같은 곳에서는 AI가 극도로 편집증적이고 자기 인식이 없는 개인을 조종하는 방법만 배우면 된다. 아주 쉽다.
션 일링 AI의 세계에서 민주주의가 자신을 보호하기 위해 해야 할 일은 무엇이라고 생각하시는가?
유발 노아 하라리 한 가지는 기업이 알고리즘의 행동에 대해 책임을 지도록 하는 것이다. 사용자의 행동이 아니라 알고리즘의 행동을 위한 것이다. 페이스북 알고리즘이 증오로 가득 찬 음모론을 퍼뜨리고 있다면 페이스북은 그에 대한 책임을 져야 한다. 페이스북이 “하지만 우리는 음모론을 만든 게 아니다. 그것을 만든 것은 어떤 사용자이고 우리는 그들을 검열하고 싶지 않다.”라고 말한 다음 “우리는 당신에게 검열을 요청하지 않는다. 다만 퍼뜨리지 말아달라”고 당부했다. 그리고 이것은 새로운 일이 아니다. 뉴욕타임스를 생각해보라. 우리는 뉴욕타임스의 편집자가 첫 페이지 상단에 무엇을 넣을지 결정할 때 신뢰할 수 없는 정보를 퍼뜨리지 않도록 주의할 것을 기대한다. 누군가 음모론을 들고 찾아오면 “아, 검열되었다. 이런 말을 하시면 안 된다.” “그렇다. 하지만 이를 뒷받침할 증거가 충분하지 않다. 따라서 존경하는 마음을 담아 이 말을 계속해도 괜찮지만 우리는 이 내용을 뉴욕타임스의 첫 페이지에 게재하지 않는다.” 페이스북이나 트위터도 마찬가지여야 한다.
그리고 그들은 우리에게 "그런데 어떤 것이 믿을 만한지 아닌지 어떻게 알 수 있나?"라고 말한다. 음, 이것이 당신의 일이다. 미디어 회사를 운영하는 경우 귀하의 임무는 사용자 참여를 추구하는 것뿐만 아니라 책임감 있게 행동하고, 신뢰할 수 있는 정보와 신뢰할 수 없는 정보를 구분하는 메커니즘을 개발하고, 신뢰할 수 있는 정보라고 생각할 만한 타당한 정보만 전파하는 것이다. 그것은 이전에 이루어졌다. 신뢰할 수 있는 정보와 신뢰할 수 없는 정보를 구분할 책임을 맡은 역사상 최초의 사람은 당신이 아니다. 이전에도 신문 편집자, 과학자, 판사가 이런 일을 해왔기 때문에 그들의 경험을 통해 배울 수 있다. 그리고 만약 당신이 그것을 할 수 없다면, 당신은 잘못된 사업 분야에 있는 것이다. 그게 한 가지이다. 알고리즘의 행동에 대해 책임을 지게 하라.
다른 하나는 대화에서 봇을 금지하는 것이다. AI는 AI로 식별되지 않는 한 인간의 대화에 참여해서는 안 된다. 우리는 민주주의를 사람들이 원 안에 서서 서로 이야기하는 집단으로 상상할 수 있다. 그리고 갑자기 한 무리의 로봇이 원 안으로 들어와서 매우 큰 소리로 많은 열정을 가지고 말하기 시작한다. 그리고 당신은 로봇이 누구인지, 인간이 누구인지 모른다. 이것이 바로 지금 전 세계에서 일어나고 있는 일이다. 그리고 이것이 대화가 무너지는 이유이다. 그리고 간단한 해독제가 있다. 로봇은 자신을 봇으로 식별하지 않는 한 대화의 범위에 들어오는 것을 환영하지 않는다. 예를 들어 AI 의사가 자신을 식별하는 조건으로 나에게 약에 대한 조언을 제공하는 장소, 방이 있다.
마찬가지로, 트위터에 가서 특정 이야기가 입소문을 타고 퍼지는 것을 보면 거기에 트래픽이 많아지고 관심을 가지게 된다. “아, 모두가 말하는 이 새로운 이야기가 뭐인가?”라고 그가 물었다. 모두 누구인가? 이 이야기가 실제로 봇에 의해 추진되고 있다면 그것은 인간이 아니다. 그들은 대화에 참여해서는 안된다. 다시 한번, 오늘의 가장 중요한 주제가 무엇인지 결정하라. 이것은 민주주의, 어떤 인간 사회에서나 매우 중요한 문제이다. 봇은 어떤 이야기가 대화를 지배하는지 판단하는 능력을 가져서는 안 된다. 그리고 다시 말하지만, 거대 기술 기업이 우리에게 "아, 하지만 이건 언론의 자유를 침해하는 것이다"라고 말한다면 이는 봇에게 언론의 자유가 없기 때문이 아니다. 언론의 자유는 인간의 권리이며 로봇이 아닌 인간에게만 보장된다.
<저작권자 ⓒ 사단법인 유엔미래포럼 무단전재 및 재배포 금지>
인공지능, 민주주의, 인터넷 시대, 문화, 의사소통, 정보 관련기사목록
|
많이 본 기사
AI메타홈서비스 많이 본 기사
1
최신기사
|