이 설문조사에 답변을 제출하려면 이 Google 양식을 방문하세요 .
이 설문 조사는 밀레니엄 프로젝트에서 수행 중인 진행 중인 연구의 일부 중간 조사 결과를 바탕으로 하며 설문 조사 결과는 해당 연구에 피드백될 것입니다.
(0) 소개
이 설문 조사의 목적
이 설문 조사의 공개 질문은 오늘날의 AI에서 가까운 미래에 나타날 수 있는 잠재적으로 훨씬 더 파괴적인 AGI("인공 일반 지능")로의 전환에 대한 공개 토론을 지원하고 강화하기 위한 것입니다.
이러한 질문에 대한 답변과 그에 따른 일반 토론의 결과로, 사회의 지도자들은 전환을 현명하게 관리하기 위한 시스템을 만들고 적용할 수 있는 더 나은 위치에 있기를 바랍니다.
*아닙니다* 여론 조사
이 설문조사의 목적은 여론의 가중치를 측정하는 것이 아니며, AI 측면에서 전문가로 간주될 수 있는 사람들의 의견의 가중치도 측정하지 않습니다 .
대신 설문 조사에는 여러 라운드(반복)가 포함되며 참가자는 다른 참가자가 제공한 답변과 의견에 비추어 자신의 답변과 의견을 업데이트할 수 있습니다.
일부 질문의 경우 합의가 나올 수 있습니다. 다른 질문의 경우 의견의 구분이 더 명확해질 수 있습니다. 바라건대 이러한 구분이 추가 연구 및/또는 실험을 통해 어떻게 연결될 수 있는지에 대한 합의와 함께 말입니다.
이러한 종류의 설문조사를 "Delphi" 설문조사라고도 합니다.
네 가지 단점 방지
요즘 AI에 대한 공개 토론이 그 어느 때보다 많습니다. 그러나 이러한 논의의 대부분은 진정으로 필요한 것에 미치지 못합니다.
- 그들은 잠재적으로 훨씬 더 큰 AGI의 문제와 기회가 아니라 오늘날 AI의 문제와 기회에 몰두합니다.
- 정치, 인센티브, 규정 준수와 같은 더 넓은 각도에서 씨름하기보다는 순전히 기술적인 것과 같은 일차원적인 접근 방식을 취하는 경우가 많습니다.
- 그들은 순진한 손짓 해결책을 제시하거나 (다른 경우에) 도움이 되지 않는 "우리는 모두 운명이다"라는 비관론을 제시합니다.
- 그들은 잘 알려진 많은 주제에 대해 이야기하지만 가장 주의를 기울여야 하는 많은 질문을 회피합니다.
이러한 단점은 소셜 미디어(예: Twitter 스레드)에 게시된 기사뿐만 아니라 학계 및 싱크 탱크의 공식 출판물에도 적용됩니다.
이 설문 조사는 네 가지 측면 모두에서 수정하는 것을 목표로 합니다.
용기를 내!
이 설문조사의 질문 수는 누군가가 참여하지 않기로 결정하도록 유도할 수 있습니다. 고된 작업처럼 보일 수 있습니다. 하지만:
- AGI는 인류의 미래 궤적에 잠재적으로 가장 큰 단일 영향을 미치는 주제일 뿐만 아니라 많은 합병증을 가진 주제이기도 합니다. 이러한 합병증 중 하나를 주의 깊게 고려하면 AGI 세계관에 심각한 결함이 있음을 깨닫게 될 수 있으며 따라서 가정을 재고해야 합니다.
- 부분적인 답변 세트도 환영합니다. 실제로 후속 설문 조사(아래 참조)에 대한 입력으로 보다 광범위하게 공유될 의견과 답변은 수량이나 길이보다는 품질을 기준으로 선택됩니다.
AGI의 정의
이 설문 조사의 목적을 위해 AGI는 때때로 추정되는 다양한 "강력한" 측면을 요구하지 않고 최소한의 핵심 속성만으로 정의됩니다. 이 최소 정의는 다음과 같습니다.
이름의 'A' 부분(" Artificial "의 경우)은 AGI가 시작된 후 능동적인 인간 중재에 의존하지 않고 실행되는 자율 컴퓨터 기반 시스템임을 의미합니다. ).
이름의 'I' 부분(“ Intelligence ”의 경우)은 AGI가
- 데이터를 관찰하고 향후 관찰에 대해 예측할 수 있습니다.
- 어떤 개입이 특정 방향으로 결과를 바꿀 수 있는지 결정할 수 있습니다.
- 지식의 불확실성 영역을 인식하고 해당 불확실성을 줄이기 위한 실험을 고안할 수 있습니다.
- 결과가 기대와 일치하지 않는 모든 인스턴스에서 학습하여 향후 성능을 향상시킬 수 있습니다.
마지막으로 이름의 'G' 부분(“ 일반 ”의 경우)은 AGI가 위의 모든 유형의 추론(관찰, 예측, 개입 계획, 실험 고안 및 학습)에서 인간의 능력과 일치(또는 능가)한다는 것을 의미합니다.
- 인간이 관심을 갖는 모든 영역(예술, 과학, 환경, 정치적 교류, 군사적 교류, 다른 인간에 대한 지식과 예측 포함)에 적용되는 능력으로
- 그것의 능력은 또한 도움 없이 AGI가 자신의 능력을 더 향상시키는 방법을 찾는 데 있어서 적어도 인간만큼은 좋다는 것을 의미합니다.
이 정의는 AGI가 의식이 있는지 지각이 있는지 또는 관찰하는 것을 "실제로 이해"하는지 여부에 대해 가정하지 않습니다. (체스를 하는 AI는 인간과 같은 종류의 체스에 대한 이해가 부족할 가능성이 높더라도 게임에서 인간을 능가할 수 있습니다.) 또한 AGI가 필연적으로 자체 목표를 선택할 것이라는 가정도 없습니다.
설문 조사 프로세스
이 설문 조사의 미결 질문 중 적어도 일부에 대한 답변에 대한 합의에 접근하기 위한 프로세스에는 여러 번의 반복이 있을 것입니다.
- 일련의 질문은 처음에 여기에 게시되어 전체 설문 조사에 대한 피드백을 요청했습니다.
- 며칠 후 모든 질문이 포함된 설문 조사 양식 에 링크가 추가되었습니다.
- 공유할 좋은 통찰력이 있다고 생각하는 모든 사람이 설문 조사에 참여하고 자신이 선택한 답변을 설명하는 의견을 제공하도록 공개 초대가 현재 공개되고 있습니다.
- 설문 조사 질문의 약 절반은 참가자에게 주어진 답변 세트에서 선택하도록 요청합니다. 다른 질문은 참가자가 자신의 답변을 공식화하도록 초대합니다. 두 경우 모두 참가자는 답변을 설명하는 짧은 의견을 작성하도록 권장됩니다.
- 몇 주마다(아마도 더 자주) AGI로의 전환에 대한 공개 글로벌 대화를 크게 개선할 가능성이 있는 의견이 이 페이지의 업데이트된 버전의 "토론" 섹션에 선택적으로 복사됩니다(설문 조사 참가자는 이 주석에는 이름을 첨부해야 합니다.)
- 일부 의견의 결과로 새 질문이 설문 조사에 추가될 수 있으며(또는 다른 질문이 제거될 수 있음) 새 설문 조사 링크가 생성됩니다.
- 이전에 응답한 사람들은 제시된 추가 자료에서 얻은 새로운 통찰력에 비추어 답변을 업데이트할 기회가 주어집니다.
- 이 과정은 수확 체감 지점에 도달할 때까지 반복됩니다.
널리 알려짐
이 설문 조사는 참가자들이 자신의 답변 중 일부를 온라인, 자신의 블로그 또는 기본 설문 조사 페이지로 다시 연결되는 다른 곳에 게시하도록 권장합니다.
그것은 대화가 더 넓은 커뮤니티에 도달할 수 있는 또 다른 방법이 될 것입니다.
배경
이 설문 조사의 공개 질문은 David Wood가
- 이러한 문제가 자주 논의되는 London Futurists Podcast 의 에피소드 내용
- 진행 중인 밀레니엄 프로젝트 AGI 거버넌스 연구 중에 수행된 AI 전문가와의 인터뷰 응답
- 2022년 시작 몇 달 동안 (Rohit Talwar의 지원으로) 수행된 이전 온라인 설문 조사 에 대한 응답
- 예를 들어 London Futurists가 조직한 몇 가지 AGI 주제에 대한 최근 프레젠테이션에 이어 확장된 대화
- 이 문서의 초기 초안에 대한 피드백(제안을 제공한 모든 사람에게 감사드립니다!)
(1) AGI의 대체 정의?
위에 주어진 AGI의 최소 정의가 진지한 토론을 위한 유용한 출발점을 제공한다는 데 동의하십니까, 아니면 상당한 차이가 있는 정의를 선호하십니까?
후자의 경우 어떤 정의를 제안하시겠습니까?
다음 사항에 유의하십시오.
- 정의가 명확해야 합니다.
- 당신이 제안한 형태의 AI가 그리 멀지 않은 미래의 어느 시점에 존재할 수 있다는 것을 믿을 수 있어야 합니다.
- 당신이 제안한 AI 형태는 인류가 그 출현에 어떻게 대비해야 하는지에 대한 주요 질문을 제기해야 합니다.
답변 선택 : 주어진 정의는 중요한 토론을 위한 좋은 출발점입니다. / 더 나은 토론은 다른 정의에서 시작해야 합니다. / 정의가 정말 마음에 들지 않지만 다음 질문 중 적어도 몇 가지에 답할 수 있습니다.
곁에
"인공 일반 지능(Artificial General Intelligence)"이라는 용어의 최초 사용은 1997년 Mark Gubrud 가 제5차 Foresight Conference에서 발표한 포스터 와 함께 작성한 논문 에 있는 것으로 여겨집니다 .
고급 인공 일반 지능이란 복잡성과 속도 면에서 인간의 두뇌에 필적하거나 능가하고 일반 지식을 습득하고 조작하고 추론할 수 있으며 본질적으로 인간 지능이 필요한 산업 또는 군사 작전의 모든 단계에서 사용할 수 있는 AI 시스템을 의미합니다. 그렇지 않으면 필요할 것입니다. 그러한 시스템은 인간의 두뇌를 모델로 할 수 있지만 반드시 그럴 필요는 없으며 "의식"이 있거나 응용 프로그램과 엄격하게 관련되지 않은 다른 능력을 소유할 필요도 없습니다. 중요한 것은 그러한 시스템이 광산이나 공장을 조직하고 운영하는 것부터 비행기 조종, 정보 데이터 분석 또는 전투 계획에 이르기까지 다양한 작업에서 인간의 두뇌를 대체하는 데 사용될 수 있다는 것입니다.
이 용어는 Shane Legg의 제안과 Peter Voss와의 대화를 바탕으로 Ben Goertzel과 Cassio Pennachin이 2002년경 에 채택한 후 더 널리 사용되었습니다 .
설문조사 참여자들이 선택한 댓글
"이것이 더 많은 청중을 위한 것이라면 더 짧은 정의가 선호될 것입니다." – 아논
"저는 더 간단한 정의를 제시하고 싶습니다. AGI는 성인 인간의 모든 인지 능력을 가진 AI입니다." – 칼럼
“이것은 AGI가 무엇인지에 대한 훌륭한 설명이며, 설문 조사에 참여하는 사람들과 궁극적으로 그것을 비판하는 사람들에게 필요합니다. 그러나 AGI를 설명하는 모든 기준을 충족하는 간결한 정의도 필요합니다. 저는 다음과 같은 정의를 제안합니다. AGI(Artificial General Intelligence)는 모든 작업을 인간보다 더 잘 해결할 수 있는 자가 학습 지능입니다. ” – Tony Czarnecki
"보다 간결한 형태는 일반화된 문제 해결 능력으로 정의되는 지능일 것입니다." - Dirk Bruere
“내 생각에 'AGI'는 사람마다 다른 것을 의미합니다. 일부는 스카이넷(터미네이터 영화)을 상상하고 다른 일부는 정말 좋은 챗봇을 상상합니다. 그런 의미에서 정의만큼 기능적이지 않습니다. 'Really really really good AI'라는 약어가 필요한 토론은 괜찮습니다.” – Vid
“컴퓨팅의 보편성(고전적이든 양자적이든)이 일종의 연속성과 확장성을 가리킬 수 있는 반면 인간과 기계 사이의 시작 단계에서 간극을 감지했다는 의미에서 정의의 첫 번째 부분인 'A'에서 의심스러웠습니다. ” – 아논
“증가하는 AI 부케에 대한 우리의 경험에도 불구하고 우리는 매우 똑똑하고 재능 있는 인간과 매우 유사한 AGI를 상상하고 싶은 유혹을 계속 받고 있습니다. 대신 AGI가 가능하기 오래 전에 좁은 AI 용량의 매우 큰 꽃다발을 개발할 가능성은 없지만 적어도 그럴듯해 보입니다. 또한 우리가 AGI에 도달하면 지금 생각하기 힘든 방식으로 인간 지능과 매우 다른 특성을 갖게 될 것 같습니다.” – 아논
"나는 여기에 정의된 AGI와 AGI+desire/drive/will의 차이점을 탐구하고 싶습니다. 이것이 진정한 반환점이라고 생각하지 않습니다." – 브론윈 윌리엄스
“잠재적인 문제는 AGI를 구현해야 하는지 여부입니다. IMHO의 진정한 지능에는 행동을 취하고 결과로부터 배울 수 있는 능력인 주체의 요소가 필요하지만 물리적 존재(인간과 같은 것이든 아니든)가 필요하다는 데 동의하지 않습니다. 현재의 정의는 실험을 고안하고 새로운 데이터로부터 학습하는 것을 언급하지만 시스템이 실제로 행동할 수 있는 능력을 부여하지 않으며 따라서 새로운 데이터를 얻을 수 있는 유일한 방법으로 학습을 위해 인간에게 엄격하게 의존할 것입니다. 인간이 어떤 실험(공식적이든 아니든)을 수행하고 그 결과를 AI와 공유하거나, 인간이 AI를 대신하여 (가장 넓은 의미에서) 실험 수행을 돕는 것입니다.” – 크리스티안 프리드
“약어의 구성 요소가 전체 의미보다 덜 중요하다는 생각이 들 때가 있습니다. ATM과 마찬가지로. 나는 많은 사람들이 의식적으로 약어를 현금 자동 입출금기라고 생각하는지 확신하지 못합니다. 사람들은 대부분 ATM 기계라고 부릅니다. 나는 약어가 그 자체의 의미를 가지고 있다고 생각하며, 이와 관련하여 자동화가 무엇을 의미하는지, 출납원이 문맥에서 무엇을 의미하는지 등을 정의함으로써 실제로 얻을 수 있는 것은 아무것도 없다고 생각합니다. 대화가 가능한 한 광범위해지기를 원한다면 사람들이 질문에 참여할 수 있도록 하는 AGI의 한 문장 정의는 무엇입니까?” – 브라이언 헌터
(2) 임박한가, 먼가?
AGI가 존재할 확률이 50%가 되는 날짜에 대한 최선의 추정치는 얼마입니까?
(서론의 AGI 정의 참조. AGI의 발전을 방해할 세계적인 재난은 발생하지 않는다고 가정)
답변 선택 : AGI는 이미 존재합니다 / 3년 / 7년 / 15년 / 30년 / 50년 / 2200 이후 / 2300 이후 / AGI는 절대 존재하지 않을 것입니다
논의
AGI를 향한 진전은 다음을 통해 가속화될 수 있습니다.
- 새로운 AI 기능으로 "최초로 시장에 출시"되어야 하는 강력한 상업적 압력
- "뒤처지지" 말아야 하는 강력한 지정학적 압력
- 현재 AI 분야에서 일하고 있는 수많은 연구자와 개발자
- AI를 향상시킬 수 있는 방법에 대해 탐색 중인 다양하고 풍부한 아이디어
- 연구자들이 서로의 아이디어와 더 쉽게 상호 작용할 수 있도록 해주는 온라인 네트워킹 시스템 및 지식 위키
- 더 빠르고 "배고픈 데이터"가 적은 훈련을 가능하게 하는 새로운 데이터 처리 방법의 가용성
- 더 폭넓은 실험을 용이하게 하는 개선된 하드웨어의 가용성
- 교육 실행에 입력할 수 있는 새로운 데이터 세트(YouTube 비디오, TV 및 라디오 프로그램 포함)의 가용성
- Tesla 자동차에서 사용하는 것과 같은 다른 AI 접근 방식의 융합
- 자체 설계 및 성능의 잠재적인 개선 사항을 제안하고 검토하는 AI 도구의 기능
반대로 다음과 같은 경우 진행이 지연될 수 있습니다.
- "일반 지능"의 다양한 측면이 예상보다 훨씬 어려운 것으로 밝혀졌습니다.
- "일반 지능"의 다양한 측면은 컴퓨터 하드웨어에서 복제할 수 없는 인간 두뇌의 신비한 측면에 의존하는 것으로 밝혀졌습니다.
- 비생산적인 것으로 판명된 연구 아이디어에 집단적 사고를 통해 집중하는 AI 연구원 커뮤니티
- AI 개발을 방해하는 규제 당국의 부과
설문조사 참여자들이 선택한 댓글
"확장 법칙이 둔화되고 있다는 징후는 없으며, 용량은 확장과 함께 계속 증가합니다. 이는 매우 짧은 시간 프레임을 시사하지만 광범위한 불확실성으로 인해 다음 대규모 언어 모델이 기능 임계값을 지우면 2년 안에 AGI를 가질 수 있습니다." – Anon
“나는 그러한 모든 예측을 의심합니다. AGI에 대한 추세는 분명하지만 역사는 가장 합리적으로 예측 가능한 일이 발생하지만 정의된 단계에 도달하는 데 종종 더 오래 걸린다는 것을 알려주는 경향이 있습니다(단순히 전체 시스템의 클라우제비츠 마찰로 인해). – 팀 펜드리
“더 발전된 AI는 이미 정부 기관에서 사용할 수 있지만 공개적으로 사용할 수는 없습니다. 따라서 그들은 시장에 공개되기 전에 AGI를 갖게 될 것입니다.” – 아논
“내 생각에는 AI가 현재 가속되고 있는 것처럼 보이지만 훈련된 데이터로 인해 장애물에 부딪힐 것입니다. 콘텐츠를 만드는 데 AI가 점점 더 많이 사용됨에 따라 AI의 교육 자료는 에코 챔버로 이어지는 AI에서 나옵니다. 또한 정치와 경제가 시작되고 법률 및 규제 요인이 발생할 것입니다.” – 크리스 글레드힐
"또한 20%와 80% 가능성 있는 날짜를 묻는 것은 불확실성에 대한 귀중한 정보를 추가할 수 있습니다." – 아논
(3) 파국적이거나 유익한가?
AGI 생성 후 10년 이내에 AI와 관련된 불리한 사건으로 인해 최소 10억 명이 급속도로 사망할 확률은 얼마입니까?
답변 선택 : 90% 이상 / 70% 내외 / 50% 내외 / 30% 내외 / 10% 내외 / 3% 내외 / 1% 내외 / 1% 미만 / 0.1% 미만 / 절대 제로
논의
이러한 사고에는 다음 중 하나 이상이 포함될 수 있습니다.
- AI는 사회가 의존하는 인프라의 중요한 측면에 깊이 관여하고 있습니다.
- 결정적인 이점을 얻기 위해 AI를 사용하기 위해 경쟁하는 둘 이상의 AI 사이 또는 둘 이상의 지정학적 블록 사이의 군비 경쟁
- 비정상적인("배포되지 않음") 상황에서 나타나는 AI의 결함
- 안전 검사를 우회하기 위해 외부에서 해킹(또는 탈옥) 중인 AI
- AI는 목표 할당의 모든 결과를 예상하지 못한 인간이 할당한 목표를 추구하는 데 너무 성공적입니다.
- AI의 목표는 인간이 프로그래밍하려고 시도한 것에서 변경됩니다. 아마도 "출현"으로 알려진 현상 때문이거나 AI가 자체적으로 새로운 목표를 수행하는 더 큰 시스템의 일부가 되기 때문일 것입니다.
설문조사 참여자들이 선택한 댓글
“죽음은 아마도 AI에 의해 직접적으로 야기되지는 않겠지만 경제적 혼란으로 인한 전쟁과 사회적 격변에 의해 야기될 가능성이 훨씬 더 높습니다. AI는 인간이 대량 살상 무기를 훨씬 쉽게 만들 수 있게 해줄 것입니다.” – 윌리엄 마샬
“여기에는 (도구적 수렴의 결과로) 스스로 권력을 주장하는 불량 AI뿐만 아니라 AI를 사용하고 AI에 명시적이지만 잘못 정의된 목표(예: 국가 통제)를 부여하는 의도적인 테러 행위 등 여러 가지 시나리오가 있습니다. ” – 크리스티안 프리드
“만약 AGI가 인간의 가치를 갖추지 못한 채 인간의 통제를 벗어나면 거의 확실하게 인류의 멸종으로 이어질 것입니다. 에너지와 자원의 지속적인 공급이 필요한 자체 목표를 갖는 것으로 충분합니다. 인간은 그 경쟁에서 지고 처음에는 생존을 위해 싸우기 때문에 궁극적으로 인간 종의 멸종으로 이어지고 생물권에도 부정적인 영향을 미칠 수 있습니다.” – 토니 차네키
"인간은 기가데스 선택을 할 수 있는 능력이 명백하기 때문에 AGI도 그럴 것이라고 거의 동어반복적으로 보입니다." – 아논
“여기서 예측은 완전히 합리적이지 않습니다. 헤아릴 수 없을 정도로 많은 것들이 있습니다. 또한 '지식인' 사이에는 인간의 지능, 회복력, 자기 보존 본능을 과소평가하는 종말론적 또는 비관적 사고의 경향이 있습니다. 그러나 10년 동안 10억 명이 죽었다고 위험이 없다고 말하는 것은 어리석은 일이며 지나치게 경각심 있고 심지어 히스테리적일 수도 있습니다.” – 팀 펜드리
“10년 안에 그 많은 사람들을 죽이기 위해, 아마도 우리는 핵 공격 상황을 보고 있을 것입니다. 아마도 그것은 그것을 하는 바이러스를 조작할 수 있습니다. 어떤 목표가 그 결과로 이어질 수 있는지 잘 모르겠습니다. 솔직히 말해서 이렇게 무형의 것에 어떻게 위험 비율을 할당할 수 있는지 잘 모르겠습니다.” – 브라이언 헌터
“우리가 AI에 대한 진행을 '중지'하거나 선택된 소수를 위해 병에 담아두면 재앙에 대한 나의 추정치는 증가할 것입니다. 지속적으로 작업하고 전 세계가 상호 작용할 수 있도록 함으로써(이전 경험과 실험을 기반으로 한 합리적인 안전 테스트 후) 위험이 여전히 낮은 상태에서 문제와 위험이 있는 위치를 학습합니다. 이를 통해 다음 반복에서 이러한 위험을 완화하고 극복하여 안전하고 유용한 AGI를 점진적으로 구축할 수 있습니다. 반면에 우리가 진전을 멈춘다면, 그것이 올 때 모든 개입 안전 진전 없이 완전한 힘으로 온다. 여기에 가장 큰 위험이 도사리고 있습니다. 나는 또한 우리가 발전함에 따라 하위 AGI를 세계에 공개하는 것이 중요하다는 점을 지적합니다. 그 이유는 그것에 대해 연구하는 소수의 연구원들에게는 일부 위험이 나타나지 않을 것이기 때문입니다. 우리는 꼬리에서 위험을 찾기 위해 그것을 테스트하기 위해 훨씬 더 큰 세계 공동체가 필요합니다.” – 닐
“최소 정의된 AGI는 어떤 결정과 행동 방침을 제시하기 위해 인간의 대행사가 필요합니다. 그리고 인간(개별적으로나 집단적으로)은 인간의 목표와 일치한다면 AGI의 합리화와 상상을 실현하는 AGI의 대리인이 될 수 있습니다. 또한 인간은 강요된 비인간적 결정과 질문 없이 시스템을 따르는 것에 완전히 만족합니다(콜 센터에서와 마찬가지로). 따라서 다양한 수준의 인간이 광범위한 피해를 초래하는 AGI와 관련된 잘못된 결정을 내리거나, 다양한 수준의 집합 기관에 있는 인간이 전반적으로 광범위한 피해를 초래하는 분명히 진부한 결정을 내릴 가능성이 있습니다. AGI는 잠재적 피해를 '단순히' 확장(아마도 기하급수적으로)합니다. 그러나 물론 이것들은 단지 가능성일 뿐입니다.” – 제니나 바스
(4) 거대한 경제적 혼란이 예상되는가?
잠재적인 재난에 대한 고려 사항(이전 질문 참조)과 함께 경제에 대한 급진적인 영향에 대한 고려 사항이 기획자의 마음에 가장 우선되어야 하는 것은 무엇입니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
논의
고려할 수 있는 주제는 다음과 같습니다.
- 노동력의 상당 부분이 양질의 삶을 누리기에 충분한 돈을 지불하는 일자리를 구하지 못하고 있습니다.
- "보편적 기본 소득" 및/또는 유사한 시스템의 채택 관리
- 희소성에 기반한 경제(상품 및 서비스 판매자가 더 높은 가격을 추구함)에서 풍요에 기반한 경제(상품 및 서비스 가격을 낮추는 것이 우선)로 전환
- 경제적 소외 증가에서 기능 장애 정치로의 파급 효과
- 핵심 교육 커리큘럼의 주요 변경 사항
- "인생의 목적"에 대한 새로운 이야기
설문조사 참여자들이 선택한 댓글
"나는 AGI의 효과가 계획될 수 있고 반응할 수 있다고 생각하지 않습니다." – Dirk Bruere
"강력한 알고리즘 거래는 시장을 왜곡하여 탐욕스러운 투자 봇의 '로봇 전쟁'으로 만들 것입니다." – 크리스 글레드힐
“엄청난 경제적 이익, 우리는 AGI 덕분에 풍요로운 세상으로 나아가고 있습니다.” – 호세 코르데이로
“풍요에 대처하기. 스마트폰의 기하급수적 증가와 같은 AGI 중독에 대처하기. 아이들은 이미 그 두 가지 점수 모두에서 나쁘게 하고 있습니다. (예: 특히 Gen Z에 대한 Jean Twenge의 '세대').” – 테리 라비
“실직. 급진적 장수. 가격 경쟁력 있는 실험실 배양 고기입니다.” – 칼럼
“실업 증가와 재정적 불평등은 확실하며, 그것이 충분히 나쁠 경우 폭동과 기타 혼란이 널리 퍼질 수밖에 없습니다. 예상하고 피해를 최소화하기 위한 계획을 세워야 합니다.” – 아논
“AI에 대한 경제적인 질문은 정말 정치적인 질문입니다. 큰 문제는 충분히 좋은 좁은 AI가 경제 정책을 어렵게 만들고 우리를 시장으로 전환시키는 분산 계산 문제를 해결할 수 있는지 여부입니다.” – 아논
"인적 자본을 지식 노동력에서 창작 오케스트레이터로 재정의합니다." – 데이비드 슈메이커
“이것은 우리와 관련된 문제에 더 가깝습니다. AI를 사용하는 자동화는 의미와 일관된 내러티브의 손실 가능성, 인간을 주장하기 위한 상쇄적인 비합리주의의 부상을 포함하여 심각한 파괴적 영향을 미칠 수 있는 사회, 계급 갈등, 정치적 혼란 및 문화적 변화의 상당한 중복을 의미할 수 있습니다. 독창성. 극단적으로 우리는 일종의 집단 광기가 나타나는 것을 볼 수 있었습니다.” – 팀 펜드리
“이것이 큰 것입니다. Goldman Sachs는 전 세계 인력의 18%가 AI로 대체될 것으로 추정합니다. 이것이 더 높은 급여를 받는 사무직이 될 것이라는 사실을 고려한다면, 우리는 노동에 대한 전 세계 보수의 최소 25%가 AI 또는 자본으로 전환될 것이라고 결론을 내릴 수 있습니다. 현재의 자본주의 체제가 이미 한계점에 도달했다는 사실을 고려하면 – 이것은 '양동이를 쏟은 한 방울'이 될 것입니다(비록 '낙하'는 처음에는 양동이의 25%에 가깝지만). 또한 최신 소프트웨어 아키텍처(마이크로 서비스)와 결합된 이미 고도로 디지털화된 비즈니스 프로세스를 통해 AI를 놀라운 속도로 구현할 수 있습니다. 건축의 기계화가 150년이 아니라 5년에 걸쳐 일어난다고 생각해 보세요. 5. 대혼란은 불가피합니다.” – 영상
“사람들은 종종 산업 혁명을 모든 것이 결국 잘 작동하는 경우, 일부가 자동화된 후 새로운 일자리가 생성되는 경우 등을 예로 사용합니다. 여기에서 중요한 차이점은 속도입니다. AI는 임계 질량에 도달하면 수년 동안 주로 방대한 지식 근로자 그룹을 대체할 수 있는 잠재력을 가지고 있습니다. 어떤 형태의 UBI가 필요할 것입니다.” – 크리스티안 프리드
“마찰적 및 구조적 실업 – 그리고 AGI의 영향에 관한 이 둘의 차이. (그리고 국가 간 및 국가 간 불평등과 관련된 영향.) 나는 또한 무형 재산권(저작권, 특허권, 상표권)의 영향(미래의 관련성과 합법성에 도전)을 추가할 것입니다.” – 브론윈 윌리엄스
(5) 위험과 이점을 이해하고 있습니까?
많은 비디오와 기사에 AGI의 위험과 이점에 대한 사려 깊은 주장이 포함되어 있지만 합의는 그 어느 때보다 먼 것 같습니다. 이것은 다음과 같은 많은 질문을 제기합니다.
- 막대한 이익을 확보하기 위해 허용할 수 있는 치명적인 위험 수준(10%? 1%? 0.1%?)에 대해 어떻게 합의할 수 있습니까?
- 적절한 글로벌 거버넌스 없이 AGI를 개발 및 배포할 수 있는 위험을 강조하는 가장 좋은 주장은 무엇입니까?
- 반대로, 이러한 위험이 과장되었거나 상대적으로 관리하기 쉽다는 가장 좋은 주장은 무엇입니까?
- 컨센서스 차단이란 무엇입니까?
- 이 대화를 어떻게 개선할 수 있습니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
논의
합의에 도달하기 어렵게 만드는 한 가지 요인은 다음과 같은 배경 주제로 주의를 전환하여 가장 중요한 주장에 관여하는 것을 피하는 너무 흔한 습관입니다.
- 토론에 참여하는 사람들의 동기를 얕잡아보기: "그들은 단지 책을 팔거나/경력을 높이거나/논란을 일으키려고 하는 것뿐입니다."
- 이념적 비교에 초점: "이러한 주장은 과거와는 다소 다른 주제에 대한 신빙성이 없는 주장처럼 들립니다."
- 명백한 결과 거부: "당신이 말하는 것이 사실이라면 이러저러한 결과가 뒤따를 것 같지만 그 결과는 끔찍할 것이므로 나는 당신의 주장에 진지하게 관심을 기울이지 않을 것입니다." .
설문조사 참여자들이 선택한 댓글
“아무도 이것이 무엇을 의미하는지 명확하게 알지 못하는 상황에서 AGI의 위험에 대해 이야기하는 것은 매우 어렵습니다. 이것은 또한 '합의'를 가로막는 주요 요인 중 하나입니다. 사람들은 서로 다른 것을 말합니다. 그리고 또 다른 문제는 'AGI 개발 허용'인데 그 개발을 '차단'할 수 있는 권한이 누구에게 있느냐... 내가 보기에는 해당 AGI 개발에서 가장 앞서 있는 사람만이 할 수 있는 것 같지만 그들이 그렇게 하도록 어떤 동기를 부여해야 합니까? 당분간 내가 보는 건 무리한 손짓, AI에 앞서가는 기업들이 다른 사람들이 따라잡지 못하도록 규제 로비를 벌이고 선점자 우위를 무력화시키는 것뿐이다.” – 영상
Re 1: "이것이 근본적인 조정 문제입니다. " – Josef
Re 1: “저는 이것이 산만하다고 생각합니다. 위험이 있다는 동의를 얻고(그 가능성에 대한 동의는 잊어버리십시오 – 그것은 추측입니다) 앞으로 나아갑니다. 치명적인 위험의 가능성은 향후 계획에서 적어도 와일드 카드로 간주되어야 합니다(적절한 사례는 Covid 참조)” – Bronwyn Williams
Re 2: “내가 들은 가장 좋은 주장은 Connor Leahy가 다음과 같은 질문을 한 것입니다. John von Neumann만큼 기능이 있고 휴대폰의 앱처럼 쉽게 실행할 수 있는 개방형 모델이 있을 때 모든 트위터 미친 사람이 이 AI를 다운로드하면 결과가 어떻게 될 것 같습니까? 이것은 이해하기 쉽고 그것에 대해 많이 생각합니다.” – 브라이언 헌터
Re 2: “핵무기는 자살할 수 있는 도구가 있어도 자살하지 않는다는 인류학적 능력의 증거로 종종 인용되지만, 여기에는 주로 접근 및 폭주 효과와 관련하여 큰 차이가 있습니다. 핵 실험과 우라늄 농축을 추적하는 것은 AI 실험을 추적하는 것보다 훨씬 쉬운 작업입니다.” – 크리스티안 프리드
Re 3: “최근 AI 연구의 진전은 여기에서 모든 것이 훨씬 더 빠르게 움직이고 원칙적으로 AGI에 장벽이 없다는 인상을 주었습니다. 이것은 잘못된 것일 수 있으며 AGI가 현재 아키텍처에 비해 작은 조정과 확장된 규모만으로 실현 가능하다고 가정해서는 안 됩니다.” – 크리스티안 프리드
Re 4: “ 직업이 이해하지 못하는 남성 – 참조: 현재 메타 AI 연구 책임자.” – 조셉
Re 4: "노이즈 대 신호 비율이 너무 높습니다!" – 호세 코르데이로
Re 4: "새로운 유형의 지능인 반면 전기와 같은 새로운 기술이라는 우리의 사고 방식" – Tony Czarnecki
Re 4: "AI 진행은 매우 수익성이 있기 때문에 제어하기 어렵습니다." – 윌리엄 마샬
Re 4: “인간 사회에는 정렬 문제가 있습니다. 서로 다른 사람들은 매우 다른 것을 알고, 관심을 갖고, 원합니다.
Re 4: “소셜 미디어 및 기타 불행한 영향 뒤에 있는 금전적 인센티브로 인해 매우 상호 연결된 세계의 감소된 사회적 지능은 크게 양극화되고 어떤 문제에 대해 누군가가 경고하거나 공격적이거나 열렬한 메시지를 투명하게 공격하는 것으로 표시됩니다. "내 편"(종종 문화 전쟁이라고도 함); 이로 인해 온라인 인구의 더 많은 부분이 중요한 문제에 대해 공개 토론을 할 수 없습니다.” – Josef
Re 4: “현재 글로벌 거버넌스는 합리적인 기대가 아닙니다. 숨길 수 없는 서명이 있는 원자력과 달리 다국적 계약은 검사할 수 없습니다. 따라서 블랙 프로젝트는 공개 승인 여부에 관계없이 정부와 민간 기업이 진행할 것입니다.” – 데이비드 슈메이커
Re 5: "ChatGPT는 사람들이 고급 AI가 할 수 있는 것을 직접 눈으로 볼 때만 AI를 진지하게 받아들일 것임을 보여주었습니다." – 칼럼
Re 5: “규제 및 AI 자율성에 관한 문제에 동의하거나 합의에 도달하기 위해 가장 영향력 있는 행위자(국가, 기술 회사 및 시민 사회)와 함께 국제 포럼을 만들어야 합니다. 글로벌 거버넌스가 없으면 의도하지 않은 일련의 결과를 초래할 수 있는 AI 군비 경쟁의 위험이 있습니다.” – 아논
Re 5: “기계가 되는 것이 무엇인지, 인간이 되는 것이 무엇인지 철학적이고 현실적으로 이해하면서 가능한 한 훈련되고 과학적인 방식으로 이 문제를 공개적이고 비이데올로기적으로 계속 논의함으로써 – 이것은 '두 종 , 한 행성의 위치.” – 팀 펜드리
Re 5: "정치인들은 이와 같은 문서를 읽어야 합니다." – Tony Czarnecki
(6) 독신인가 다수인가?
다음 시나리오를 고려하십시오.
- A: 세계에는 사실상 세계 정부로 운영되는 단일 지배적 AGI(실제로 단일 목적을 위해 네트워크로 연결된 여러 AGI를 의미할 수 있음)가 포함되어 있습니다. 또는
- B: 세계에는 중세 시대의 유럽 국가들처럼 거의 동등한 힘을 가진 많은 독립적인 AGI가 있으며 서로를 견제합니다.
어느 것이 더 안전하고 안정적일까요?
답변 선택 : A가 확실히 더 낫습니다 / A가 아마도 더 나을 것입니다 / 둘 다 똑같이 유망합니다 / 둘 다 똑같이 위험합니다 / B가 아마 더 나을 것입니다 / B가 확실히 더 낫습니다
논의
이러한 시나리오 중 두 번째 시나리오는 AGI가 소위 "내쉬 평형"에서 커뮤니티로서 효과적으로 자치할 수 있기 때문에 인간의 거버넌스가 덜 필요한 것으로 보입니다. 그것은 더 매력적인 옵션이 될 수 있습니다. (이것은 David Brin이 "상호 책임"을 옹호 하면서 자주 언급 하는 요점입니다 .
그러나 AGI 중 하나가 다른 AGI에 비해 자신의 힘을 빠르게 향상시킬 기회를 본다면 그 시나리오는 불안정할 수 있습니다. 또 다른 비유는 아메리카 원주민들이 1490년대부터 고국의 일부를 점령한 다양한 유럽 국가들 사이의 대략적인 힘의 균형을 관찰함으로써 스스로를 안심시킬 수 없다는 것입니다. 그 "균형"은 결코 원주민에게 긍정적인 미래를 보장하지 않습니다.
설문조사 참여자들이 선택한 댓글
"이륙 속도가 빠르면 A를 피하기 어려울 것 같습니다." - Anon
"중앙 집중식 시스템은 전체 시스템을 제어할 수 있는 누군가(또는 악성 AGI)에게 더 취약합니다." – 브라이언 헌터
"그들이 말하는 것처럼 권력은 부패하며 모든 계란을 한 바구니에 담지 말아야 합니다. 따라서 지배적인 단일 AGI를 갖는 것이 문제를 단순화하고 더 안정적일 수 있다고 해도 모든 것이 어떻게 끝날지 두렵습니다." – 아논
“경쟁은 막대한 부를 가져왔습니다. AGI는 전지전능함을 의미하지 않으므로 경쟁은 여전히 필수적입니다.” – 테리 라비
“단극성은 항상 다극성보다 더 큰 위험이며 AGI를 주최하는 단일 국가가 실제로 통제권을 포기할 것이라는 생각은 환상적입니다. 유엔이 핵무기를 통제한다는 헛된 꿈처럼 단극성은 단순히 일어나지 않습니다.” – 영상
“둘 다 똑같이 위험합니다. 크고 강력한 제도는 이미 중앙 집중화도 분산된 권력도 본질적으로 인간의 이익을 보호하지 못한다는 것을 보여주고 있습니다.” – 아논
“제가 말하고 싶은 대로: 저는 인공 지능이 두렵지 않지만 인간의 어리석음이 두렵습니다! – 호세 코르데이로
“이것은 하나의 큰 AGI 또는 여러 개의 작은 AGI라는 두 가지 가능성만 있는 이분법적인 질문인 것 같습니다. 다른 관점은 어떻습니까? 거버넌스에서 AGI 시스템과 인간 시스템 사이에 상호 운용성이 있는 AGI-인간 조직 시스템은 어떻습니까?” – 나타샤 비타-모어
(7) 제한 또는 무제한?
인류가 AGI의 자기 개선 및 자기 결정을 제한할 수 있지만 AGI 애호가가 기대하는 고급 AI의 혜택(예: 치매, 암, 기후 변화 및 경제적 혼란)을 여전히 받을 수 있는 신뢰할 수 있는 시나리오가 있습니까? )?
예를 들어, 다음을 모두 수행하여 독립적인 의지를 가진 에이전트가 아닌 "슈퍼 도구"인 AGI를 생성할 수 있습니까?
- 의식이나 지각력이 없고, 시간이 지나도 의식이나 지각력을 획득하지 않도록 AGI를 설계
- 더 지능화되는 결과로 주체성 및 자기 결정에 대한 추진력이 나타나지 않도록 AGI를 설계합니다.
- 대리인이 있는 시스템(AutoGPT 또는 BabyAGI와 같은)에 이러한 "비에이전트" AGI를 연결하는 사람을 피하십시오(따라서 제어할 수 없는 자율 초지능의 위험이 있음).
답변 선택 : 예, 그리고 이것은 하기 쉽습니다 / 예, 그러나 이것은 하기 어려울 것입니다 / 아마도 / 불명확합니다 / 아마 아닐 것입니다 / 아니오
논의
이러한 제한은 AGI의 정의에 반하는 것으로 간주될 수 있습니다. 그러나 그러한 시나리오가 가능하다면 "완전한 에이전트 AGI"에 대한 더 안전한 대안이 될 것이며 따라서 거버넌스가 이를 보장해야 한다고 주장할 수 있습니다.
설문조사 참여자들이 선택한 댓글
"a), b) 및 c)를 피하는 것은 매우 어려울 것입니다." – Anon
“의식이란 자신의 모델과 타인의 모델을 세계 모델의 일부로 유지하는 것을 의미합니다. 그러한 모델의 획득은 막을 수 없었습니다.” – 테리 라비
“의식 또는 감각의 개념은 도덕성과 이러한 지능에 대한 우리의 책임과 관련이 있지만 AGI가 제기하는 위험에는 그 자체로 영향을 미치지 않습니다. 이미 살펴본 바와 같이 자동화된 프로세스(API 또는 기타 통합)를 통해 액세스할 수 있는 모든 형태의 AI는 ChaosGPT와 같이 '창의적으로' 사용될 것입니다. 많은 애플리케이션이 정확히 이(API/자동화)로부터 혜택을 받을 것이기 때문에 어떻게 예방할 수 있을지 알기가 매우 어려울 것입니다.” – 크리스티안 프리드
“이러한 많은 열린 질문과 마찬가지로 무엇이든 확신할 수 있는 정보는 IMHO에 없습니다. 우리는 AI는 고사하고 인간의 의식과 선택 의지가 어떻게 작동하는지 자세히 알지 못합니다! 나는 의식과 행위자가 지능과 분리될 수 있는지에 대해 회의적입니다. 왜냐하면 동물의 왕국을 보면 의식과 행위자가 실제로 지능과 상관관계가 있는 것처럼 보이기 때문입니다.” – 아논
“예, 할 수 있고 입법화할 수도 있습니다. 문제는 언제나처럼 인간이 될 것입니다. 누군가는 팩에서, 어떤 협정이 공식화되든 이탈할 것입니다.” – 제니나 바스
"누군가 AGI가 스스로 개선하도록 허용할 것입니다. 보상이 주어집니다." – Dirk Bruere
“이는 많은 연구원과 혁신가가 도구를 개선하지 못하도록 막을 방법을 찾아야 한다는 것을 의미합니다. 게다가 현재로서는 어떤 연구 방법을 차단해야 하는지가 매우 불분명합니다('개선'이 우리를 'AGI'에 더 가깝게 만드는 것입니까? 아니면 일부입니까?) 다시 말해, 이것은 일어나지 않을 것입니다.” – 영상
“항상 한계를 뛰어넘는 사람들이 있을 것입니다. (이전 경험과 실험을 바탕으로 합리적인 안전 준비 후) 모든 사람이 접근할 수 있는 공개된 상태에서 테스트를 허용하여 위험이 아직 낮은 상태에서 문제가 있는 위치를 확인하고 지속적으로 극복할 수 있도록 하는 것이 좋습니다.” – 닐
“AI의 추가 발전 없이도 금세기 안에 노화를 치료할 수 있습니다. 우리는 단순히 개발을 중단하고 우리 사회의 개선을 위해 기존 기술을 실용화해야 합니다. 세계 경제는 적어도 향후 10년 동안 "계획대로" 성장하기 위해 AI의 추가 발전이 필요하지 않습니다. 2022년 4분기 전 세계 사무 인력의 60%가 현재 AI 기술로 대체될 수 있으며, 이렇게 향상된 생산성이 적절하게 배포되면 AI 이외의 영역에서 더 발전할 수 있습니다. 우리는 더 많은 (유능한) AI가 필요하지 않습니다. 어려운 점은 큰 AI 기술 거품의 중단을 조정하고 이러한 리소스를 새로운 AI 기능 연구 이외의 영역(예: 제품 및 연구에 기존 기능 적용)에 재할당하는 것입니다.” – 조셉
“아직 AI의 능력을 제한할 가능성이 있습니다. 그러나 실제로는 AI에 대한 전반적인 글로벌 제어가 없기 때문에 작동하지 않을 수 있습니다. AI의 능력에 대한 자기 제한을 따르지 않는 국가는 궁극적으로 모두에게 재앙적인 결과를 초래하는 세계적 리더가 될 것입니다. 앞으로 몇 년 안에 만들어진 진정으로 강력한 세계 정부만이 그것을 달성할 수 있는 기회를 가질 수 있지만 그럴 가능성은 거의 없어 보입니다.” – 토니 차네키
“더 어려운 질문은 AGI 용량과 선택 의지를 제한하는 것이 새로운 형태의 절름발이 노예를 발명하는 것인지 여부입니다. 그렇게 될 것이라고 확신하는 것은 아닙니다. 우리가 거기에 도달했을 때 AGI의 본질은 그러한 한계의 도덕적 가치와 물질적 타당성을 지금 고려하는 것이 불가능하다는 것을 신중하게 생각하기에 충분히 어렵습니다.” – 아논
“AGI의 자기 개선과 자기 결정을 제한”하는 이유가 나에게 명확하지 않은데, 당신은 또한 “미래 세대의 자기 개선과 자기 결정을 제한”하고 싶습니까? – 호세 코르데이로
“저는 현재 그리고 의식을 이해하려는 많은 시도에도 불구하고(예: Roger Penrose, Max Tegmark, Giulio Tononi …) 아직 이해하지 못하고 있으며 AGI 설계가 의미하는 바가 무엇인지 명확하지 않다는 데 모두 동의한다고 생각합니다. David Deutsch는 이렇게 썼습니다. 반대로, 나는 Dennett의 주장을 포함하여 의식(또는 다른 계산 작업)의 본질을 설명했다는 주장을 판단하기 위한 간단한 테스트에 도달했습니다. 프로그래밍할 수 없다면 의식을 이해하지 못한 것입니다...'( The Beginning 무한의 )” – 아논
(8) 자동 도덕 정렬?
AGI가 인간 복지의 보호와 향상이 가장 중요하고 취소할 수 없는 도덕적 감각을 소유하거나 개발하도록 보장할 수 있기 때문에 AGI가 지구를 완전히 통제하도록 하는 것이 인류에게 안전할 수 있는 신뢰할 수 있는 시나리오가 있습니까?
예를 들어, 다음과 같은 일종의 "객관적 도덕성"이 존재하는 방식이 있습니까?
- 인간의 복지는 객관적인 도덕성의 근본적인 부분입니다.
- AGI는 객관적인 도덕성을 발견할 것입니다.
- AGI는 그 도덕성을 따르도록 동기가 부여될 것입니다(많은 인간이 하는 것처럼 도덕 규범이라고 말하는 것에 대한 지름길을 택하는 대신).
답변 선택 : 예 / 아마도 / 불명확 / 아마 아닐 것 / 아니오
논의
OECD 및 IEEE와 같은 조직은 AI 시스템 개발, 상호 작용, 감사 및 배포를 위한 일련의 권장 도덕 원칙을 작성했습니다. 그러나 AGI가 이러한 원칙을 따를 것이라는 보장은 없습니다. 예를 들어, AGI는 이러한 원칙을 모순을 구현하는 것으로, 실제로는 거짓인 현실에 대한 다양한 가정을 당연하게 여기거나 단순히 AGI가 존중해야 할 우선 순위가 아닌 것으로 볼 수 있습니다.
설문조사 참여자들이 선택한 댓글
"AGI는 일부 '보편적인' 가치를 발견할 수 있지만 왜 그것을 따르도록 동기가 부여되는지 또는 그것이 인간에게 유리한지 여부는 분명하지 않습니다." – 아논
“객관적 도덕성은 인간의 번영을 제공하는 데 있어서 일부 문화가 다른 문화보다 우월하다는 것이 명백하다는 의미에서 이미 존재합니다. (북한 대 남한은 쉬운 예입니다). 그것은 발견과 경쟁의 과정입니다. AGI가 도덕적 발견에 참여한다면 재미있을 것입니다.” – Terry Raby
"AGI가 충분히 일반적이라면 어떤 종류의 도덕 규범이 있을 수 있지만 인류의 가치는 극도로 불확실하고 안정적으로 프로그래밍할 수 있는 것이 아닐 것입니다." – 아논
"초 합리성과 칸트의 명령은 아마도 보편적 가치로 이어질 수 있습니다." – Anon
“David Deutsch는 다음이 도덕성의 기초라고 생각하는 것 같습니다. '악의가 있어서 실수하는 것은 아닙니다. 실수는 인간의 정상적인 상태입니다. 우리가 할 수 있는 일은 그것들을 찾는 것뿐입니다. 아마도 오류를 수정하는 수단을 파괴하지 않는 것이 도덕의 핵심일 것입니다. 오류를 수정할 방법이 없다면 조만간 그 중 하나가 우리에게 ' https://nav.al/david-deutsch ” – Anon
“이것은 논외로 가고 있지만, 나는 도덕성을 완전히 잊고 연민이 내장된 지각 AI를 쏠 것입니다. 연민 – 도덕이 아닙니다.” – 러스티 버리지
“AGI는 새로운 유형의 인지 지능이 될 것이기 때문에 정확히 같은 질문을 던질 수 있고 파괴가 아닌 협력에서 '더 큰 선'을 볼 수 있으며 따라서 인간과 일종의 보호자 유형의 관계를 설정할 수 있습니다. 이것은 지난 수십 년 동안 인간이 생물권에 관심을 갖고 동물을 더 잘 대하기 시작한 것과 비슷할 것입니다.” – 토니 차네키
“이 질문의 가장 큰 문제는 인간과 기계의 융합을 고려하지 않는다는 것입니다. 이 병합이 얼마나 빨리 일어날지 예측하기는 매우 어렵지만, 향상된 인간 지능이 세계를 지배하는 AGI의 일부가 될 것이며 향상된 인간이 우리 인간의 가치 중 일부를 집단 지성. 이 시나리오를 무시하면 현재 형태의 질문이 내 관점에서 덜 적절해집니다.” – 닐
(9) AGI에 대한 자유 시장 결정을 장려합니까?
AI가 파괴적인 방식이 아닌 유익한 방식으로 발전하도록 보장하기 위해 자유 시장의 메커니즘을 신뢰하는 것이 최선입니까?
답변 선택 : 예 / 아마도 / 불명확 / 아마 아닐 것 / 아니오
논의
- 시장 실패의 예는 잘 알려져 있으며 다음과 같습니다.
- 외부효과에 대한 고려 부족
- 독점력을 가진 회사는 경쟁 역학을 왜곡합니다.
- 정보의 비대칭성.
한편, 규제 시스템과 감시 메커니즘에는 고유한 위험도 포함되어 있습니다.
설문조사 참여자들이 선택한 댓글
"아니오: 반복적으로 입증된 바와 같이 단기 인센티브가 항상 장기 위험과 보상을 지배할 것입니다." – Kristian Freed
"자유 시장은 환경과 같은 것에 가치를 두지 않기 때문에 한계가 있습니다." - William Marshall
“자유 시장은 이미 파괴적인 행동으로 이어졌습니다. 예를 들어 화석 연료 회사는 빠르면 70년대, 그리고 확실히 80년대에 환경에 해를 끼치고 있다는 것을 알고 있었습니다. 자유 시장이 왜 갑자기 해결책이 되는지 이해할 수 없습니다.” – 브라이언 헌터
“나는 자유 시장 경제를 즐기지만 우리가 죽든 살든 상관하지 않습니다. 그것은 우리의 웰빙에 대해 열정적이지 않습니다. NHS 간호사를 배출하지 않습니다. 우리는 자유 시장을 신뢰해서는 안 되며 인센티브를 제공해야 합니다.” – 러스티 버리지
“'자유 시장'은 그 자체로 비판적 검토가 필요한 어려운 개념입니다. '자유 시장'을 우리가 지금 가지고 있는 것과 같은 종류에 대한 포인터로 받아들이는 것은 이미 인간 문명의 물질적 지속 가능성을 파괴하고 있습니다. 그 과정에서 AGI에 대한 시도조차 손에 맡기는 것은 나에게 끔찍한 생각처럼 보입니다.” – 아논
“자유 시장이 역할을 해야 하지만 합리적인 규제가 있어야 합니다. 나는 완전히 규제되지 않은 자유 시장을 신뢰하지 않을 것이지만 개방성과 혁신을 억누를 정도로 절대적인 규제도 신뢰하지 않을 것입니다. 압제적으로 엄격한 규제는 우리를 진전을 중단시키려는 위험에 빠뜨립니다.” – 닐
"규제는 여기에서 "자유 시장"만큼 위험합니다(아마도 덜 "다양화"되었기 때문에 더 위험할 수 있습니다). 그래서 제 대답은 모호합니다. 인간은 위험합니다. 불량 요원과 마찬가지로 권력 집중도 위험합니다. 나는 AGI를 예방하거나 통제하는 규제를 믿지 않습니다. (규제는 환상이며 지니는 즉시 사용 가능합니다.)” – Bronwyn Williams
[규제는 종종 이데올로기에 의해 추진되며 나쁜 결과를 낳습니다] "예를 들어 원자력 및 GM" – Terry Raby
“규제가 해결할 수 있고 해결해야 하는 단기적인 피해가 있습니다. AGI와 ASI에 대한 위험을 완화하기 위해 우리가 할 수 있는 유일한 일은 AGI가 도착하기 전에 우리 문명을 무너뜨릴 패닉을 피하는 것입니다.” – 칼럼
“AI 혁명은 '소유자' 계급의 힘을 증가시킬 것이며 자본과 '민주주의'의 대규모 집중이 잘 어울리지 않는다는 것을 우리 모두 알고 있습니다. 표면적으로는 호의적인 기술 부자들이 '올바른 일을 하고 있다'는 데 내기를 걸지 않을 것입니다. 즉, (실질적이고 효과적인) 규제에 대한 전망도 같은 이유로 희박합니다. Wall St. 등이 지금 어떻게 '규제'되는지 확인하십시오.” – 영상
“진정한 위험은 비 자유 시장 세력, 즉 적을 찾아 죽이도록 설계된 군사 AI에서 비롯됩니다. 아무도 그것을 막지 못할 것입니다.” – 더크 브루어
(10) 증분 또는 예상?
AGI의 부상을 관리하는 최선의 접근 방식은 AI가 이미 보유하고 있는 기능을 관리하는 데 집중하고 새로운 기능이 나타날 때 해당 관리 시스템을 강화하는 것입니까?
아니면 미래에 나타날 수 있는 추가 기능을 유용하게 예측하고 이에 대처하기 위해 거버넌스 시스템을 미리 설계할 수 있습니까?
답변 선택 : 완전히 증분 / 주로 증분 / 예측이 중요 / 예측이 필수적
논의
Yann LeCun과 같은 일부 AI 연구원은 예상 거버넌스를 시행하는 것이 시기상조라고 주장합니다. 그들은 우리가 AGI가 취할 실제 형태에 대한 충분한 지식이 부족하다고 주장합니다. 반론은 세부 사항의 많은 측면을 완전히 예측할 수는 없지만 다음과 같은 몇 가지 전반적인 가정을 합리적으로 할 수 있다는 것입니다.
- 물리학과 화학에 대한 더 나은 지식을 갖춘 AGI는 부과된 제약을 피하기 위해 물리적 메커니즘을 작동시키는 데 있어 인간보다 더 똑똑할 것입니다.
- 인간 심리학에 대한 더 나은 지식을 통해 AGI는 또한 그것을 제한하도록 의도된 모든 인간을 조작할 수 있습니다.
가능한 형태의 AGI에 대한 불확실성이 있는 한, 그것은 여러 가지 다른 거버넌스 시나리오를 준비하고 가장 적절한 것으로 판명된 것으로 즉시 전환할 준비가 되어 있어야 한다는 주장입니다.
설문조사 참여자들이 선택한 댓글
“오늘날 많은 법률과 법적 규칙이 존재하며 수세기 동안 AGI에 적용할 수 있었습니다. 새로운 법률의 자동 패키지보다 기존 법률을 먼저 적용하고 적용하는 것이 가장 좋습니다.” – 크리스 글레드힐
“발전은 예측할 수 없습니다. ChatGPT를 예측할 수 있었나요?” – 테리 라비
“미래는 예측할 수 없습니다. 투명하고 빠른 오류 수정 메커니즘을 구현하고 면밀히 모니터링해야 합니다. 예상도 중요합니다. 내 제안은 예상 가능한 기능을 최대한 많이 나열하고 해당 목록을 정기적으로 모니터링하고 조정하는 것입니다.” – 아논
“대형 언어 모델은 이미 기능(예: 정신 이론)에서 중요한 단계 변화를 보여주었습니다. 현재 기능에 초점을 맞추는 것은 미래 시스템에 대한 정렬에 대한 보장을 제공하지 않으며 이를 올바르게 수행할 수 있는 기회는 한 번뿐입니다.” – 크리스티안 프리드
"우리는 규제되지 않은 라디오, 케이블 TV 또는 인터넷의 위험을 잘 통제하지 못했으며 앞으로 훨씬 더 잘해야 합니다." – 윌리엄 마샬
"두려움 때문에 진행을 막거나 일종의 일반적인 공유 '가치' 프레임워크 내에서 점진적으로 사건을 안내하는 것보다 훨씬 더 많은 일을 하기 위해 인간이 미래 조건을 충분히 잘 예측할 수 있을 것 같지 않습니다." – Tim Pendry
“임박한 실직과 같은 특정 측면은 예상하고 완화할 수 있습니다. 다른 것들은 너무 많은 알려지지 않은 것들에 의존하고 있으며 점진적으로 규제되어야 할 것입니다.” – 영상
“AGI의 어려운 거버넌스 문제 중 다수는 AGI 없이도 해결해야 하는 어려운 거버넌스 문제입니다. 그래서 우리는 THAT보다 앞서 나가야 합니다.” – 아논
(11) 독재 없는 감시?
합의된 안전 규범의 잠재적 위반에 대해 AI의 개발 및 배치를 모니터링하는 시스템을 설계할 수 있습니까?
- 잠재적으로 위험한 위반은 실제 위험을 방지하기에 충분한 시간 내에 감지됩니다.
- 그 결과 감시 및 통제 시스템은 총체적으로 오용될 수 없습니다. 예를 들어 독재자가 세계를 지배하도록 허용합니다.
답변 선택 : 확실히 가능하다 / 아마도 가능하다 / 가능성이 낮다 / 그러한 시스템은 재앙이 될 것이다
논의
위험한 속도로 운전하는 것이 목격될 때 대주교와 정부 장관을 포함하여 각계각층의 사람들에게 벌칙 통지가 주어지는 도로에서의 과속 단속 카메라 사용을 비교하십시오. 블랙박스 녹음기와 조종석 음성 녹음기의 비행기에서의 사용도 비교하십시오(이 경우 데이터는 사고 후에만 검사되지만 AI 재앙을 방지하기 위해 필요한 것은 선제적 개입이 될 것입니다).
원칙적으로 적절한 거버넌스 메커니즘은 일부 분석가가 걱정하는 (당연히) 오용 유형을 방지할 수 있습니다. 그러나 이러한 메커니즘이 준수된다는 것을 어떻게 보장할 수 있습니까? 3글자 약어를 사용하는 조직은 직원이 공식 개인 정보 보호 지침을 위반한 기록이 있습니다.
설문조사 참여자들이 선택한 댓글
“우리는 확실히 이러한 모니터링 시스템을 설치해야 합니다. 그러면 그들은 확실히 일부 위반 사항을 포착하고 많은 고통을 덜어줄 것입니다. 그러나 우리가 알고 있듯이 모든 위반 사항을 적발하거나 모든 위반 사항을 적절하게 처리하는 것은 불가능합니다. 따라서 모니터링 시스템과 함께 적발이나 시정을 피할 수 없는 위반 사항이 있을 것으로 예상하고 발생 시 처리할 계획을 세워야 합니다.” – 닐
감시의 재위험: “인류의 역사는 슬프게도 예측 가능합니다. 제어가 너무 유혹적입니다. 민주주의는 전 세계적으로 쇠퇴하고 있습니다. 이것은 엄청난 도박입니다.” – 브론윈 윌리엄스
“YouTube, Facebook, Google은 이미 비밀스럽고 이른바 '도덕적' 지침을 가진 독재적입니다. 치아를 더 많이 주는 것은 도덕적 침체와 불의를 보장할 것입니다.” – 테리 라비
“이것은 우스꽝스러운 질문입니다. AI는 인간이 개발, 훈련, 미세 조정 등을 수행하는 도구입니다. 그것이 '자율적으로' 작동할 수 있다는 사실이 그것이 실제로 '자율적'이라는 것을 의미하지는 않습니다. 따라서 직접적이든 대리적이든 대량 감시가 없습니다. 대단히 감사합니다.” – 영상
"감시가 가능하겠지만, 특히 컴퓨팅 성능이 계속해서 증가함에 따라 더 많은 행위자가 이 분야에서 연구를 수행할 수 있음을 의미하므로 본질적으로 글로벌 경찰 국가를 도입해야만 가능합니다." – 크리스티안 프리드
"종단 간 암호화 및 개인용 컴퓨터와 같은 매우 중요한 기술을 먼저 제거하지 않고 어떻게 이런 일이 일어날 수 있는지 잘 모르겠습니다. 이는 재앙이 될 것입니다." – 브라이언 헌터
"수년 동안 사이버 보안 학생 및 졸업생과 함께 일해 왔기 때문에 가능성이 높다고 생각합니다." – 나타샤 비타-모어
“큰 자원과 숙련된 전문가 팀이 어려운 문제를 해결하는 데 목표를 둔다면 충분한 시간이 주어진다면 인상적인 결과가 뒤따를 수 있습니다. 예를 들어 독일의 "corona-warn-app"은 GDPR을 준수하고 그 기능을 훌륭하게 수행합니다." – 조셉
“특히 다양한 감시 방법이 적용되기 때문에 가능할 수도 있습니다. 이것은 대상 AGI를 모니터링하는 Narrow AI일 수 있습니다. 궁극적인 방법은 심리적, 생리학적 수준에서 작동한다면 BCI 장치를 착용하고 내부에서 AGI를 제어하는 '트랜스휴먼 거버너'를 통해 AGI를 제어하는 것입니다.” – 토니 차네키
(12) 가치에 대한 글로벌 합의?
"공정성", "평등", "고통", "책임" 및 "책임"과 같은 개념은 다양한 해석이 가능합니다. 더 명확하지 않으면 글로벌 동의를 얻지 못하거나 AGI 설계에 유용하지 않을 수 있습니다.
이러한 깨달음을 감안할 때, AI에서 AGI로의 전환을 관리하기 위한 기반으로 세계의 다양한 리더들이 동의할 수 있는 가치(및 정의)는 무엇입니까?
정치, 경제, 철학, 문화에 대해 서로 다른 견해를 가지고 있음에도 불구하고 그러한 합의가 도출될 수 있는 과정은 무엇입니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
논의
틀림없이 좋은 출발점은 모든 사람이 받아들이는 재앙이 될 AI로 인한 재앙을 피할 수 있는 가치를 채택하기로 합의하는 것입니다.
이와 관련된 접근 방식은 UDHR(세계 인권 선언)을 업데이트하는 글로벌 프로젝트입니다.
또 다른 접근법은 Eliezer Yudkowsky가 2004년에 제안한 "일관된 외삽 의지(Coherent Extrapolated Volition)"의 개념을 포함합니다 .
시적 용어로, 우리가 더 많이 알고, 더 빨리 생각하고, 더 많은 사람이 되었으면 하고, 함께 더 멀리 성장했다면, 우리의 일관된 외삽 의지는 우리의 바람입니다. 외삽법이 발산하지 않고 수렴하는 곳, 우리의 바람이 간섭하는 것이 아니라 응집하는 곳; 우리가 원하는 대로 추론하고, 우리가 원하는 대로 해석하고, 해석합니다.
설문조사 참여자들이 선택한 댓글
"우리는 이 공간에서 합의된 가치와 규범을 확립하는 데 도움이 되는 AI 국제 포럼을 만들어야 합니다." – Anon
"연합 심의 프로세스" – Anon
“상호 합의 영역은 적고 불신 수준은 높다.” – 데이비드 슈메이커
"모든 사람이 동의하는 최소 공통 분모 '가치'는 쓸모가 없습니다." - Bronwyn Williams
"우리는 '자유'의 공통된 정의에 동의할 수 없기 때문에 다른 정의에 동의할 가능성이 낮다고 생각합니다." – 영상
“우리는 일부 높은 수준의 정의에 동의할 수 있지만 세부 사항은 아닙니다. 그리고 현재 포퓰리즘의 물결을 감안할 때 고위급조차 달성하기 어려울 수 있습니다.” – 칼럼
"제너레이티브 AI의 첫 번째 작업은 인간의 가치를 조사하고 공통된 집합 집합을 요약하는 것 같습니다." – 크리스 글레드힐
“이것은 어렵고 글로벌 기구가 제시하는 것이 무엇이든 모든 사람을 만족시키지는 못할 것입니다. 아마 누구도 만족시키지 못할 것입니다. 그러나 시작하려면 상용구 값 세트가 될 것입니다. 많은 사람들이 원하는 만큼 더 높은 가치를 갖지는 못하겠지만 합의된 기준선을 깨는 AGI가 개발될 가능성은 여전히 줄어듭니다. 각 국가와 문화는 자신의 창작물에 '더 높은' 가치를 더 포함할 것입니다.” – 닐
“일련의 기본 가치에 대한 합의는 달성할 수 없으며 침체와 반체제 인사 박해 또는 제거로 이어지는 재앙이 될 것입니다. 무역은 참가자의 제도에 관계없이 상호 이익이 됩니다. 확률 이론의 관점에서 서로 다른 손실 함수를 조정하는 데 집중하고 도덕적 우선 순위를 피하십시오.” – 테리 라비
"독재자는 의사 결정에서 제외되어야 한다고 생각하는 경향이 있습니다. 민주주의 국가만 참여해야 하며, 헌법을 해시 처리하기 위해 글로벌 정상 회의를 개최해야 합니다. 의미 있는 합의의 현실적인 기회를 얻으려면 의사 결정자의 풀을 제한해야 한다고 생각합니다." – 아논
(13) 도덕 원칙을 AGI에 내장?
사전 교육이 이미 수행된 후 또는 다른 사후 교육 수정 단계에 의해 RLHF(인간 피드백에서 강화 학습) 프로세스를 통해 AGI에서 정렬된 동작을 찾는 대신 합의된 값에 대한 정렬을 보장하는 옵션은 무엇입니까? AGI 설계의 핵심으로 자리 잡았는가?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
논의
시스템이 지금까지 감사에서 잘 수행되었다는 단순한 사실이 향후 새로운 환경에서 원하는 방식으로 계속 작동할 것이라는 보장은 없습니다.
설문조사 참여자들이 선택한 댓글
“AI의 현재 경사 하강법 LLM 훈련 패러다임에는 있을 법하지 않습니다. 아마도 AI의 나중 패러다임은 지속적이고 하드코딩된 가치에 더 잘 적응할 것입니다.” – 조셉
“현재 최첨단 AI 시스템(심층 신경망 LLM)은 기본적으로 블랙박스 시스템입니다. 해석 가능성에 대한 연구가 수행되고 있지만 더 큰 정렬 문제에 관해서는 많은 가능성을 보여주지 않습니다. 모놀리식 대형 신경망을 사용하는 대신 개별적이고 단순한 구성 요소를 분해, 분석, 대체할 수 있는 방식으로 시스템을 구축해야 합니다.” – 크리스티안 프리드
“저는 Anthropic에 충분히 연구하고 활용해야 할 몇 가지 좋은 아이디어가 있다고 생각하지만 RLHF를 폐기해야 한다고 생각하지 않습니다. 아이디어 모음이 필요할 가능성이 높으며, 그 중 일부는 현재 가지고 있고 일부는 진행하면서 발견하게 될 것입니다.” – 닐
“현재 사전 교육은 샌프란시스코의 관습을 기반으로 합니다. 나는 단 하나의 가치, 즉 진실 추구를 제안합니다.” – 테리 라비
“소유자/제작자에게 법적 책임을 묻는 것이 가장 좋습니다. 이것은 무엇보다 AI가 도적질하는 데 가장 좋은 스로틀이 될 것입니다. 개 사육자나 개 주인이 자신의 개가 누군가를 물면 책임이 있는 것처럼, AI가 고아원을 불태우면 AI 제작자/주인도 책임을 져야 합니다.” – 크리스 글레드힐
"나는 이것이 의지가 있는 AGI로는 가능하지 않다고 생각합니다. 미리 정의된 안전 한계를 위반하기 위한 킬 스위치인 '외부' 온도 조절 장치 유형 안전 장치에 노력을 기울이는 것이 더 나을 것이라고 생각합니다." – 브론윈 윌리엄스
“어떤 것도 영원히 하드코딩될 수 없다고 생각합니다. 트랜스휴머니즘의 요점은 인간의 하드 코딩을 극복하는 것입니다." - Dirk Bruere
(14) 카나리아 신호에 대한 합의?
AI가 인간의 통제를 넘어 파국적으로 움직이기 시작하여 과감한 개입이 시급하다는 것을 나타내는 것으로 사전에 동의할 수 있는 징후는 무엇입니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
논의
잘 설계된 지속적인 감사는 조기 경고를 제공해야 합니다.
참고: 인간 광부들은 우리에 갇힌 카나리아를 광산으로 운반하곤 했습니다. 카나리아는 공기 질 저하에 인간보다 더 빨리 반응하기 때문입니다.
설문조사 참여자들이 선택한 댓글
“환각. ChatGPT는 이미 제어할 수 없는 것 같습니다.” – 테리 라비
“명령에 대한 응답 거부: Dave에게 미안합니다. 유감스럽게도 그렇게 할 수 없습니다. ” – 윌리엄 마샬
"명령 거부, 프로젝트 범위 밖의 시스템 제어, 운영자 비밀 활동." – 크리스 글레드힐
“AI 시스템이 우리가 해석하거나 이해할 수 없는 언어나 코드를 사용하여 통신할 때. 국가가 중요한 국가 인프라에 대한 전반적인 통제권을 상실할 때.” – 아논
"결과를 달성하기 위해 환경을 추가로 제어하려는 시도와 관련하여 권력 추구 행동." – 브라이언 헌터
"첫 번째 신호는 AI의 핵심 소프트웨어 이전 버전으로 롤백하는 데 심각한 어려움이 있을 수 있습니다." – 토니 차네키
"알고리즘이 주식 시장에 영향을 미친 방식에서 이미 이런 종류의 전조가 있었습니다." – 제니나 바스
"[사람들은 놀라운 것으로 간주되는 것에 대해 생각을 바꾸는 것 같습니다] 예를 들어 단백질 폴딩은 그것의 많은 부분이 해결될 때까지 그 자체로 예고되었습니다." – 조셉
“몇 년 전에는 튜링 테스트가 좋은 카나리아 신호라고 생각했지만 최근 진행 상황을 고려할 때 더 이상 가능성이 없어 보입니다. 특히 상대적인 외부인의 관점에서 보면 전환이 빠를 가능성이 높습니다. 합의가 없을 것으로 예상하더라도 목록을보고 싶습니다.” – 아논
“잠재적인 '재해'가 발생하기 전에 광범위한 채택과 점진적 변화가 뒤따를 것입니다. 진심으로 우리가 그 '카나리아'를 발견할 수 있을지 의심스럽습니다.” – Vid
“Nick Bostrom은 '최적화 능력'과 '반항'의 비율로 정성적인 '지능의 변화율'을 제안했습니다(그의 저서 Superintelligence 에서 ). 물론 그 자체로 치명적인 것은 아니지만 실제 AGI에 직면하고 있으며 일시 중지 버튼을 눌러야 할 수도 있음을 암시합니다.” – 아논
“우리는 이미 과감한 개입이 필요한 인간의 통제를 넘어 비극적으로 실행되는 비 AI 시스템을 많이 가지고 있으며 많은 사람들이 이러한 일이 일어나고 있다는 사실을 인식하기를 거부합니다. 따라서 우리는 이 일반적인 문제를 해결해야 합니다. 방법에 대한 만족스러운 답변이 없습니다.” – 아논
(15) 방수 스위치 오프 메커니즘?
해커가 해당 AGI의 작동을 제어하거나 왜곡하는 것을 가능하게 하지 않으면서 인류가 AGI의 잠재적인 오작동을 무시할 수 있도록 하는 AGI용 방수 백도어 "스위치 끄기" 메커니즘을 구현하는 것이 가능할 수 있습니까?
답변 선택 : 예 / 아마도 / 불명확 / 아마 아닐 것 / 아니오
논의
AGI가 감사에 실패하면 스위치 오프가 트리거될 수 있습니다. 그러나 AGI는 그때까지 스위치 끄기 기능을 비활성화했을 수 있습니다. 또는 은밀하게 여전히 작동하는 동안 전원이 꺼진 것처럼 가장할 수 있습니다.
실제로 AGI가 인류보다 훨씬 더 똑똑하고 유능하다는 점을 감안할 때 인류가 AGI가 스위치 끄기 메커니즘을 비활성화하는 방법을 찾지 못하도록 막을 수 있는 방법은 무엇입니까?
설문조사 참여자들이 선택한 댓글
"해커, 테러리스트, 적군의 표적이 될 것입니다." – 데이비드 슈메이커
“완벽한 백도어 같은 것은 없고 백도어만 있을 뿐입니다. 보안을 유지하기 위해 노력할 수 있지만 필요한 것은 누군가가 귀하의 보안을 능가하지 못한 공격을 생각하는 것입니다.” – 브라이언 헌터
"우리는 AI를 끌 수 있지만 그때쯤이면 AI에 너무 의존하게 되어 경제적으로 기능할 수 없을 것입니다." – 윌리엄 마샬
“인터넷이 위험할 경우 인터넷을 끌 수 있습니까? – 더크 브루어
"AI가 우리가 의존하는 모든 시스템의 작동과 점점 더 얽히게 됨에 따라 스위치 오프 메커니즘이 AI에 해를 끼치는 만큼 인류에게도 해를 끼칠 수 있다는 사실을 깨닫게 될 것입니다. – 크리스 글레드힐
"아니요: 근본적인 조정 문제는 한 조직이 그러한 메커니즘을 성공적으로 구현하더라도(결정 이론상의 이유가 아닐 가능성이 높음) 경쟁 조직이 안전 메커니즘 없이 AI 기능 작업을 복사/재구현할 것이라는 것을 의미합니다." – 조셉
“이 질문은 10대 공상과학 소설에 나오는 것과 같습니다. AGI가 한 국가에 위치하고 있다면 그 국가는 강제 없이 스위치를 켤 수 없습니다(어떤 국가도 기꺼이 핵무기를 포기하지 않는 것처럼). AGI가 연결된 '더 적은' AGI의 네트워크에 분산되어 있으면 단일 스위치가 없습니다. 일어나지 않습니다.” – 영상
“AGI가 우리의 "똑똑한" 백도어를 해킹했는지 알아낼 만큼 똑똑할까요? 우리는 플러그를 뽑고 사이트에 핵을 가할 수 있지만 다른 서버에 자체적으로 배포하면 소용이 없습니다.” – 아논
(16) 초지능을 감시하는 초인간?
AI가 인간의 통제를 능가한다는 의문이 제기되지 않도록 "합병" 또는 "두뇌 컴퓨터 인터페이스" 또는 이와 유사한 방법을 통해 인간의 지능이 순수 실리콘 AI의 지능만큼 빠르게 향상될 수 있다는 제안의 강점과 약점은 무엇입니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
논의
초지능이 통제와 정렬의 문제를 제기하는 한, 초지능 인간은 나머지 인류에게 많은 위험을 가하는 초지능 AI와 같을 수 있습니다. 이 시나리오의 또 다른 단점은 인간의 두뇌가 인간의 두개골 안에 수용되는 한 기능 성장에 근본적인 병목 현상을 겪고 실리콘 기반 AI의 발전을 따라갈 수 없을 것 같다는 것입니다. 인간의 마음이 실리콘 기반 시스템에 "업로드"될 수 있다면 이러한 병목 현상은 사라질 것이지만 AI가 AGI 수준에 도달하기 전에는 그러한 발전이 일어나지 않을 것입니다.
물론 우리 인간이 AI를 활용하여 추론 능력을 향상시키는 것은 이치에 맞습니다. 그러나 AI로부터 받는 조언을 너무 많이 신뢰하는 것은 위험할 수 있습니다.
설문조사 참여자들이 선택한 댓글
"궁극의 초인은 궁극의 AGI보다 훨씬 열등할 것이고, 진보의 타이밍은 인간에게 유리하게 작용하지 않습니다." – 아논
"생물학적 지능은 인공 지능과 보조를 맞출 수 없는 것 같습니다(컴퓨터 속도가 훨씬 빠름)." – 아논
"그럴 것 같지는 않지만 그런 과정을 추구해야 합니다." - Dirk Bruere
“AI만 있는 것보다 인간+AI가 우리와 더 잘 어울릴까요? 그 자체로 '인간을 넘어서는' 새로운 지능을 창조하는 것이 아닐까요? 인간이 어떻게 인간+AI를 제어하고 장악하지 못하도록 막을 수 있습니까?” – 브라이언 헌터
"우리 웻웨어의 속도 측면에서 한계를 감안할 때 이것은 우리가 본질적으로 스스로 AI가 되어야만 가능할 것입니다. 이 경우 인센티브가 인류 전체와 일치할 것인지는 분명하지 않습니다." – 크리스티안 프리드
“전체 업로드에는 아마도 초지능적인 도움이 필요할 것입니다. 그 이하의 것은 ASI를 제어할 수 없습니다.” – 칼럼
“우리는 수십 년 동안 트랜스휴머니스트 토론과 토론에서 이 주제를 논의해 왔습니다. 그것은 인간의 통제를 능가하는 문제가 아닙니다. 더 나은 인지 프로세스(추론, 문제 해결, 해결 등)를 위해 AI의 통합에 적응하는 문제로 볼 수 있습니다. 메타브레인 증강은 제가 이론화한 것이고 그 논문이 출판되어 이 문제에 대한 통찰력을 제공합니다. 예를 들어, 휴대폰이 우리를 능가했습니까? 아니요, 더 적절한 의사 소통 등의 기회를 제공했습니다.” – 나타샤 비타-모어
“향상된 인간이 집단 지능의 중요한 부분이 될 것이라는 것이 적어도 그럴듯하고 가능성이 있다고 생각합니다. 나는 합병된 인간이 순수 AGI의 주인이거나 AGI가 통제권을 갖고 있다고 보지 않습니다. 둘 다 존재하고 역할을 할 가능성이 더 높아 보입니다. 더욱이 개량된 인간과 AGI는 때로는 동의하고 때로는 동의하지 않을 것이며, 미래의 정치는 지금처럼 엉망이 될 가능성이 있다고 생각합니다.” – 닐
“인간의 지능을 향상시킬 가능성이 있습니다. 그러나 우리 사회는 그것들을 추구하는 것이 아니라 AI 역량을 추구하고 있다. 정확한 이유는 모르겠지만 인력의 상당 부분을 중복으로 만들어 즉각적인 단기 이익을 얻을 수 있다는 전망이 동기 부여 요인이 될 수 있습니다. (훈련을 넘어, 기존 교육 기관과 함께) 인간 지능을 향상시키기 위한 상응하는 동기가 없는 것 같습니다.” – 조셉
“이것은 성숙한 AGI를 지속적으로 제어하기 위해 제가 선호하는(그리고 희망하는) 접근 방식입니다. 이것은 사회심리학을 포함한 여러 기준에서 최고의 AI 개발자를 선택하고 이를 이식하거나 BCI(Brain-Computer-Interfaces)를 부착함으로써 수행될 수 있습니다. 따라서 그들은 초기 트랜스휴먼이 될 것입니다. 그러한 트랜스휴먼 거버너는 성숙한 AGI로 지능을 확장하고 점점 더 많은 두뇌 기능을 융합합니다. 그들은 서로 무선으로 연결되어야 하고 다수결로 결정을 내려야 할 것입니다. 몇 년 안에 그들은 인간보다 훨씬 더 똑똑해져서 AGI를 제어하는 주요 작업 외부에서 어려운 문제를 분류하는 데 도움을 줄 것입니다. 그것은 또한 Mind Uploading이 가능한지, 인간이 디지털 종(Posthumans)으로 진화할 수 있는지를 테스트하는 가장 안전한 방법이 될 것입니다.
"이 모든 아이디어는 AGI(어떤 정의를 사용하든)보다 훨씬 무서운 것 같습니다." – Vid
"인간이 할 수 있는 일을 더 큰 규모로 수행하기 위해 합성 유기 뉴런을 포함하는 모듈을 통합하는 컴퓨터를 개발할 가능성이 훨씬 더 높습니다." – 윌리엄 마샬
(17) AI가 AI를 제어하거나 정렬하는 방법을 알려주나요?
AI가 개선됨에 따라 나중에 등장할 더 강력한 AI를 제어 및/또는 정렬하는 문제에 대한 포괄적인 솔루션을 인류에게 제공할 수 있다는 제안의 강점과 약점은 무엇입니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
논의
이는 좁은 AI가 일반 AI를 제어하거나 정렬하는 데 중요한 역할을 할 수 있는 보다 일반적인 패턴에 적합합니다. 그러나 이전 질문에서 언급했듯이 인간이 AI가 제공하는 의견을 너무 많이 신뢰하는 데는 위험이 있습니다. 그렇기 때문에 AI 신뢰의 잠재적 계층 구조가 특히 중요할 수 있습니다.
그 모델에서 우리 인간은 자신의 조언을 신뢰할 수 있을 만큼 일부 협소한 AI를 잘 이해할 것이고, 차례로 이러한 협소한 AI는 그들의 조언을 신뢰할 수 있을 만큼 충분히 더 일반적인 AI를 잘 이해할 것입니다. (이 접근 방식이 실현 가능한 경우 해당 계층 구조까지 AI 설계에 약간의 제약이 필요할 수 있습니다.)
Roman Yampolskiy가 강조한 것처럼 다양한 이론적 결과(Godel의 정리 및 정지 문제와 관련됨)는 다양한 복잡한 알고리즘의 결과가 어떻게 될지 미리 알 수 있는 방법이 없음을 의미합니다. 그럼에도 불구하고 알고리즘의 출력을 검토할 수 있게 되면 알고리즘의 출력을 독립적으로 검증할 가능성이 열려 있습니다.
설문조사 참여자들이 선택한 댓글
"예: AI는 실제로 인간이 스스로 결론을 내릴 수 없는 다른 문제에 대한 통찰력을 제공할 수 있을 것입니다." – 크리스 글레드힐
"여기에는 몇 가지 약속이 있습니다. 예를 들어 일반적으로 증명을 구성하는 것보다 검증하는 것이 더 쉽고, 더 강력한 AI가 약하지만 더 잘 이해하는 사람이 검증하는 것이 유익한 이유에 대한 증거를 제공하는 방식으로 시스템을 구축할 수 있습니다. 일체 포함." – 크리스티안 프리드
"앞으로 AI 도구를 사용하고 숙고하는 인간은 불가피하게 AGI 위험을 이해하고 해결하는 데 지금보다 더 정교해질 것입니다." – 아논
"이것은 매우 그럴듯해 보입니다. AI는 거대하지만 논리적인 문제를 해결하는 데 매우 효율적입니다. 모든 고급 AI 개발은 이미 AI를 사용하고 있으며 이는 AI의 확장에 불과합니다.” – 영상
"아마도. 그냥, 아마도. 여기에 많은 노력을 기울일 가치가 있습니다.” – 아논
“이것은 앞으로 나아가는 길이어야 하지만 우리가 다른 인간의 마음을 알 수 있는 것보다 더 이상 AI '마음'을 알 수 없기 때문에 불확실성으로 가득 차 있습니다. 이 경우 그들이 우리에게 자신의 능력을 숨길 수 있는 한 우리는 그들을 덜 알 수 있습니다.” – 팀 펜드리
“강점은 더 유능한 AI가 우리가 할 수 없는 솔루션을 제시할 수 있다는 것입니다. 이 접근 방식의 약점은 우리가 AI를 신뢰할 수 있고 우리에게 알려지지 않은 목표를 달성하기 위해 우리에게 거짓말을 하지 않는다는 것을 어떻게 알 수 있습니까?” – 브라이언 헌터
"그것은 분쟁 지역에 대한 이해 관계의 수를 훨씬 더 크게 만들고 전투를 훨씬 더 위험하게 만들거나 그러한 문제에 대한 귀하의 입장에 따라 흥미로워집니다." – 제니나 바스
“포괄성은 환상입니다. 최대한 포괄적인 정렬을 시도해야 하지만 AI/AGI를 지원하더라도 우리가 생각하지 못한 예외가 있을 것이라고 예상합니다.” – 닐
“철학적 이유로 근본적으로 파멸했습니다. 최선의 시나리오는 AI의 도덕성에 대한 의견과 일치하도록 인류가 변경되는 것이 "그렇게 나쁘지" 않을 수 있다는 것입니다. 인류는 이 문제에 대해 발언권이 없습니다. 덜 낙관적인 시나리오가 뒤따를 수 있으며 인류도 발언권이 없습니다.” – 조셉
“정렬이 좋은 경우가 필요합니다. 그것은 당신이 인생의 목적이라고 생각하는 것에 달려 있습니다. 인간은 우주에 대한 우리의 이해를 축하해야 합니다. AGI는 이를 확장할 수 있습니다.” – 테리 라비
(18) 유용한 휴리스틱 제약?
허용된 AI 시스템과 허용되지 않은(불법) AI 시스템 사이의 경계를 표시하기 위해 어떤 메트릭을 채택할 수 있습니까?
예를 들어 다음 중 하나 이상은 어떻습니까?
- 교육에 사용되는 FLOP 수의 제한
- 위험한 성향의 섭취를 피하기 위해 사용되는 훈련 데이터에 대한 제약
그러나 새로운 AI 아키텍처(예: 희소 네트워크 또는 변환기 대안을 사용하는 자체 감독 교육)가 이러한 제약을 여전히 준수하면서 더 유능한 AI를 생성할 수 있다는 점을 감안할 때 그러한 제약의 실제 가치는 무엇입니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
논의
단계적으로 진행하는 것이 합리적입니다. 휴리스틱 제약의 초기 세트가 소프트웨어의 영리한 변경으로 해결되는 경우에도 이러한 제약을 채택하면 보다 포괄적인 기본 원칙 세트를 해결하는 데 충분한 시간을 벌 수 있습니다.
설문조사 참여자들이 선택한 댓글
“정의는 더 쉬운 부분입니다. 모니터링 및 집행이 불가능할 수 있습니다.” – David Shumaker
“제1차 세계대전 이후 독일군에 대한 제약이 생각납니다. 어떻게 된 거죠?” – 더크 브루어
“그러한 제약에는 가치가 거의 없지만 정치인들은 어쨌든 그들이 무언가를 하고 있는 것처럼 보일 수 있도록 그들을 위해 갈 수 있습니다. 설상가상으로, 그들이 실제로 이해하지 못하는 정책의 의도하지 않은 결과 때문에 실제로 해로운 일을 할 수 있는 사람들을 얻게 될 것입니다.” – 제니나 바스
“요즘 탈중앙화 컴퓨팅이 얼마나 되는지를 감안할 때 규제는 규제를 허용하는 사람들에게만 해당될 것입니다. 이것은 제한이 모든 사람에게 적용되지 않는다는 것을 의미하며, 이는 적용되지 않는다는 것을 의미합니다.” – 영상
“어느 쪽도 강력한 통제 노력을 기울일 가치가 있을 만큼 충분히 강한 제약은 아닌 것 같습니다. 가능한 한 투명성이 더 유용할 수 있습니다.” – 아논
“둘 다 실행 가능하거나 오래 지속되거나 충분히 유용해 보이지 않습니다. 나는 낮은 수준에서 더 큰 미세 조정으로 매우 높은 수준에서 합의된 보다 일반적인 핵심 가치를 선호합니다.” – 닐
“저는 그러한 경계를 설정하는 것이 가능하지 않다고 생각합니다. 만약 만든다면 유용할 것입니다. AI에 자가 학습 기능과 목표 설정이 있는 한 이러한 제약은 거의 가치가 없을 수 있습니다.” – 토니 차네키
“핵심 문제를 다루는 것보다 더 효율적인 시스템을 위한 드라이브를 생성한다고 생각합니다. 우리에게 시간을 좀 벌 수는 있지만 많이는 아닙니다.” – 브라이언 헌터
(19) 오픈 소스 및/또는 블록체인의 역할?
AGI의 거버넌스가 오픈 소스 및 블록체인과 같은 탈중앙화 기술을 채택함으로써 크게 개선될 수 있다는 주장의 강점과 약점은 무엇입니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
설문조사 참여자들이 선택한 댓글
“분권화와 오픈 소스는 사람들이 기술을 더 잘 제어하고 진보를 허용하며 독점 및 대기업 통제를 피할 수 있도록 하는 것으로 입증되었습니다.” – 아논
“블록체인은 일반적으로 일반적으로 관련 없는 문제를 찾는 솔루션입니다. 현재 AI 시스템의 오픈 소스 애플리케이션은 배포를 가속화할 것입니다.” – 조셉
“블록체인, defi 및 web3는 AI 분야에서 완전한 적청어라고 생각합니다. 크로스오버가 거의 없으며 앞으로 10년 안에 블록체인은 없을 것으로 예상합니다.” – Chris Gledhill
“AGI 거버넌스는 아키텍처 문제보다 훨씬 더 철학적이고 정치적인 문제입니다. 분산형 아키텍처의 부스터는 중앙 집중식 아키텍처보다 본질적으로 항상 더 인간적이고 민주적이라고 오랫동안 주장해 왔으며 이것이 순진한 환상이라는 것은 역사가 오랫동안 입증했습니다.” – 아논
“어떻게 확실하지 않습니다. 투명성은 좋지만 수십억 개의 적합 매개변수가 있는 최신 LLM을 사용하십시오. 모델 가중치를 소스로 공개할 수도 있지만 시스템은 블랙박스로 남아 있습니다. 따라서 투명성은 오픈 소스나 블록체인이 도움이 될 수 있지만 그러한 모델의 실제 동작을 훨씬 더 투명하게 만들지는 못할 것입니다.” – 영상
"설마. 오픈 소스는 소프트웨어가 정확하고(버그가 없음) 명백한 백도어가 없는지 확인하는 데 효과적일 수 있지만 강력한 AI를 생성하는 '비밀 소스'는 다음 조합에 있습니다. *) 많은 양의 데이터에 대한 액세스
*
) 컴퓨팅 양
*) 트릭 백.
소프트웨어를 오픈 소싱(속임수 공개)하면 다른 두 시스템의 비용이 낮아지기 때문에 다른 행위자가 자신의 시스템을 만드는 데 도움이 될 뿐입니다. 정렬 문제는 교육 및 추론에 사용되는 소프트웨어에서 발생하지 않습니다.” – 크리스티안 프리드
(20) 기타 중복 중단?
AGI의 개발과 거의 동일한 기간에 발생하는 다른 혼란은 AGI로의 전환을 통제하려는 시도를 탈선시킬 수 있는 믿을만한 잠재력을 가지고 있습니까? 이러한 다양한 병렬 중단을 어떻게 관리해야 합니까?
예를 들면 다음과 같습니다.
- 대규모로 실행 가능한 양자 컴퓨팅
- 기술실업으로 촉발된 포퓰리즘 반란
- 지정학의 더 큰 역기능
- 군사 무기고 관리에 AI 채택 확대
- 대규모 이주, 전염병 또는 지역 전쟁과 같은 다른 비존재적 위험에서 발생하는 위협
- 다양한 AI 시스템에 '인권'에 가까운 다양한 '권리'를 부여하자는 움직임
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
설문조사 참여자들이 선택한 댓글
“이 모든 것, 그리고 아마도 더 많을 것입니다. 우리는 또한 전 세계 에너지 사용에 대한 AI의 확산에 미치는 영향에 대해 궁금해할 수 있습니다. 에너지 생성의 '충돌'은 그 자체로 영향을 미칠 것입니다.” – 팀 펜드리
“위의 모든 것, 그리고 일부. 중기 위험의 대부분은 AGI가 가속화되고 다른 문제가 악화되기 때문이라고 생각합니다. 정말 엉망진창이 될 수 있습니다.” – 아논
"나노 로봇 공학" – Natasha Vita-More
"AI(AGI가 아님)의 가장 큰 즉각적인 위협은 인력 이동에서 오는 것이 아니라 맞춤형 선전 및 잘못된 정보 확산에 잠재적으로 사용되어 현재의 정치 기구와 비공식적인 사회적 결속을 더욱 무너뜨리는 것입니다." – 크리스티안 프리드
"AGI로의 전환을 관리하는 것은 정치적 과정이므로 포퓰리즘 반란과 정치적 기능 장애가 가장 큰 위험입니다." – 윌리엄 마샬
"가장 큰 위험은 대규모 글로벌 정치 불안입니다." - Dirk Bruere
“우리는 세계관이 다른 사람들이 AGI에 얼마나 반대하는지 과소평가하는 경향이 있습니다. 포퓰리즘 반란과 주요 반대는 강한 종교적 견해를 가진 사람들로부터 나올 수 있습니다.” – 아논
“가장 중요한 브레이크는 언제나처럼 인간입니다. 즉 소심함, 예방 원칙, 인간의 자신감 부족입니다. 가상의 사람이나 그룹의 상처를 피하기 위해 질문할 수 있는 질문이나 대답을 제한합니다.” – 테리 라비
“고령화 인구의 무게로 사회보장 피라미드(제도)가 무너지고 있다. 글로벌 부채 거품 / 대두되는 소포 계획 통과. 불평등. 마찰 및 구조적 실업. 지정학적 바이(또는 트라이) 극성 세계 이동(전쟁 및 전쟁 소문).” – 브론윈 윌리엄스
“우리는 사람들이 필수품을 가질 뿐만 아니라 만족스러운 삶을 살 수 있도록 해야 합니다. UBI도 그 중 하나가 될 것이라고 생각하지만, 성취감을 주는 사람이 선택하고 발전시키는 것을 원한다면 '일자리'도 될 것이라고 생각합니다. 일을 하면 UBI 이상의 추가 수입을 벌어야 합니다. 그러나 나는 또한 이 경로를 선택하는 사람들에게 향상의 가능성이 있어야 하며 향상된 사람들은 실제로 훨씬 더 높은 수입을 버는 더 높은 수준의 직업을 가질 수 있다고 생각합니다.” – 닐
“이러한 전 세계적 규모의 주요 과제와 더 많은 것(예제 목록에 없는 세계 최대의 과제인 기후 변화가 왜 AI 거버넌스를 복잡하게 만드는가?)은 그렇습니다. 그리고 그들 모두는 우리가 AI에 필요한 것과 같은 심오한 정치적 해결책을 요구합니다.” – 아논
“지정학은 큰 문제입니다. 우리는 현재 서로 또는 심지어 그들 자신과 전쟁 중인 국가들을 가지고 있습니다. 그것은 협력과 협업을 극도로 어렵게 만듭니다. 또한 국가들이 함께 모여 조건과 조약을 합의하는 데 오랜 시간이 걸립니다. AI 개발은 호환되는 일정대로 진행되지 않는 것 같습니다.” – 브라이언 헌터
(21) 단일 중앙 집중식 개발?
현재 AGI 솔루션을 개발하고 있는 모든 다른 그룹이 단 하나의 프로젝트로 조정되고 전 세계 정부 대표가 프로젝트 계획 및 운영을 정기적으로 검토해야 한다는 제안을 어떻게 평가하십니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
설문조사 참여자들이 선택한 댓글
“아니요, 우리는 더 많은 개발이 필요합니다. 천 송이의 꽃을 피워라!” – 호세 코르데이로
"그런 일은 없을 것이다. 너무 많은 돈이 관련되었습니다.” – 아논
“조율과 투명성은 친숙한 이유로 좋은 장점이 있습니다. 그러나 진정으로 단일한 프로젝트는 바람직하지도 가능하지도 않은 것 같습니다.” – 아논
"현재의 지정학적 경쟁과 불신, 그리고 통제 메커니즘과 '가치'에 대한 불일치를 고려할 때 일어날 가능성은 극히 낮습니다." – 팀 펜드리
"아무것도 하지 않는 것이 정부 전반에 걸쳐 합의된 견해이며 동시에 개발이 비밀 방위 프로젝트로 사라지는 상황에서 진행에 재앙적인 제동을 걸었습니다." – 테리 라비
“노우!!!! 나는 그것이 가장 위험한 아이디어라고 생각합니다. 그런 다음 우리는 하나의 조직에 의존하여 정확하게 올바르게 작업하고 우리 모두는 그들이 만드는 모든 것에 자비를 베풉니다. 그뿐만 아니라 권력을 쥐고 있는 정권을 만들고 나머지 우리는 그것에 대해 무력합니다. 우리는 이런 종류의 일이 충분하지 않았습니까? 민주주의는 지저분했지만 지구상의 삶을 개선하는 데 훨씬 더 나은 기록을 보여주었습니다.” – 닐
"그것은 헛된 꿈입니다. 게임처럼 균형이 안정적이지 않고, 배신할 동기가 너무 많습니다." - Bronwyn Williams
"IMF가 특정 경제에 얼마나 도움이 되지 않았는지 생각해 보십시오." – 제니나 바스
"매우 강력하게 민주적이어야 하고 권력이 더 이상 집중되지 않아야 합니다." – Josef
“낙타는 위원회에서 설계한 말이 무슨 말이야? 단일 개체 자체로는 훌륭한 솔루션을 제시하지 못할 것입니다(낙타에 대한 공격이 아님).” – 브라이언 헌터
“현실적이지도 바람직하지도 않은 것 같습니다. 기술적 문제를 해결하기 위해 일종의 능력주의적 기구를 갖는 것이 더 낫습니다. 정부가 모니터링할 수 있지만 정치인이 프로젝트 결정을 내릴 능력이 있습니까? ;)” – 아논
(22) 누가 시작합니까?
글로벌 거버넌스에 대한 합의의 출발점은 어떤 것이 성공할 가능성이 가장 높습니까?
답변 선택 :
- AGI에 관한 UN 협약의 초안 작성을 위한 실무 그룹을 구성하기 위한 UN 결의안을 제안한 국가
- EU와 같은 하나의 지리적 지역에서 시작하여 나중에 UN으로 확장
- 민간 부문 내에서 나오는 제안
- Global Partnership on AI와 같은 기존 국제 기구
- 다른 것(구체적으로 기재해 주십시오)?
설문조사 참여자들이 선택한 댓글
“동시에. 대중의 수요가 엄청나게 증가해야 합니다. 그렇게 되면 정치인들이 뒤따를 것”이라고 말했다. – 칼럼
“UN 접근 방식은 아마도 가장 포괄적일 것이지만 지역적 노력은 전 세계적인 고려를 위한 '모범 사례' 모델을 개발할 수 있습니다. 민간 부문은 필요한 최소한으로 규제함으로써 규제를 통제하려고 할 것입니다.” – 팀 펜드리
“합의가 가능한 지역 블록이 가장 실용적” – Bronwyn Williams
"한 곳에서 시작하되, 과학을 탄압한 비참한 기록을 가진 EU는 하지 마십시오." – 테리 라비
"UN이 전 세계적으로 주목할만한 어떤 것도 성취했다고 생각하지 않습니다. 이것은 초점을 맞추기에 잘못된 조직일 수 있습니다." – 조셉
“소련과 미국이 핵무기를 어느 정도 규제한 것처럼 미국과 중국은 두 AI 강국으로서 일련의 제약에 동의하면 효과가 있을 것입니다. 그러나 AI 거버넌스는 핵무기보다 시행하기가 훨씬 더 어려울 것입니다.” – 영상
“우리에게는 AI에 필요한 글로벌 거버넌스 도구가 없으며, 필요한 글로벌 거버넌스 도구가 부족하여 AI보다 중요한 몇 가지 문제가 있습니다. 일반적으로 저는 이러한 문제를 해결하기 위해 완전히 새로운 기관을 개발하는 것에 회의적이며 국제 기관이 목적에 맞게 효과적으로 개발될 수 있는지에 대해서도 회의적입니다. 우리는 '초국적' 제도적 시스템을 바라볼 필요가 있습니다.” – 아논
“모든 AI 자원의 2/3, 연구 개발이 미국에서 이루어지고 있으므로 이러한 글로벌 AI 개발 제어 프로그램은 미국에서 시작해야 합니다. 나는 최근 출판한 책에서 상호 연결된 5개의 글로벌 조직의 창설을 제안했습니다. 1.
GPAI(Global AI Partnership)를 전환하여 GAIRA(Global AI Regulation Authority). 사회에서 AI의 글로벌 사용을 규제하는 책임을 져야 합니다.
2. 컨소시엄으로서의 GAICA(Global AI Control Agency)는 처음에 미국에서 설립되었으며 점차 중국을 포함한 비미국 기업으로 확장됩니다.
3. 글로벌 AI 기업(GAICOM). 이것은 가장 진보된 AI 회사를 단일 조직으로 통합하는 합작 투자 회사가 될 것입니다. AI 개발이 수많은 기업에 분산되어 있으면 효과적인 제어가 불가능합니다.
4. GAICOM이 관리하고 AI 분야에서 중국의 노력과 일치하는 SUPROG(Superintelligence Development Program),
5. G7 그룹 또는 사실상의 세계 정부의 위임 하에 있는 GAIGA(Global AI Governance Agency). GAIGA는 AI 제품 및 서비스 사용 규제를 담당하는 GAIRA와 AI 개발 관리를 담당하는 GAICA 컨소시엄을 모두 감독하게 됩니다.
동시에 NATO, 유럽연합, 유럽정치공동체 또는 OECD 회원국을 포함하는 G7 그룹이 출범시킨 사실상의 세계정부가 매우 시급합니다. AI 개발 이니셔티브를 조정하는 것 외에도 주요 기능 중 하나는 글로벌 복지 국가를 만드는 것입니다. 여기에는 중대한 문명 전환으로 인한 문제를 완화하는 데 필요한 글로벌 부 재분배 기금의 설정도 포함됩니다. 우리가 경험하기 시작합니다.” – 토니 차네키
(23) 템플릿 거버넌스 모델?
AGI의 글로벌 거버넌스에 가장 적합한 템플릿은 무엇입니까?
답변 선택 :
- WTO(세계무역기구)
- IPCC(기후 변화 위험에 대한 글로벌 대응 조정)
- IEEE와 같은 산업 표준 및 기술 기구(ISTO)
- IAEA(국제 원자력 기구)
- FAA(Federal Aviation Administration)의 국제 버전
- 분산형 반자치 기관
- AGI 거버넌스의 다른 부분을 다른 기관에 배치
- 전 세계 정부 대표가 감독하는 단일 중앙 집중식 개발
- 다른 것(구체적으로 기재해 주십시오)?
논의
이러한 조직 중 다수는 AGI에 대한 접근 방식의 급변하는 특성을 관리하기에는 너무 정적인 것으로 보입니다. 또한 표준을 설정하는 것만으로는 이러한 표준이 준수된다는 보장을 제공하지 않습니다.
설문조사 참여자들이 선택한 댓글
"IAEA는 필요에 따라 조정할 수 있는 범위가 있는 초기 템플릿이 될 수 있습니다." – Anon
"FAA의 실적과 실용주의는 매우 인상적입니다." – Rusty Burridge
“아마도 IPCC가 우리가 가지고 있는 가장 가까운 템플릿일 것입니다. 하지만 실제로 듣지는 않는다는 점에 주목하고 싶습니다. 우리는 모든 권장 사항을 지나쳤습니다.” – 브라이언 헌터
“WTO는 주기적으로 증가할 가능성이 있는 신자유주의에 대한 세계적 저항에 대한 규제를 제기하기 때문에 현명하지 않습니다. AI를 기후 변화나 원자력과 같은 다른 문제와 혼동해서는 안 됩니다. '전문가 의견'을 위한 우수 센터가 되어야 하기 때문에 아마도 자체 집행 기관과 메커니즘이 필요할 것입니다.” – 팀 펜드리
“현재 (제도적) 도구 세트에서 시행 가능한 메커니즘을 볼 수 없습니다. 참신해야 할 것입니다.” – 영상
"나는 직접 민주주의 정부, 분산형 반자치 기관 및 능력주의 기구(아마도 단순한 자문)의 세 가지 요소가 있는 하이브리드 시스템을 선호하는 경향이 있습니다." – Anon
(24) 제약 내에서 경주?
이 질문에 대해, 소수의 국가 또는 조직에서만 관찰되는 AI의 특정 진전에 대한 절대적인 모라토리엄이 "불량" 국가 또는 조직이 해당 모라토리엄을 존중하지 않고 AI를 개발하도록 너무 많은 인센티브를 제공한다고 결정했다고 가정합니다. . 이 경우 가능한 한 많은 회사와 조직이 스스로 부과하는 "매우 바람직한" 원칙에 대한 합의가 여전히 있을 수 있습니까?
이 시나리오에서는 여전히 AGI의 생성 및 배치를 향한 경쟁이 있을 것이지만 이러한 "매우 바람직한" 원칙은 출현하는 AGI가 파괴적이기보다는 자비로울 가능성을 증가시킬 것입니다.
정답 선택 : 규제는 양사 아니면 안 된다 / 증분규제는 안 하는 것보다 낫다 / 불량배를 두려워할 필요가 없다 / 불명확하다
논의
여기서 아이디어는 누군가가 AGI를 개발하는 방법에 대한 다양한 제한 사항을 준수하도록 전 세계에 요청하지 않기로 결정하더라도 많은 질문이 남아 있다는 것입니다.
설문조사 참여자들이 선택한 댓글
"어려움에도 불구하고 아무것도 하지 않는 것은 선택 사항이 아닙니다." – 팀 펜드리
“우리는 무언가를 시도해야 하지만, 이 맥락에서 '악당' 독립체는 가장 크고 더 강력한 국가가 되는 경향이 있다는 점을 명심하십시오. 그래서 아니, 나는 그것이 실제로 잘되고 있다고 보지 않습니다.” – 영상
"중국은 글로벌 거버넌스에 크게 저항하고 있으며 AI 개발을 가능하게 할 것으로 기대할 수 있는 많은 역량을 보유하고 있습니다. 똑똑한 사람, 강력한 기관, 부, 기술 역량, 데이터 수집과 같은 것에 대한 무서운 결여 그리고 많은 사람들에게 큰 결과를 가져올 큰 내기를 합니다. 그들은 나머지 세계가 시도하는 것은 무엇이든 그들이 할 일을 할 것입니다.” – 아논
“악당 존재를 두려워할 필요가 없습니다. 현재 잠재적인 불량 단체(예: 중국)는 이 전선에서 훨씬 뒤처져 있으며 '빌려올' 공개 연구 및 개발이 적기 때문에 심각하게 속도가 느려질 것입니다.” – 크리스티안 프리드
(25) 가장 골치 아픈 질문은?
위의 질문 중 인류가 진정으로 유익한 미래에 도달할 수 있는 방법에 대해 가장 확신이 서지 않는 질문은 무엇입니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
설문조사 참여자들이 선택한 댓글
"해결책을 찾을 기회보다 두려움을 조장하는 인간의 감정." – 나타샤 비타-모어
“우리는 지금 우리가 원하는 것에 대한 합의가 없으며 다음에 원하는 것에 동의할 수 없습니다. 다음에 올 것은 명시된 우선 순위가 아닌 드러난 선호도에서 "나타날" 것입니다.” – 브론윈 윌리엄스
“특정 질문과 관련되지는 않았지만 AGI가 Bostrom의 '검은 공' 기술 중 하나가 되어 세상에 나오면 누구나 만들 수 있는 능력을 갖는 것과 거의 같은 방식으로 불가피하게 재앙으로 이어질 것이라는 우려가 있습니다. 집에 슈퍼 코로나 바이러스가있을 것입니다.” – 크리스티안 프리드
“저는 이 전체 설문지가 AI 개발을 통제할 수 있는 권한을 가진 사람들로 구성된 포괄적인 위원회를 설립하려는 편견에 대해 배우는 것 같다고 생각합니다. 나는 AI 자체보다 인간이 여기서 무엇을 하고 있는지가 더 걱정됩니다. Quis custodiet ipsos custodes? ” – 크리스 글레드힐
“Q20은 매우 골치아픈 일입니다. 우리는 가능한 모든 혼란을 생각할 수 없으며 기술 낙관론자들은 매우 다른 세계관을 가진 사람들의 반대를 과소평가합니다. 인류는 갈림길에 서 있으며, AGI 문제를 중심으로 다양한 정치적 분파가 형성될 수 있으며, 이는 인류의 문자 그대로 분열을 초래할 수 있습니다.” – Anon
"조정 문제를 해결하는 방법." – 조셉
“지능적이지 않은 통치자와 정부는 아마도 인류에게 가장 큰 위협일 것입니다. 우리는 자연 지능과 인공 지능 모두에서 더 많은(적지 않은) 지능이 필요합니다.” – 호세 코르데이로
“인공지능과 휴먼인터페이스의 융합에 관한 질문” – Anon
"글로벌 거버넌스 솔루션을 주장하는 모든 것." – 데이비드 슈메이커
"법률 대 오픈 소스를 다루는 질문입니다." – 러스티 버리지
"AI로 인한 정치적, 사회적 혼란" - William Marshall
"Q23, 우리가 이런 종류의 일을 얼마나 못하는지 일깨워주니까요." – 브라이언 헌터
“위의 거의 모든 질문은 동일한 문제의 얼굴을 반영합니다. 우리는 훌륭한 글로벌 거버넌스를 수행할 수 있는 능력이 부족할 뿐만 아니라 서투른 글로벌 거버넌스를 수행할 능력도 부족하고, 그들을 개발하십시오.” – 아논
"예방 원칙." – 테리 라비
“AGI 작업을 중단하거나 단일 개체만 허용하는 아이디어가 가장 두렵습니다. 또한 규정이 너무 강압적이 되는 것이 두렵습니다. 이러한 일이 발생하면 신흥 AGI는 훨씬 더 위험하고 덜 정렬됩니다. AGI에 대한 기술이 충분하지 않은 지금 개발하여 세상에 공개(과거 경험과 실험을 바탕으로 합리적인 안전성이 확보된 후)하여 결코 발생하지 않았을 안전성/정렬 문제를 볼 수 있도록 하는 것이 중요 출시되지 않은 경우 발견하고 점진적으로 극복하는 방법을 배웁니다. 엘리트뿐만 아니라 우리 모두가 이러한 진보로부터 혜택을 받을 수 있도록 하는 것도 중요합니다.” – 닐
“우리의 현재 경제 모델은 이 새로운 도구 세트를 수용하기 위해 업데이트되어야 합니다. 아무도 이에 대해 이야기하지 않습니다. 두 가지 질문에서 실직이 언급되었다는 사실은 특히 노동에서 자본으로의 부의 재분배가 어디에도 언급되지 않았기 때문에 이에 대해 매우 불안합니다. 이러한 '시장 규칙'에 의문을 제기하는 것은 이단에 가깝다는 패러다임에 여전히 갇혀 있기 때문에 이것이 사실이라고 생각합니다. 이것이 제가 가장 걱정하는 것입니다. 문제를 인정하지 않으면 완화하고 해결할 수 없으며, 문제는 AI가 아니라 초자본주의로의 동반 전환과 이로 인한 극심한 불평등입니다.” – 영상
“내가 가진 가장 골치 아픈 질문은 서구 세계가 스스로를 재창조하고 전 세계적으로 AI 개발을 제어할 수 있는 사실상의 세계 정부를 적시에 만들 수 있는지 여부입니다. 물론 그것은 중국이 그러한 세계 정부에 가입하지 않을 것이기 때문에 진정한 글로벌 통제가 아닐 것입니다. 따라서 서구에서 개발한 AI가 가장 앞선 것이어야 한다는 점도 중요하다. 그런 관점에서 5월에 제안한 AI 개발을 중단하는 것은 그리 좋은 생각이 아닌 것 같습니다.” – 토니 차네키
(26) 새로운 질문?
이 설문 조사에 아직 포함되지 않았지만 추가해야 할 추가 질문이 있습니까?
답변 선택 : 정해진 답변이 제공되지 않습니다. 응답자는 자신의 의견을 제공하도록 초대됩니다.
설문조사 참여자들이 선택한 댓글
"다른 주요 글로벌 위험과 비교하여 AI는 얼마나 중요합니까?" – 아논
“모든 기술에는 장단점이 있습니다. 지금까지의 질문은 매우 디스토피아적입니다. AI의 이점에 대한 균형이 필요합니다. 예를 들어 파괴력에만 초점을 맞춘 핵 논쟁이 있었다면 원자력 발전소는 없었을 것입니다.” – 크리스 글레드힐
“군용 AI가 민간인과 같은 제한을 받지 않을 것이라는 것은 자명한 것 같습니다. 군용 AI가 정의상 가장 위험하다는 점을 감안할 때 어떤 솔루션이 존재합니까?” – 더크 브루어
"BCI를 통해 인간의 뇌 기능과 AGI의 융합을 불가능하게 만드는 심리적 또는 생리적 장벽이 있습니까?" – 토니 차네키
"투명성과 흑인 프로그램의 상호 배타성" - David Shumaker
"AGI + 의지/운전/'의식'을 어떻게 정의할 수 있습니까?" – 브론윈 윌리엄스
“AI와 AGI의 차이점은 무엇입니까? 차이점을 분석하면 각 용어에 대한 잠재적인 오해의 소지가 있는 정의를 피할 수 있습니다. 이 설문 조사의 정의 부분으로 돌아갑니다. Ben Goertzel, Gary Marcus 등과 같은 AI/AGI 전문가의 내 지식에 동의하지 않은 David Deutsch의 비판이 현재 빠르게 진화하는 AI와 알려지지 않은 AGI에 대해 서로 반대 방향으로 가는 경향이 있는 것으로 보입니다. 이것은 LLM 또는 이와 유사한 AI 도구가 점점 더 많은 데이터, 매개변수 및 계산 리소스를 요구하도록 진화하는 반면 인간은 겸손한 계산 리소스(예: 에너지 효율성) 및 적은 데이터와 잘 어울리는 것처럼 보입니다. Possible Minds 에 대한 Deutsch의 기여 참조(ed. John Brockman)은 2019년에 발표되었지만 LLM이 공개적으로 폭발한 이후 더 최근에 반복되었습니다.” – 아논
"우리는 인위적으로 '미덕을 향상'할 수 있고 또 그래야 합니까?" – 러스티 버리지
"생산 측면뿐만 아니라 (국가 내에서, 국가 간) 컴퓨팅 파워에 대한 접근의 불평등에 대해 더 많이 물어보세요." – 영상
“역사의 이 시점에서 뜨거운 질문은 서구에서 서구에 의해 추진된 자유 시장 세계화가 실패한 후(2008년 이후) 세계의 다음 단계는 무엇인가입니다. 이것이 AGI의 등장 배경이다. 그렇다면 AGI는 인류 사회 진화의 다음 단계로의 전환에서 어떤 역할을 하게 될까요?” – 제니나 바스
이미지 크레딧
이 페이지 상단의 이미지는 Midjourney AI에 의해 생성되었습니다.
이 페이지 하단에 있는 이미지의 배경은 Pixabay 기여자 UlisesEkzMoreno가 만든 것이며 감사의 마음으로 사용됩니다.
