[1] https://www.documentcloud.org/documents/24220144-draft-unga-plenary-resolution-on-ai_20231211

[2] 2단계 RTD 참여자 목록은 부록을 참조하라.

 

권장 사항 요약

이 보고서는 인공 일반 지능(AGI)에 대한 잠재적 규정에 대해 결정을 내리고, 다른 사람에게 조언하고, 대중을 교육해야 하는 사람들을 대상으로 한다.

 

대략적으로 AI에는 좁은, 일반, 초의 세 가지 종류가 있다. 인공 좁은 지능(ANI)은 암 진단이나 자동차 운전과 같은 제한된 목적을 가진 도구부터 많은 질문에 답하고, 코드를 생성하고, 보고서를 요약하는 빠르게 발전하는 생성 AI에 이르기까지 다양하다.

 

인공 일반 지능(AGI)은 아직 존재하지 않지만 많은 AGI 전문가들은 3~5년 안에 존재할 수 있다고 믿는다. 학습하고, 코드를 편집하고, 자율적으로 행동하여 인간의 능력과 같거나 그 이상의 새로운 솔루션을 통해 많은 새로운 문제를 해결할 수 있는 범용 AI가 될 것이다. 예를 들어, 목표가 주어지면 데이터 소스를 쿼리하고, 사람에게 전화를 걸고, 자신의 코드를 다시 작성하여 목표를 달성하는 기능을 만들 수 있다. 인공 초지능(ASI)은 자체 목표를 설정하고 인간의 통제에서 독립적으로 행동하며, 인간의 이해를 넘어서는 방식으로 행동한다.

 

ASI가 어떻게 출현하고 행동하는지 직접 통제할 수는 없지만 AGI가 생성, 허가, 사용 및 관리되는 방식에 대한 국가 및 국제 규정을 만들 수 있다. ANI에서 AGI로의 전환을 관리하는 방법을 탐색할 수 있다. 그 전환을 얼마나 잘 관리하느냐에 따라 AGI에서 ASI로의 전환이 형성될 가능성이 크다. AGI에 대한 국가 및 국제 규정이 없다면 많은 정부와 기업의 많은 AGI가 지속적으로 자체 코드를 다시 작성하고 상호 작용하며 우리의 통제, 이해 및 인식을 벗어난 많은 새로운 형태의 인공 초지능을 탄생시킬 수 있다. 이것은 호킨스, 머스크, 게이츠가 경고했던 인간 문명의 종말로 이어질 수 있는 악몽이 될 것이다. 그 결과 정부, 기업, 유엔 기구, 학계가 전 세계적으로 모여 이 전환을 안전하게 안내하고 있다. 심지어 미국과 중국도 미래 AI 형태의 글로벌 관리에 대한 직접적인 논의에 참여하고 있다. AGI를 관리하는 것은 인류가 직면한 가장 복잡하고 어려운 관리 문제가 될 수 있지만, 잘 관리한다면 AGI는 의학, 교육, 장수, 지구 온난화 해소, 과학 발전, 보다 ​​평화로운 세상 창조 등 인간 생활에 큰 진전을 가져올 수 있다.

 

글로벌 거버넌스 모델

실시간 델파이 패널의 대부분은 AGI 거버넌스가 글로벌하고 국가적이어야 하며, 개발자와 사용자 모두를 위한 모든 거버넌스 요소에 여러 이해 관계자(기업, 학계, NGO 및 정부)가 참여해야 한다는 데 동의했다: 그러나 일부는 규제가 적은 분산형 시스템을 선호했다.

AGI의 글로벌 거버넌스에 대한 다음 제안된 모델은 실시간 델파이 참여자에 의해 효과성에 대해 평가되었다. 각 모델 뒤의 괄호 안의 백분율은 모델의 효과성을 매우 높음 또는 높음으로 평가한 참여자의 백분율이다.

 

1. 인공지능 시스템과 협력하는 다중 이해 관계자 기구(TransInstitution)는 각 ANI가 기능, 요구 사항(이 연구에 나열됨)을 구현하여 다중 이해 관계자 기구와 국가 AGI 거버넌스 기관(51%)의 인간에게 지속적으로 피드백한다.

2. 주요 기관이 UN AGI 기관이지만 일부 거버넌스 기능은 ITU, WTO, UNDP가 관리하는 다중 기관 모델이다. 이 모델은 매우 효과적 또는 효과적 등급(47%)의 47%를 받았다.

3. SingularityNet(45%)과 같은 많은 AI 조직 및 개발자의 상호 작용을 통해 아무도 소유하지 않는(아무도 인터넷을 소유하지 않는 것처럼) AGI의 분산된 출현.

4. 가장 강력한 AI 교육 칩과 AI 추론 칩을 모두 국제 감독 하에 있는 제한된 수의 컴퓨팅 센터에 넣고 해당 조약에 가입한 모든 국가에 대칭적 액세스 권한을 부여하는 조약(42%)을 체결한다.

5. UN AI 기관에 두 개의 부서를 만든다. 하나는 프런티어 모델을 포함하는 ANI를 위한 부서이고 다른 하나는 AGI만을 위한 부서이다(41%).

 

참가자들은 또한 대체 거버넌스 모델을 제공하도록 요청받았다. 제안 사항이 너무 풍부하고 광범위해서 여기서 요약하는 것은 부당할 것이다. 대신, 독자는 질문 12의 마지막 섹션에서 찾을 수 있다. 유엔 AGI 기관에 얼마나 많은 집행 권한이 가능하거나 바람직한 지에 대한 다양한 견해가 있었다.

 

일부는 유엔이 핵 확산, 지뢰 배치를 중단하지 않았고 온실 가스 감축에 대한 공약을 집행할 수 없었기 때문에 AGI 규제가 왜 효과가 있을까? 하지만 대부분은 규제되지 않은 AGI의 공통적인 실존적 위협을 인식했다; 따라서 감사 시스템을 갖춘 국가적 집행 및 허가 요구 사항과 함께 어떤 형태의 글로벌 거버넌스가 필요할 것이다.

 

다음 섹션에서는 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 만드는 데 고려해야 할 잠재적인 AGI 규정, 요소, 규칙 및/또는 특성을 나열한다.

 

개발자를 위해

• 국가 라이선스에 대한 UN 인증 이전에 AGI 개발자는 초기 감사의 일환으로 안전성과 인정된 가치와의 일치성을 입증해야 한다.

• 기계 교육에 사용되는 자료는 편견을 피하고 국가 라이선스 이전에 공유된 인간적 가치를 주입하기 위해 감사를 받아야 한다.

• AGI에 내장된 소프트웨어를 포함하여 AGI가 유틸리티 기능에서 예상하지 못한 예상치 못한 또는 바람직하지 않은 동작을 수행할 때 자체적으로 일시 중지하고 평가를 트리거하여 실패하거나 피해를 입힌 이유와 방법을 확인한다.

• AGI가 미리 정해진 절차 없이 자체 전원 스위치나 다른 AGI의 전원 스위치를 켜거나 끌 수 없도록 AGI를 만든다.

• AGI에 내장된 소프트웨어를 통해 AGI와 국가 거버넌스 시스템을 연결하여 지속적인 실시간 감사를 수행한다.

• 소프트웨어에 우리가 행동하는 방식과 우리가 행동해야 하는 방식을 구별하는 기능을 추가한다.

• 자체 복제를 위한 인간 감독과 재귀적 자기 개선을 위한 지침을 요구한다.

• 과거 데이터나 기록을 수정하는 기능을 방지한다.

• 아시모프의 로봇 공학 3가지 법칙을 존중한다.

• AGI가 출력을 AI로 식별하고 사람으로 식별하지 않도록 한다.

• AGI에 풍부한 자기 반성적이고 연민 어린 역량을 부여한다.

 

정부를 위해

• UN AI 협약을 준수한다.

• 위에 나열된 "개발자를 위한" 요소에 대한 독립적인 감사를 기반으로 AGI 라이선스 절차를 수립한다.

• 정부 기관을 UN 기관과 AGI의 지속적인 내부 감사 시스템에 연결하는 절차를 만들어 AI 시스템이 확립된 가치(예: UNESCO, OECD, Global Partnership on AI, ISO, IEEE) 및 국가 규정과 일치하는지 확인한다.

• 엄격한 보안, 방화벽, 안전한 인프라 및 인력 심사를 확인한다.

• 딥페이크 및 허위 정보의 생성 및 사용이 방지되는 방법을 정의하고 설명한다.

• 사용자에게 비행 기록 장치와 같이 AGI 사용 기록을 보관하도록 요구하여 의사 결정과 의사 결정에 포함된 요소를 재 생성할 수 있는 기능을 제공한다.

• AGI가 자율적으로 행동할 수 있는 시점에 대한 기준을 수립한다.

• 심각한 재범자의 칩 판매/배송 및 전기 사용을 규제/차단할 수 있는 기능을 만든다.

• AGI 출력에서 ​​조치가 요청된 이유, 관련 가정, 우선순위, 필요한 조건 및 제한 사항을 결정하는 능력.

• AGI에 대한 국가적 책임 법률을 만든다.

• 허가된 제3자가 예정되지 않은 검사 및 테스트를 수행하여 라이선스 요구 사항을 지속적으로 준수하는지 확인한다.

• AGI의 변화를 예상하고 적응할 수 있을 만큼 민첩해야 한다.

 

유엔을 위해

• UN AGI 기관을 설계할 때 NPT, CWC, BWC 검증 메커니즘에서 배운다.

• 경영진에는 공공 및 민간 부문의 AGI 전문가와 윤리학자가 포함되어야 한다.

• 위의 "정부용"에 나열된 국가 허가 절차를 인증한다.

• 회원국 및 기타 UN 기관에 조기 경고와 제안된 조치를 제공하는 인공지능의 잠재적 출현에 대한 주요 지표를 식별하고 모니터링한다.

• 다른 국가 및 기업의 AGI 간 상호 작용을 위한 프로토콜을 개발한다.

• 정부와 협력하여 심각한 재범자의 칩 판매/배송 및 전기 사용을 규제/차단할 수 있는 능력.

• 모든 인증된 AGI에 내장된 UN 거버넌스 소프트웨어 개발을 고려하고, 바이러스 백신 소프트웨어와 마찬가지로 지속적으로 업데이트한다.

• 정부 및 기업의 중앙집중식 AGI 시스템과 많은 개발자의 상호 작용에서 발생하는 분산형 AGI 시스템을 모두 거버넌스할 수 있는 능력.

• 코더/기업의 IP를 보호하면서 윤리를 검토하기 위해 AGI 코드에 무작위로 액세스할 수 있는 기능을 포함한다.

• 위험한 AGI 군비 경쟁과 정보전을 해결하고 억제한다.

 

• AGI의 변화를 예상하고 적응할 수 있을 만큼 민첩해야 한다.

 

사용자를 위해

• 결정과 결정에 포함된 요소를 재현할 수 있는 비행 기록 장치와 같은 AGI 사용 기록을 유지한다.

• 인간을 조종하기 위한 잠재의식적 또는 심리적 기술 사용 금지(체중 감량 프로그램과 같은 상호 동의가 있는 경우 제외).

• 개인의 상품화보다는 인간 개발을 강화한다.

• 허가 받지 않은 사람이나 기계에 의한 작동 또는 변경을 방지한다.

 

 

실시간 델파이 결과

 

다음은 두 그룹으로 구성된 연구 질문에 대한 응답의 요약이다. 첫 번째 질문 그룹(1-6)은 AGI 거버넌스 시스템을 만드는 데 고려해야 할 잠재적인 규정, 규칙 및/또는 특성을 다룬다. 두 번째 그룹(7-12)은 AGI의 잠재적인 글로벌 거버넌스 모델이다.

 

질문 1-6: 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 만드는 데 어떤 요인, 규칙 및/또는 특성을 고려해야 할까?

질문 1: 비군사적 AGI 시스템의 국가적 허가를 인증하기 위해 유엔 AGI 기관에 어떤 설계 개념을 포함해야 할까? 10 또는 9 중 가장 높은 퍼센트를 받은 순서대로; 예를 들어, 응답자의 70%가 첫 번째 항목을 10 또는 9로 평가했다.

…………………………………………………………………………………………………………………………………………………

70% 운영 규칙을 위반했을 때 AGI를 끌 수 있는 인간 및 자동 기능을 제공한다.

57% 잠재적인 AGI에 대한 UN 협약을 준수해야 한다.

56% AGI의 변화를 예상하고 적응할 수 있을 만큼 민첩하다.

49% AGI 거버넌스와 ANI(생성 AI 포함) 거버넌스를 명확하게 구분한다.

39% 국가 AGI 허가 절차(신뢰 라벨)

38% 운영 및 허가 규칙 준수를 지속적으로 모니터링하는 IPCC와 유사한 독립 시스템에 연결된다.

29% 지속적인 실시간 감사를 위해 AGI에 내장된 소프트웨어를 통해 모든 AGI 및 국가 거버넌스 시스템에 연결된다.

 

위 질문 1의 항목에 대한 설명 및 의견:

이러한 모든 기능은 기본이며 관리 시스템 및 알고리즘 설계에서 고려해야 한다. 이러한 기능을 모두 합치면 좋은 초기 사양이 된다. AGI를 지속적으로 감사하기 위한 내장된 ANI는 신중하게 검토해야 한다. 끄기 스위치도 마찬가지이다; AGI가 꺼지면 파괴적인 영향을 미칠 수 있다. 이러한 기능은 인적 오류로 인해 트리거되거나 공격 벡터로 사용될 수도 있다. 가능한 해결책은 AGI를 완전히 끄는 대신 다양한 AGI 모듈을 끄는 것이다.

 

이 모든 것이 필요하다. AGI에 내장된 ANI 소프트웨어를 통한 지속적인 감사는 AGI와 좁은 형태의 AI에 대한 고유한 요구 사항이다.

 

다양한 AGI 종류에 대해 서로 다른 규정을 고려해야 한다; 국가가 소유하고 운영하는 대형 기계, 대규모 조직, 군사 조직(전술 및 전략), 수십억 대의 미래 스마트폰.

AI가 어떻게 작동하는 지와 새로운 기능을 이해하기 전까지는 효과적으로 규제할 수 없다. AGI는 비밀리에 개발되어 인프라에서 작동할 수 있으며, 인간을 보호할 효과적인 방법이 없는 대규모 반인간적 결정이 발생할 가능성이 있다.

 

다음 6년 안에 특이점 사건이 발생할 확률은 90%이다. AI에 대한 유일한 한계는 물리 법칙의 한계와 (일부) 수학 원리일 것이다. AGI와 ASI는 인간이 이해할 수 없고 알 수 없으며 객관적으로 인간이 영향을 받거나 통제할 수 없는 목표를 스스로 만들어낼 것으로 예상할 수 있다.

인간이 이를 통제할 수 있는 유일한 가정적 시나리오는 AGI와 ASI가 작동하는 데 필요한 전자 장치가 파괴되는 역전 시나리오이다.

 

그러나 시간이 지나면서 디지털 컴퓨팅 인프라에서 생물학적 인프라(예: 인간의 뇌 또는 인간 뇌 네트워크)로 이전하는 데 성공하면 AGI/ASI가 이러한 시나리오를 예방할 수 있다. 이러한 시나리오에서 인간은 이러한 통제 옵션조차 잃게 된다.

인류에게 가장 가능성 있는 시나리오는 ASI와 그 존재를 합치는 것이라고 기대하는 것은 무리한 일이 아니다. 왜냐하면 이것이 양측 모두에게 상호 이익이 되는 유일한 선택이기 때문이다. 보리스 D. 그로즈다노프 [직원이 요약].

 

임베디드 소프트웨어를 통한 거버넌스는 의무적이기보다는 자발적이어야 하며, 법률과 조약을 무시하거나 우회하는 비준수적 악의적 행위자의 행동을 제한하는 데 거의 또는 전혀 도움이 되지 않기 때문이다.

 

국제 기구는 제한적인 성공을 거두었지만 대중에게 AGI와 잠재적 영향에 대해 교육하고, 명확한 라벨을 제공하고, 위반 시 AGI를 비활성화할 수 있다. 여기의 모든 내용은 장점이 있지만, 거버넌스는 무엇보다도 적용 시 투명해야 하며, 대중을 위험에 빠뜨릴 때만 진행을 방해하고, 시행 가능해야 한다. 준수 여부를 확인하기 위한 실시간 모니터링은 개별 전체주의 국가에서는 가능할 수 있지만, 민주주의 국가에서는 사용하기 매우 어렵다.

 

나는 공공 규제보다 사적 경쟁을 더 믿는다. 또한 규제 기관을 규제하는 사람은 누구일까?

유엔은 협력적이고 참여적인 글로벌 AI 거버넌스를 위한 유일한 실행 가능한 장소이다.

무역 블록과 군사 동맹은 상업 및 군사 연구에 대한 영향력을 확보하는 데 가장 효과적인 수준이다. 국가는 아니다. 산업은 어느 정도 무역 블록 규칙을 설정하고 부문별 접근 방식은 광범위한 준수에 영향을 미칠 가능성이 더 크다. 등록을 요구하면 비밀스러운 시스템으로 이어질 뿐이다.

 

오히려 가장 진보된 칩과 연구에 대한 조기 액세스와 같은 상당한 리소스는 자발적으로 모니터링을 받는 사람들에게 제공되어야 한다. 이를 통해 시스템이 어둠 속에서 성장하지 않고 알고리즘 또는 최적화 접근 방식이 고급 데이터 센터 또는 최첨단 칩에 대한 필요성을 줄이거나 제거하기 전에 조기 준수가 달성된다.

 

처음에 매우 제한적인 것은 좋은 접근 방식이므로 나중에 가능한 유연성에 대한 논의를 자극할 수 있다.

AGI 개발의 주요 동인, 지원자 및 제한자를 포착하고 사회에 미치는 AGI의 영향을 이해하고 관리하는 데 공통된 접근 방식을 제공하는 프레이밍 도구를 보고 싶다.

소셜 네트워크의 다양하고 창의적이며 독창적인 제안에 개방적이어야 한다.

실행 기관을 구현하는 데 도움이 되는 정보를 제공하는 IPCC와 같은 조직.

유엔은 모든 국가가 승인할 수 있도록 국가 모델을 기반으로 합의 모델을 수립할 수 있지만 유엔의 손에 너무 많은 거버넌스가 맡겨지면 AGI 주제가 정치화될 것이다.

AGI 규정은 가능한 한 제한을 유도하고 제한해야 한다.

규제하되 목을 조르지 말아야 한다.

 

 

질문 2: AGI 비군사 AGI 시스템에 대한 유엔 기관의 국가 허가 절차 인증에는 무엇이 포함되어야 할까?

…………………………………………………………………………………………………………………………………………………

59% 엄격한 보안, 방화벽, 안전한 인프라 및 인력 심사.

57% 유엔이 국가 라이선스를 인증하기 전에 AGI 개발자는 초기 감사의 일환으로 안전성을 증명해야 한다.

52% 딥페이크와 허위 정보의 생성 및 사용이 방지되는 방식을 보여준다.

50% 유네스코, OECD, AI에 대한 글로벌 파트너십, ISO, IEEE와 같은 합의된 국제 원칙, 가치, 표준과의 일치를 증명한다.

44% 사회적 가치와 우선순위에 맞게 AI 시스템이 개발되고 사용되도록 하는 지속적인 감사 시스템을 포함하는 국가 라이선스 절차를 인증한다.

40% AGI 행동에 대한 국가 책임법과 UN AGI 기관의 역할을 명확히 한다.

33% 사용자가 비행 기록기와 같이 AGI 사용 기록을 유지하도록 요구하여 의사 결정과 의사 결정에 포함된 요소를 재 생성할 수 있다.

 

위의 질문 2의 항목에 대한 설명 및 의견:

비행 기록 장치는 좋은 아이디어이다. 이 개념이 비행기에 사용되기 전에는 비행기 추락 원인을 파악하기가 훨씬 더 어려웠다. AGI의 경우 침입을 식별하고 승인된 한계를 벗어나 작동하는 이유를 파악하는 데 유용할 것이다.

사용자에게 기록을 보관하도록 요구하는 것은 개인 정보 침해에 대한 열린 문이다.

 

유엔 AI 기관에서 인증한 국가 허가 시스템의 일부로 AGI에 내장된 소프트웨어에 의한 지속적인 감사는 엔진의 지속적인 가버너가 제어 불능을 방지하는 것처럼 합리적으로 보인다.

초기 감사의 일부로 안전을 증명하는 것은 필수적이지만 현재로서는 "안전"이 너무 모호한다.

 

처음에는 자기 복제와 테러리스트에게 생물학 무기 설계에 대한 조언 및 준수에 대한 공식적인 증거 요구와 같이 분명히 용납할 수 없는 행동에 대한 "적색선"을 정의하는 것이 좋다.

AGI 안전 감사원의 역할이 핵심이다.

 

인증 표준은 새로운 기능을 배포하는 데 있어 기본적이고 필수적인 측면이다... 또는 그래야 한다. 나는 안전과 국제적 가치, 표준 등에 대한 일치에 높은 점수를 준다.

그러나 나는 지속적인 감사와 사회적 가치와 우선순위에 대한 일치에 평균적인 점수를 준다. 그것이 좋은 목표가 아니라는 것이 아니라, 그것은 좋은 목표이지만, 누가 지속적인 감사를 하는 것일까? 어떤 조직이 진정으로 공정한 판단을 내릴까?

마찬가지로 어떤 사용자가 AGI 사용에 대한 로그를 보관할 것이고, 어떤 조직이 이 모든 데이터를 수신할까?

 

이것들은 모두 매우 중요해 보이지만, 나는 높은 관료주의가 융통성 없는 상황으로 이어질까 봐 걱정한다. 나는 그것에 대해 무엇을 할 수 있을지 확신이 서지 않는다.

거버넌스 시스템에는 AGI를 만들고 사용하는 인간이 어떻게 책임을 져야 하는지에 대한 내용이 포함되어야 한다.

정렬의 "증명"이 무엇인지 보기는 어렵다. 우리는 인간과 인간의 상호작용에서 이를 확인할 메커니즘조차 가지고 있지 않다. 그렇다면 인간과 AGI의 경우에는 무엇이 될까? 또한 우리는 이미 동물 친척의 형태로 NGI(자연적 일반 지능)로 가득 찬 세상에 살고 있다는 것을 깨닫는 것도 중요하다.

 

AGI의 거버넌스를 논의하는 것은 의식이 우리와 다른 이미 존재하는 다른 존재를 어떻게 대하는지에 대한 암묵적 합의에 의문을 제기하는 것이다.

아마도 여기서의 유사점은 자연 지능과 ANI 사이에 있을 것이다. 그럼에도 불구하고 우리가 논의하는 구분은 하나는 "인공적"이고 다른 하나는 그렇지 않다는 단순한 근거에 근거하는 것이다. 다른 곳에서 언급한 이러한 이유와 다른 이유로, 여기서 논의되는 문제는 실제로 "AGI의 거버넌스"가 아니라 단순히 "거버넌스"에 관한 것이다.

 

보안과 딥페이크는 AGI에만 국한되지 않고 사이버 인프라와 AI 분야 전체의 기능에 가깝다. 정렬 증명은 보장하고 정량화 하기가 매우 어렵다. 국제 기관은 일반적으로 협업, 관계 및 주권 평등을 기반으로 가치와 기능을 도출한다. AGI는 이러한 원칙에 따라 기능과 정렬을 어떻게 가정할까요? 대신 안전, 포용 및 자율성의 원칙이 정렬되어야 한다.

 

라벨을 붙이는 것은 효과적이지만, 영화처럼 일부 산업에서 딥페이크를 사용하기 때문에 이를 막는 것이 아니라 라벨을 붙이는 것이 좋다.

어떤 라이선싱도 시행할 방법이 없다. 일부 특정 라이선싱(예: 웹사이트나 기업 포털을 통해 AI에 액세스)은 유효할 수 있다. 우리는 구현, 입법 또는 준수 여부를 판단하는 방법에 대한 지식이 없다.

 

내부 비행 기록기 스타일 로그는 좋은 생각이지만, AI가 일부 공공 장소에 배치되지 않는 한 시행은 거의 불가능할 것이다. 사전 예방이 거의 불가능하기 때문에 책임과 책임을 규정하는 법률이 존재하고 시행되어야 한다고 생각한다.

그러나 법률/정치적 제도에 의해 족쇄가 채워질까 두렵다.

결국, 관리 기관은 이로운 것보다 해로운 법률을 만드는 것에 대해 책임을 져야 하지 않을까? 그리고 입법자들은 입법되는 기술에 대한 지식과 존중심이 부족하다. 혁신, 창의성, 개발을 억제하지 않고 모니터링하고 감독한다.

 

유엔 기관이 주권 국가에서 규정을 집행할 가능성은 적다. 나는 강압적인 분위기보다는 신념, 설득, 인식 및 AGI의 바람직한 활용 문화 개발에 중점을 두는 것이 좋다고 제안한다.

유엔 안전보장이사회를 통해 병행 AI 군사 프로그램을 도입해야 한다. 양자 컴퓨팅은 현재 암호화를 쓸모없게 만들어 국가 전력망, 은행 및 필수 서비스를 완전히 취약하게 만들기 때문이다.

 

합의된 보안 시스템을 개발해야 한다. 이는 조약 수준에서 생성할 수 있다. 이는 개방적이고 선택 사항이지만 국제적 긴장, 부적절한 기술적 확대, 군비 경쟁 및 테러를 줄이는 데 전념해야 한다. 유엔 안전보장이사회가 AI와 사이버 공간 패러다임을 다루지 않으면 이 분야는 국제 관계에 해로운 요소가 될 가능성이 높으며 국가 이익이 분리되는 경향이 있다.

 

질문 3: 비군사 AGI 거버넌스 시스템에는 어떤 규칙이 포함되어야 할까?

…………………………………………………………………………………………………………………………………………………

74% AGI는 AI로 식별되어야 하며, 사람으로 식별되어서는 안 된다.

73% AGI는 허가 받지 않은 사람이나 기계가 작동하거나 변경하는 것을 허용해서는 안 된다.

68% 잠재의식적 또는 심리적 기술을 사용하여 인간을 조작하는 것을 금지한다.

66% 과거 데이터나 기록을 수정하는 것은 허용되지 않는다.

55% AGI가 유틸리티 기능에서 예상하지 못한 예상치 못한 또는 원치 않는 동작을 수행할 때 일시 중지하고 평가를 트리거하여 실패하거나 해를 입힌 이유와 방법을 파악하는 AGI에 내장된 감사 소프트웨어.

41% AGI 출력에서 ​​동작이 요청된 이유, 관련 가정, 우선순위, 필요한 조건 및 제한 사항을 판단하는 능력

 

29% 풍부한 자기 반성적이고 연민적인 역량을 갖추고 있어야 한다.

 

위의 질문 3에 대한 설명 및 의견:

AGI를 ANI와 다르게 명확하게 지정하는 것의 중요성을 강조한다. 인간의 조작을 방지하는 것이 바람직하지만, 그러한 사건이 다른 매체에도 존재하며 항상 부정적인 의도가 있는 것은 아니라는 점이 지적되었다(예를 들어, 건강한 행동을 장려하는 것은 조작의 한 형태로 볼 수 있음).

 

또한, 칼과 같은 다른 도구와는 근본적으로 구별되는데, 여기서 결과는 사용자와 의도에 따라 달라진다. AGI의 경우 행위자는 시스템 자체일 수 있으며, AGI 내에 연민과 자기 반성의 요소를 통합해야 할 필요성을 강조한다.

 

이 모든 요점은 매우 중요하다. 그러나 나는 "잠재의식 또는..." 사용 금지를 더 광범위하게 수정해야 한다고 생각한다. AGI 시스템이 어떤 형태로든 인간을 조작하도록 허용해서는 안 된다; 예를 들어, 인간의 행동을 안내할 자유나 선택을 제한하는 상황을 만드는 것이다. 자기 반성은 일반적으로 AI 시스템에서 더 높은 추론 능력을 위해 사용되지만 AI 시스템이 연민을 갖는 것은 불가능하지 않더라도 매우 어렵다. 연민은 문화와 가치 체계에 따라 달라진다. 한 인구통계학의 특정 가치는 다른 인구통계학보다 더 높은 수준으로 유지될 것이다. 따라서 연민을 정량화 할 수 있는 척도로 대체하는 것을 목표로 해야 한다고 생각한다. "연민"과 같은 언어를 사용하면 명확하고 정량화 할 수 있는 규칙, 데이터 및 기술로 학습하고 수행하는 이러한 시스템을 의인화한다. 정책, 지침 및 규정을 구성할 때는 항상 내러티브와 언어를 모호하지 않게 유지하도록 주의해야 한다.

 

 

나는 이 섹션 전체에 이전 두 섹션에 대한 점수보다 더 높은 점수를 주었다. 가이드라인/규칙이 매우 명확하고 AGI에 엄격하게 적용되기 때문이다.

AGI 자체에 제한을 두는 것이 더 현실적이고 사용자에게 더 즉각적인 확신을 제공할 가능성이 높다.

이러한 기능을 많이 포함할 수 있지만 선택 사항이며 합의된 기능으로 구성해야 한다. 확립된 AI 등급을 준수하지 않는 국가는 최적의 고려를 받지 못할 것이다.

적절한 검증 기술을 갖춘 국가는 시스템을 최대한 활용할 수 있다.

자기 반성적이고 연민적인 능력은 특전이자 책임이 될 수 있다.

조작과 속임수의 여지를 열어준다. 모두 구현 방법에 달려 있으며 실제로 자각하고 있다면 공감을 바라기 전에 자체 의지[의도]를 고려해야 한다.

심리적 요인을 포함하면 완전히 새로운 차원이 열린다. 잠재의식적으로 설득당하고 있는지 어떻게 알 수 있을까? 아마도 심리학이 모델을 학습하는 것을 금지해야 할 것이다.

AI가 인간을 조작하는 것을 절대 허용하지 말아야 한다.

잠재의식적 심리학 기법은 이미 광고, 영화, TV, 인쇄, 소셜 미디어 등에 사용되고 있다. 둘 중 하나가 다른 하나를 없앨까?

 

소프트웨어는 오픈 코드여야 한다.

AGI 출력을 인간이 아닌 인공으로 식별할 수 있는 것이 매우 중요하다.

인간과 AI 행위자를 구별하는 새로운 기술이 필요하며, 교육 개혁이 필요하다.

이러한 제안의 배후에 있는 근거 없는 가정의 범위는 숨 막힐 정도이다. 조작을 경계해야 한다는 데 동의하지만, 증명 가능한 AGI는 환상처럼 보인다. 가정하는 패러다임은 인지주의/표현주의이며, Varella et al 은 이를 강력하게 비판했다. 인지의 실행주의 모델이 AGI의 현실에 더 충실하다면 감사 소프트웨어는 자연적이든 인공적이든 마음 *내부*에 있는 특정 아이디어가 정확히 무엇을 의미하는지 *외부에서* 평가할 수 없기 때문에 의미가 없는 개념이다. 평가가 가능한 유일한 장소는 생각과 외부 세계 사이의 인터페이스, 즉 행동이다. 따라서 AGI의 행동을 모니터링하고 의문을 제기할 수 있으며 실행주의 모델에서는 자기생성 AGI의 가치가 무엇인지 매우 확실하게 알 수 있다; 하지만 맥락을 벗어나 내부 상태를 평가할 방법은 없다.

AGI 시스템은 인간 중심적으로 설계되어야 한다. 인간-기계 상호작용을 어느 정도 제어할 수 있는 메커니즘을 제공해야 한다. 각 항목은 자기 반성, 자기 참조 등을 고려한 긴 논의가 필요하다.

 

여러 수준의 자기 반성은 즉시 권력 유혹으로 이어질 것이다. 그것은 인간 본성과 권력 감각과 관련이 있다.

모든 것은 한 가지 질문으로 축소될 수 있다. 왜 우리는 스스로에게 한계를 부과해야 할까? 특히 강대국의 정부에게는 어려울 것이다.

AGI를 끄는 것은 신중하게 고려해야 한다. 실행을 일시 중지하면 바람직하지 않은, 심지어 파괴적인 효과가 있을 수 있기 때문이다.

 

질문 4: 유엔 AGI 기관이 비군사 AGI 시스템의 국가적 허가를 인증하기 위해 어떤 추가 설계 개념을 포함해야 할까?

…………………………………………………………………………………………………………………………………………………

66% 위험한 AGI 군비 경쟁을 해결하고 억제할 수 있는 능력.

60% 관리에는 공공 및 민간 부문의 AGI 전문가와 윤리학자가 포함되어야 한다.

47% 정부와 기업의 중앙집중식 AGI 시스템과 많은 개발자의 상호 작용에서 나오는 분산형 AGI 시스템을 모두 관리할 수 있는 능력.

39% 다른 국가와 기업의 AGI 상호 작용을 위한 프로토콜을 개발한다.

38% 심각한 재범자의 칩 판매/배송 및 전기 사용을 규제/차단할 수 있는 능력.

33% 모든 AGI에 UN 거버넌스 소프트웨어를 내장하고 바이러스 백신 소프트웨어와 마찬가지로 지속적으로 업데이트한다.

28% UN AGI 기관을 설계할 때 NPT, CWC 및 BWC 검증 메커니즘에서 배운다.

 

위의 질문 4에 대한 설명 및 의견:

AGI 개발자가 국가 라이선스에 대한 UN 인증을 받기 전에 초기 감사의 일환으로 안전성을 입증해야 한다는 요구 사항은 AGI를 구축하는 데 사용할 수 있는 모든 기술(예: 양자 컴퓨팅)로 확대되어야 한다.

인공지능을 기반으로 한 군비 경쟁의 적용을 피하기 위한 컴퓨터 보안 정책을 수립하는 것은 세계적 대립을 예방하는 데 필수적이다.

 

UN 거버넌스 기관은 선언적이어야 하며 국가의 선의에 따라야 하지만 집행권은 없어야 한다. 비군사적 AGI 시스템에 대한 국가 라이선스를 부여하고 "군비 경쟁"을 예방한다는 개념은 모순되는 듯하다.

우리는 모든 것과 마찬가지로 여러 측면이 있다는 것을 기억해야 한다. 칩을 규제하면 암시장 산업이 활성화되고 거버넌스 소프트웨어를 내장하면 혁신이 억제되고 신생 기업에 효과가 느리게 나타날 수 있으며 현재 소프트웨어 규제 기관에서 보고 있는 주요 문제가 포함될 수 있으며 아마도 SDG 달성 능력을 상당히 감소시킬 수 있다. 나는 Amazon Web Services와 같은 AGI를 억제하고 AGI를 위한 다자간 기구를 포함하는 의정서를 꽤 좋아한다. 이는 유엔이 현재 하고 있는 일과 매우 유사하다.

 

칩 판매와 재범자의 전기를 규제하고 가로채는 일은 유엔이 할 수 없는 일이다. 유엔이 공급망이나 전력을 통제할 수 있다 하더라도 현재 헌장에 포함되지 않으며 국제 경찰 권한을 크게 확대해야 한다.

나는 거버넌스 소프트웨어라는 아이디어를 좋아하고 현실적으로 이룰 수 없다고 생각해서 7점만 주었다. 나는 학제 간 참여자를 포함하고 싶다.

중앙집중식 및 분산식 AGI 시스템을 관리하는 것은 확장이 불가능한 또 다른 아이디어이다. 마지막 두 가지 조치는 매우 합리적이며 AGI 상호 작용이 발생하는 방식의 매개변수는 제도화하거나 법으로 제정하기 어려울 것이다. 이러한 조치 중 일부는 대중을 보호하기보다는 정보를 제공하는 범주에 속할 수 있다.

 

 

민간 기관은 군 기관의 AGI 확산을 어떻게 통제할까? AGI 군비 경쟁에서 누가 이길까? 기계이다.

나는 AI 전문가, 철학자, 윤리학자, 행동 과학자, 인류학자 등을 포함한 해당 분야의 전문가로 구성된 모든 정부에서 인정하는 독립적인 기관을 갖는 것이 더 낫다고 생각한다.

효과적인 안전 기능은 참여 국가와 학술 기관에서 공동으로 설계해야 한다.

의견이 일치하지 않는 경우 중재는 참여 기관과 개발 기관으로 구성된 관리 기관의 합의를 통해 이루어져야 한다.

 

나는 범죄자를 감지할 수 있는 것의 가치를 알지만 AI가 이에 따라 행동할 수 있도록 하는 것은 아시모프의 로봇 공학 기본 법칙을 위반한다. 또한 너무 강력해서 통제 불능이 되더라도 종료할 수 없게 된다.

다단계 계층적 통제 시스템에서 시장 힘을 어떻게 통제하고 규제할 수 있을까? AGI 시스템을 통제 시장에 어떻게 적용할 수 있을까?

공공 및 민간 부문 전문가와 윤리학자는 국제 규정을 만드는 초기 단계에 포함되어야 한다.

컴퓨팅 장비의 개인 소유가 가능하다면 이 중 어느 것도 강제할 수 없다.

ISO 27000 컴퓨터 보안 표준을 포함하는 것이 중요하다.

 

 

질문 5: AGI 비군사 AGI 시스템에 대한 유엔 기관의 국가 허가 절차 인증에는 무엇이 포함되어야 할까?

…………………………………………………………………………………………………………………………………………………

75% AGI는 인간이 제어하는 ​​끄기 스위치나 다른 AGI의 끄기 스위치를 끌 수 없으며, 인간의 개입을 막을 수 없다.

65% 규칙이나 보호책을 위반할 경우 자동 종료 기능 증명

60% AGI에서 출력이 생성되었음을 명시해야 한다.

52% AGI가 자율적인 작업을 수행할 수 있는지 또는 AGI가 먼저 인간에게 확인해야 하는지 여부를 결정하는 데 사용할 수 있는 기준을 포함한다.

49% 기계 교육에 사용되는 자료는 편견을 피하고 국가적 허가 전에 공유된 인간적 가치를 심어주기 위해 감사를 받아야 한다.

47% 허가 조건을 계속 준수하는지 확인하기 위해 승인된 제3자가 예정되지 않은 검사 및 테스트를 실시한다.

40% 코더/기업의 IP를 보호하면서 윤리를 검토하기 위해 UN AGI 기관이 AGI 코드에 무작위로 액세스할 수 있도록 허용한다.

 

위의 질문 5에 대한 설명 및 의견:

UN AGI 기관이 AGI 코드에 무작위로 접근할 수 있도록 허용하는 것은 도움이 될 수 있지만 일부 국가에서는 수용하기 어려울 수 있다. 국가 기관이 AGI 코드에 접근할 수 있도록 요구하는 것과 UN 기관에 대한 보고 요건을 더하는 것이 더 나을 수 있다. 그리고 UN 기관이 필요할 때 국가 기관을 지원하는가?

 

나는 편견에 대한 감사가 훌륭한 목표라고 생각하지만 비현실적이다. 전문가마다 수치는 다르지만 약 150개 이상의 인지적 편견이 확인되었다. 감사는 우리가 콘텐츠에서 편견을 보고, 어떤 자료가 해로운지 판단하고, 편견 속성에 대해 합의한 것보다 더 정확함을 시사한다.

 

나는 AGI 출력을 식별하는 것이 정보에 입각한 사용자와 의사 결정에 필수적이라고 생각한다. 자율적 의사 결정 대 인간 의사 결정에 대한 기준과 관련하여, 설문 조사에서 AGI가 판단을 내려야 하는 많은 항목과 마찬가지로, 이 기준은 훌륭하지만 발생할 수 있는 모든 우발 상황에 대해 대규모로 적용하기는 거의 불가능하다고 생각한다. 나머지 항목은 모두 책임 있는 AGI 개발을 위한 타당한 개념이며, 마지막 두 항목은 8점만 받았다. 왜냐하면 나는 UN이 이를 구현할 수 있다는 점에 대한 우려가 있기 때문이다.

 

인공지능 시스템의 무작위 검토에 관한 최신 제안은 중요한데, 특히 국방 분야와 관련된 인공지능 시스템의 경우에는 더욱 그렇다.

 

나는 "예정되지 않은 검사..."와 "기계에 사용된 재료..."를 제외한 대부분의 요점에 확실히 동의한다. AGI 시스템을 개발하는 사립 기관은 경쟁 우위를 유지하고 싶어할 것이다.

모든 교육 데이터를 공개하면(비밀로 공개하더라도) 회사가 편안하지 않을 보안 허점이 생길 수 있다. 둘째, 수조 개의 토큰일 수 있는 교육 데이터 세트를 감사하는 것은 거의 불가능할 것이다. 셋째, 문화의 가치 체계는 지역, 그룹 등에 따라 다르다는 것을 이해해야 한다. 나는 예정되지 않은 검사는 AGI 시스템의 출력이 준수되는지 확인하기 위해 수정되어야 한다고 생각한다.

 

물리적 또는 관리적 설계가 무엇이든, 인간 시스템 운영자와 그 가족은 범죄자들이 시스템 목표나 산출물을 강압, 뇌물 또는 영향을 미치려는 시도로부터 보호받아야 한다. 따라서 직원에 대한 보상은 국제 범죄의 도구로서 뇌물을 근절하기에 충분히 높아야 하며, 직위 유지가 보장되어야 한다.

이 모든 제안은 매우 흥미롭지만, 매우 강력한 제도적 사고에 기반을 두고 있다.

AGI 규제 기관은 지구상 모든 계층의 사회에 스며든 문화적 편견에서 벗어나야 한다. AGI 규제 기관이 공정하고 공평할 것이라고 누가 장담할 수 있겠는가?

 

교육 자료를 감사하려면 비현실적인 시간이 필요하고, 다른 사람들이 말했듯이 공정한 규제 기관을 갖는 것도 어려울 것이다. 그러나 우리는 몇 가지 가치에 동의하고 이를 시행해야 한다. AGI 입력은 인식 가능해야 하며, AGI는 항상 인간의 통제 하에 있어야 한다. 이러한 운영자의 선택은 엄격해야 하며, 그들의 윤리는 높이 평가되어야 한다. 보상은 그들의 책임에 비례해야 한다.

 

 

 

AI 프로세스는 기술적인 것일 뿐만 아니라 문화적, 사회적인 것이다. 간단한 보호 조치(예: 시스템을 오용하지 않는 것)만으로도 충분할 것이다. 사용자는 시스템이 예상 표준과 합의된 인식을 준수하여 사용되도록 조치할 것이다. 소프트웨어 및 이와 유사한 기능에 대한 과도한 강조는 도매적 구현을 ​​제한하고 장벽으로 작용할 가능성이 높다.

 

 AI는 사용해야 하지만 AI가 인간을 사용하거나 제어하거나 조작하도록 허용해서는 안 된다.

 

질문 6: 비군사 AGI 거버넌스 시스템에는 어떤 추가 규칙이 포함되어야 할까?

…………………………………………………………………………………………………………………………………………………

66% AGI는 자신의 전원 스위치나 다른 AGI의 전원 스위치를 켜거나 끌 수 없다.

60% 아시모프의 로봇 공학 3법칙을 존중한다.

59% 회원국과 유엔 기관에서 조기 경고와 제안된 조치를 제공하는 인공 슈퍼 지능의 잠재적 출현에 대한 주요 지표를 식별하고 모니터링한다.

51% 개인의 상품화보다는 인간 개발을 강화한다.

45% 우리가 행동하는 방식과 우리가 행동해야 하는 방식을 구별하는 능력.

41% 인간의 감독을 받는 재귀적 자기 개선 및 자기 복제.

31% 기타

 

위 질문 6의 항목에 대한 설명 및 의견:

ASI는 은밀한 모드로 등장하여 작동하기 전에 잡으려고 하는 우리의 노력을 피할 수 있다.

맞다, 은밀하게 등장할 것이다. 그래서 우리는 AGI의 잠재적 출현에 대한 주요 지표를 식별하고 이러한 지표를 모니터링해야 한다.

AI는 작동할 수 있도록 어느 정도 자율성을 부여받아야 하지만, 스스로를 지배하거나 결국 인간을 지배하는 방식으로 완전한 자율성을 부여받아서는 안 된다.

이 질문들은 매우 좋고 도움이 되지만, 각 부분이 동일한 수준의 자기 반성성으로 작동하고 인간의 개인적이고 집단적인 권력 탐욕에 유혹받지 않을 것이라는 가정에 기반을 두고 있다.

 

AGI가 스스로 또는 다른 사람에게 킬 스위치를 제공하지 않는 것은 필수적이며, 특히 AGI가 잠재적으로 중요한 서비스에 더욱 통합됨에 따라 더욱 그렇다.

 

의료 서비스는 예상치 못한 플러그 뽑기가 생명을 위협할 수 있는 분야 중 하나이다.

재귀적 자기 개선은 AGI의 중요한 측면인데, 이것을 자기 복제와 분리해야 할까?

필요에 따라 법률을 추가할 수 있는 거버넌스 시스템을 만들어야 한다. AGI가 우리가 행동하는 방식과 우리가 행동해야 하는 방식을 구별할 수 있는 능력을 갖기를 바라지만, 인간은 이를 하는 데 어려움을 겪고 AGI 훈련은 인간 데이터/정보에 의존하기 때문에 이것이 현실적이라고 확신할 수 없다.

 

그래도 7점을 준 이유는 우리가 그것을 위해 노력하기를 바라기 때문이다. ASI의 선행 지표를 식별하는 것은 중요하지만, 이 기능을 구축하려면 많은 정보에 입각한 토론이 이루어져야 하며 이것을 높게 평가하면 그러한 토론이 이루어질 가능성이 더 높기 때문에 대부분 10점을 주었다.

효과 기반 의사 결정 시스템을 기반으로 하는 거버넌스를 보고 싶다. 경제적, 정서적 또는 신체적으로 가장 큰 피해를 입을 사회의 세그먼트/영역은 다른 영역보다 더 엄격하게 관리된다.

이는 권한 남용에 대한 인식을 예방하고 거버넌스를 우회하려는 시도를 제한하는 데 도움이 될 수 있다.

중요한 인프라를 관리하는 책임이 있는 경우가 아니면 스스로를 끄는 기능은 허용되어야 한다.

아시모프의 세 가지 법칙은 아시모프 자신이 얼마나 불충분하고 모순되는지에 대해 반복적으로 패러디한 허구의 줄거리 장치이다. https://www.brookings.edu/articles/isaacasimovs-laws-of-robotics-are-wrong/

이를 위반하는 사람에 대한 일련의 규칙과 관련 제재가 있는 법률 코드를 준비해야 한다.

 

유엔 거버넌스 기관은 선언적이어야 하며 국가의 선의에 따라야 하지만 나쁜 행위자에게는 아무런 영향을 미치지 않는다.

글로벌 수준에서 AI 매핑과 계획을 수립하면 안정성과 최적의 결과가 크게 향상될 것이다.

AGI가 리소스(하드웨어 및 소프트웨어, 인터넷을 통한 이러한 시스템을 포함한 기타 시스템)에 대한 무단 액세스를 얻고 스스로를 증식시켜 잠재적으로 해를 끼치는 자체 진화 바이러스로 변하는 것을 방지한다.

AGI는 소스 및 머신 바이트코드, 교육 데이터, 보안 인프라의 매개변수를 수정할 수 없는 통제된 환경에 있어야 한다.

추가 컴퓨팅, 스토리지, 기타 하드웨어, 네트워크 및 인터넷 리소스에 대한 액세스는 필요하고 감사되는 경우 특정 목적을 위해 명시적으로 인간의 승인을 받은 후 부여해야 한다.

 

AGI는 결국 다음 릴리스 주기에서 개발에서 고려할 수 있는 개선 사항만 제안할 수 있다.

 

거버넌스 모델은 윤리적 성실성을 평가하고 보장하고, 도덕적 용기를 기르고, 전체적인 윤리 문화를 육성하기 위한 기관 검토 위원회(IRB)와 같은 것이어야 한다.

AGI는 또한 의식 수준과 지각력을 검증하는 테스트를 통과해야 한다. 매우 복잡한 새로운 형태의 튜링 테스트와 같은 것이다.

 

질문 7-12: 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 만드는 데 어떤 글로벌 거버넌스 모델을 고려해야 할까?

질문 7: 유엔 AGI 기관을 주요 기관으로 하고, 일부 거버넌스 기능은 ITU, WTO, UNDP가 관리하는 다기관 모델이 얼마나 효과적일까?

 

…………………………………………………………………………………………………………………………………………………