폴 콕숏(Paul Cockshott)은 컴퓨터 과학자이자 경제학자로서 발전된 컴퓨터 계획이 기존 경제 질서를 어떻게 대체할 수 있는지에 관심을 갖고 있다. 나는 인공지능이 현재 사람들이 하고 있는 일을 어떻게 자동화할지 그와 이야기를 나눴다. 토론에서는 AI 모델 훈련에 드는 경제적 비용, 인건비 대비 가중치, 인간 작업이 자동화되는 경제적 상황에 초점을 맞춘다.
AI를 사용하려면 엄청난 처리 능력이 필요하다. 두 가지 별개의 방법으로 필요하다. 첫 번째는 훈련에 있고 두 번째는 적용에 있다.
훈련 측면을 살펴보자. 이는 지난 15년 동안 데이터와 전력 분야에서 두 가지 발전이 있었기 때문에 가능해졌다.
데이터
신경망에 대한 훈련 데이터로 사용할 수 있는 대규모 이미지 및 텍스트 컬렉션을 인터넷에 구축하는 것이다. 내가 함께 일했던 팀이 신경망 비디오 인코딩을 개발하던 90년대를 기억한다. 우리의 문제 중 하나는 인터넷 이전에 훈련할 이미지 데이터를 얻고 수집하는 것이었다. 우리는 TV 방송을 캡처하고 이에 대한 신경망을 훈련하는 방법을 사용했다. 물론 이제 안드로이드 카메라폰 덕분에 Google은 시각 목적을 위해 신경망을 훈련할 수 있는 전 세계의 거의 무한한 이미지 컬렉션을 보유하고 있다. 또한 웹에는 Stability.AI와 같은 소규모 그룹이 사용할 수 있는 소유권이 의심스러운 방대한 양의 인덱스 이미지가 있다. 텍스트에도 동일하게 적용된다. ChatGPT 및 Bard와 같은 시스템이 전문가는 아니더라도 적어도 3학년 학생처럼 질문에 답할 수 있도록 하는 것은 방대한 학술 논문 및 서적의 가용성이다.
파워
실제 신경계는 전기화학적 수단으로 작동하여 여러 개의 개별 자극을 모아 개별 반응을 생성한다. 쳐치 튜링 더이치(Church-Turing-Deutsch) 원리는 모든 물리적 시스템이 범용 컴퓨팅 기계에 의해 임의의 정확도로 에뮬레이트될 수 있음을 나타낸다. 여기에는 신경계에서 발생하는 반아날로그, 반디지털 과정이 포함된다. 이는 이론적으로는 적어도 1980년대부터, 비공식적인 용어로는 1950년대부터 알려졌지만, 최근까지 대규모로 적용하는 것은 비실용적이었다.
시냅스 반응의 아날로그 측면을 에뮬레이트하려면 많은 양의 부동 소수점 연산이 필요하며, 특히 벡터 곱셈에 많은 행렬이 필요하다. 1960년대부터 행렬 수학을 위한 슈퍼컴퓨터를 개발하는 데 많은 연구가 이루어졌다. 왜냐하면 이러한 기술이 물리학에서 매우 일반적으로 적용 가능한 것으로 밝혀졌기 때문이다. 지난 세기 말까지 이를 통해 기후 시뮬레이션 및 일기 예보와 같은 작업을 잘 처리할 수 있는 기계가 생산되었다.
하지만 인공지능이 요구하는 수학의 규모는 훨씬 더 컸다. 인간의 뇌에는 수백억 개의 뉴런이 포함되어 있으며 각 뉴런은 시냅스 가중치의 벡터로 표현되어야 한다. 각 뉴런이 10,000개 정도의 시냅스 가중치를 갖고 초당 약 10번 발사할 수 있다면 뇌를 모방하려면 초당 101⁵에서 101⁶ 연산의 벡터 프로세서가 필요합니다. 즉, 페타플롭에 도달해야 한다.
이 제품군의 첫 번째 기계는 약 12년 전에 출시되었다. 작년에 Tesla는 초당 101⁸ 작업의 처리 능력을 갖춘 Dojo 슈퍼컴퓨터 단지를 출시했다. 이는 처리 속도에서 약 100명의 인간 두뇌와 동일하다. 단점은 전력 사용량이 1~2메가와트 정도라는 점이다. 이에 비해 인간 두뇌 100개의 대사 에너지 소비량은 1.5kW 정도이므로 도장 시스템은 약 1,000배의 에너지 집약적이다.
이 기계는 120개의 개별 '훈련 타일'로 구성된다.
그러나 이 시점에서는 정보 저장이 아닌 초당 작업만 비교하고 있다. 각각 15,000개의 연결을 가진 800억 개의 뉴런으로 구성된 뇌의 무게는 1조 2천억 개에 이른다. Tesla는 가중치를 cfloat8 형식으로 저장하므로 각 훈련 트레이에는 약 110억 개의 가중치 또는 인간 두뇌의 약 1/100,000을 저장할 수 있다.
따라서 현재 최고의 Tesla 기술은 저장 분야에서 인간 두뇌보다 5배 뒤지고, 에너지 효율성에서는 3배 뒤쳐진다. 전체적으로 인간 두뇌의 저장 x 전력 효율성에서 약 8배 정도 떨어져 있다.
그 결과, 메가와트의 전력을 소비하여 운전과 같은 전문 기술에 대한 시스템을 훈련하는 것이 가능하지만 인간 수준의 지능과 지식을 자동차 자체에 통합하는 것은 아직 불가능하다.
인간은 수십 시간의 운전 교육을 통해 운전 방법을 배울 수 있으며, 운전을 하고 출근한 후에도 여전히 다른 일을 할 수 있다. Tesla는 사람이 운전하는 데 필요한 일련의 신경 가중치를 얻기 위해 막대한 전력 요금을 처리하는 데 수년의 시간을 소비해야 한다.
물론 Tesla 사업 계획은 한 번 훈련한 후 모든 자동차에 정보를 복제하는 것이다. 그러나 현재 칩의 크기와 전력 소모로 인해 각 차량에 칩을 장착할 수 없다.
칩의 에너지×저장 효율성이 인간과 유사한 일반 지능을 갖춘 모바일 로봇 장치를 사용할 수 있는 지점에 도달하려면 10~20년 정도의 시간이 걸릴 것이다. 따라서 일반 AI를 활용하기 위해서는 칩의 전력 소모량과 메모리 용량을 개선하는 데 많은 노력이 들어가야 한다. 그 시점까지는 빅 데이터 센터에서 실행되는 원격 온라인 서비스로만 제공된다.
이는 환경적 고려와 정치적 불안정으로 인해 에너지가 부족해지고 비싸지는 상황에서 전기 수요를 증가시킬 것이다. 이는 계속해서 증가하는 GDP의 몫이 비화석연료 에너지 기반 시설을 생산하는 데 사용되어야 한다는 것을 의미한다.
글쓴아: Conor O'Higgins는 수년간 디지털 유목민이자 전자상거래 종사자였다. 2016년 블록체인을 발견한 이후 Holo, Hedera Hashgraph, SingularityNET을 포함한 상위 100개 암호화폐 출시를 도왔으며 현재 Mindplex의 COO이자 편집장이다.
