광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[AI 훈련 모델 3년 안에 1000배 커진다] DeepMind 공동 창립자이자 Inflection AI의 CEO인 무스타파 술레이만은 AI가 향후 몇 년 동안 모델 훈련 규모가 엄청나게 증가하면서 기하급수적인 발전을 계속할 것이라고 예측한다.

https://www.futuretimeline.net/interviews/9-ai-training-models-future-timeline-2025-2026.htm

운영자 | 기사입력 2023/09/12 [00:00]

[AI 훈련 모델 3년 안에 1000배 커진다] DeepMind 공동 창립자이자 Inflection AI의 CEO인 무스타파 술레이만은 AI가 향후 몇 년 동안 모델 훈련 규모가 엄청나게 증가하면서 기하급수적인 발전을 계속할 것이라고 예측한다.

https://www.futuretimeline.net/interviews/9-ai-training-models-future-timeline-2025-2026.htm

운영자 | 입력 : 2023/09/12 [00:00]

딥러닝 모델은 2010년대 초반부터 인공지능(AI) 분야를 뒤흔들기 시작했다머신러닝의 하위 집합인 이 기술은 뇌의 구조와 기능특히 다층 신경망에서 영감을 얻은 알고리즘 덕분에 이미지 및 음성 인식부터 자연어 처리에 이르는 작업에 새로운 기능을 제공했다이와 대조적으로 기존 AI는 특정 작업을 위해 "하드 코딩 된프로그램에 의존하는 경향이 있었고 딥 러닝의 자동 기능 학습 기능이 부족했다.

 

2017년에 도입된 변환기(Transformer) 아키텍처는 훨씬 더 발전되고 다양한 모델을 위한 무대를 마련했다여기에는 GPT(생성적 사전 훈련된 변환기 Generative Pre-trained Transformer) 및 후속 버전이 포함되었다. GPT-3.5 2022년에 공개적으로 사용 가능한 ChatGPT로 등장했으며최근에는 훨씬 더 뛰어난 기능을 갖춘 4.0으로 업그레이드되었다. GPT-4의 정확한 모델 크기는 대중에게 알려지지 않았지만수천억 개 이상의 매개변수 수를 갖춘 수많은 다른 LLM(대형 언어 모델) 2020년대 초에 출시되었으며 일부는 다중 양식을 특징으로 한다.

 

현재로 빠르게 돌아가면 우리는 변곡점에 와 있다알고리즘은 크기와 숙련도 측면에서 기하급수적으로 성장했다이제 크게 떠오르는 질문은 다음은 무엇일까최근 80,000 Hours와의 인터뷰에서 DeepMind 공동 창업자이자 Inflection AI의 CEO인 무스타파 술레이만(Mustafa Suleyman) AI가 향후 몇 년 동안 모델 훈련 규모가 몇 배나 더 증가하면서 급속한 발전을 이어갈 것이라고 예측했다.

 

예를 들어이는 GPT-4의 경우 최대 약 50페이지, GPT-3.5의 경우 단 7페이지인 것과 비교하여 전체 책장 전체를 프롬프트로 입력할 수 있음을 의미할 수 있다완전히 새로운 수준으로 발전된 다중 모드 입력은 비디오 콘텐츠에 대한 상세하고 복잡한 분석을 수행할 수 있다.

그러나 AI는 암과 노화에 대한 새로운 치료법을 찾거나 가상 배우와 함께 완전히 새로운 영화를 만드는 등 과학과 기술의 발전을 가속화할 수 있지만 LLM 및 기타 모델에는 근본적인 위험이 따른다이전과 마찬가지로 핵무기와 같이 세상을 변화시키는 기술과 마찬가지로 잘못된 AI가 잘못된 손에 들어가면 실존적 위협이 될 수 있다.

 

술레이만(Suleyman)은 인권 정책 작업을 포함한 경력을 쌓은 후 2010 DeepMind를 공동 창립했다런던에 본사를 둔 회사에서 그는 DeepMind Health  Google 데이터 센터의 에너지 효율적인 냉각 시스템과 같은 계획을 주도했을 뿐만 아니라 DeepMind Ethics and Society라는 연구 부서를 설립했다. 2022 DeepMind Google을 모두 떠난 그는 "AI를 활용하여 인간이 컴퓨터와 '대화'할 수 있도록 돕는다"는 목표로 Inflection AI를 공동 창립했다. Inflection AI Personal Intelligence의 약자인 Pi라는 챗봇을 출시했다. Pi는 과거 대화를 "기억"하고 시간이 지남에 따라 사용자를 알아가며 필요할 때 사람들에게 정서적 지원을 제공할 수 있다또한 이 회사는 업계 최대 규모인 22,000개의 NVIDIA H100 GPU를 탑재한 슈퍼컴퓨터를 구축했다.

 

술레이만(Suleyman)은 이번 주에 출판된 자신의 신간 저서 [다가오는 물결기술권력그리고 21세기의 가장 큰 딜레마]에 대해 이야기하면서 시작했다세계 질서와 기회가 있을 때 이를 억제할 수 있는 방법에 대해 설명한다."

 

이 책은 앞으로 수십 년에 대한 걱정스러운 그림을 그린다그러나 술레이만은 80,000 Hours의 로버트 위블린(Robert Wiblin)에게 다음과 같이 말하면서 자신이 현실주의자라고 주장했다. "그래서 사람들은 특히 미국에서 비관적인 전망에 대한 두려움을 갖고 있다내 말은사람들이 나에게 와서 '당신은 그렇게 생각하는 것 같다'고 말하는 횟수가 많다는 뜻이다상당히 비관적이다.' 아니나는 단지 이런 단순한 '당신은 낙관주의자일까아니면 비관주의자일까?'에 대해서는 생각하지 않을 뿐이다끔찍한 프레이밍이다나는 단지 내가 보는 대로 사실을 관찰하고 있으며내가 본 것을 비판적인 공개 조사를 위해 공유하기 위해 최선을 다하고 있다내가 틀렸다면 찢어서 토론해보자그러나 어느 쪽이든 이러한 편견에 기대지는 말자."

다가오는 물결(The Coming Wave)에서 무스타파 술레이만는 신흥 기술의 부정적이고 예상치 못한 결과를 제한하기 위해 세계가 시급히 취해야 할 10가지 단계를 설명한다.

• 기술적 AI 안전을 위한 Apollo 프로그램 개발

 AI 모델에 대한 연구소 역량 감사

• 하드웨어 병목 지점을 활용하여 시간 벌기

 AI 모델을 직접 엔지니어링하는 데 비평가를 참여시키기

 AI 연구소가 이익 이외의 동기에 따라 안내 받도록 하기

 AI에 대한 정부의 이해와 AI를 현명하게 규제할 수 있는 능력을 근본적으로 높이기

• 가장 위험한 AI 기능의 확산을 방지하기 위해 국제 조약을 만들기

• 현상 유지가 작동하지 않을 때 공개적으로 받아들이는 AI 연구소의 자기 비판적 문화 구축

 AI를 이해하고 필요한 통제를 요구할 수 있는 대규모 대중 운동을 창출하기

• 지연에 너무 많이 의존하지 말고 대신 다소 안정적인 새로운 균형으로 이동하려고 노력하기

 

인터뷰에서는 이러한 위협이 얼마나 빨리 나타날 수 있는지에 대해 다루었다.

로버트 위블린(Robert Wiblin): 좋다아마도 아이디어는 단기적인 것일 수 있다향후 몇 년 동안 우리는 오용에 대해 걱정해야 한다인간의 도움을 받아 나쁜 일을 하도록 지시하는 모델은 임박한 문제이다인간의 지원 없이 그리고 이를 통제하려는 인간의 노력에 반하여 다소 통제할 수 없는 모델이 보다 자율적으로 행동하는 반면이는 10년 후와 그 이후에 우리가 생각할 수 있는 것이다그게 당신 추측인가?

 

무스타파 술레이만(Mustafa Suleyman): 그건 확실히 내 생각이다이것이 오용과 자율성의 주요 차이점이다그리고 우리가 추적해야 할 몇 가지 기능이 있다고 생각한다이러한 기능은 10년 이벤트가 더 빨리 다가올 가능성을 높이기 때문이다.

예를 들어 모델이 기본적으로 자율적으로 작동할 수 있도록 설계된 경우따라서 본질적인 설계 요구 사항에 따라 우리는 자체 목표를 설계하고 임의의 도구를 사용하여 인간의 감독과 완전히 독립적으로 결정을 내리는 방법을 배우는 능력을 설계하고 있다그리고 이와 관련된 두 번째 기능은 분명히 재귀적 자기 개선이다모델이 자체 코드를 업데이트하고스스로 재교육하고새로운 미세 조정 데이터 또는 모든 종류의 새로운 상호 작용 데이터의 결과로 새로운 가중치를 생성하도록 설계된 경우이다시뮬레이션이든 실제 세계이든 그들의 환경이다이것들은 우리가 잠시 생각을 해볼 수 있는 종류의 능력이다.

 

술레이만은 OpenAI가 비밀리에 GPT-5를 훈련하고 있다고 생각한다.

샘 알트만 Sam [Altman]이 최근 GPT-5를 훈련하지 않는다고 말한 것 같다어서 해보라내 생각에는 우리 모두가 그것에 대해 솔직하게 말하는 것이 더 낫다고 생각한다이것이 바로 우리가 보유하고 있는 총 컴퓨팅 양을 공개하는 이유이다. [...] 나는 Google DeepMind도 같은 일을 해야 한다고 생각한다그들은 얼마나 많은 FLOPS Gemini가 훈련되었는지 선언해야 한다.

모델 오픈 소싱과 관련하여 술레이만은 다음과 같이 말했다:

우리가 모든 새로운 세대의 프론티어 모델에 대한 모든 것을 계속 오픈 소스로 제공한다면 우리는 권력의 급속한 확산을 보게 될 가능성이 높다이는 소규모 행위자 그룹 또는 개인이 세계에 전례 없는 일대다 영향을 미칠 수 있도록 하는 국가와 같은 권한이다.

 

소셜 미디어를 통해 누구나 방송 권한을 가질 수 있게 되었고본질적으로 1990년대에는 신문 전체로 기능할 수 있게 되었다. 2000년대에는 트위터나 인스타그램 등에서 수백만 명의 팔로어를 갖게 되었고 실제로 세계에 영향을 미치게 되었다이전에는 출판사의 전유물이었고 대부분의 경우 허가를 받고 규제를 받았던 방식은 실제로 심각한 일을 했다면 책임을 물을 수 있는 권위였다그리고 그 모든 것이 이제 어느 정도 사라졌다그런데 좋은 이유가 있고 어떤 경우에는 나쁜 결과가 있다.

 

우리는 세상에 영향을 미치는 능력에 대한 접근과 관련하여 동일한 궤적을 보게 될 것이다인공 능력이 있는 AI를 중심으로 내가 제안한 모던 튜링 테스트(Modern Turing Test)와 관련이 있다고 생각할 수 있다말을 기반으로 평가하는 기계(원래 튜링 테스트의 모방 테스트)에서 기계가 수행할 수 있는 작업을 기반으로 기계를 평가하는 것과 같다. API를 사용할 수 있나그들은 다른 사람들에게 얼마나 설득력이 있을까다른 AI와 상호 작용하여 작업을 수행할 수 있을까?

 

따라서 모든 사람이 그 권력을 갖게 되면 그것은 개인이 조직이나 심지어 국가의 권력을 가진 것처럼 보이기 시작한다나는 우리가 있는 곳보다 2~3배 또는 4배 정도 더 큰 모델에 대해 이야기하고 있다그리고 우리는 그것에서 멀지 않다우리는 향후 3년 동안 현재보다 1,000배 더 큰 훈련 모델이 될 것이다. Inflection에서도 우리가 보유한 컴퓨팅 능력은 향후 18개월 동안 현재 프론티어 모델보다 100배 더 커질 것이다.

 

비록 내가 오픈 소스 문제에 대해 많은 관심을 갖고 있기는 하지만 분명히 오늘날의 모델에 대해 이야기하고 있는 것이 아니다미래 세대에 대해 이야기하고 있는 것이다그리고 나는 여전히 그것이 옳다고 생각하며 이를 지지한다왜냐하면 우리가 그러한 대화를 하지 않는다면 결국 우리는 기본적으로 모든 사람의 손에 엄청나게 혼란스러운 불안정화 도구를 쥐게 되는 것이라고 생각하기 때문이다실제로 그렇게 하는 방법을 누군가는 빗물을 잡으려고 하는 것과 같다고 하거나손으로 빗물을 받아 비를 멈추게 하는 것과 같다고 했다내 생각엔 아주 좋은 반박이다그것은 절대적으로 정확하다물론 이것은 엄청나게 어렵다나는 그것이 어렵지 않다고 말하는 것이 아니다나는 그것이 우리가 가져야 할 대화라고 말하고 있다.

 

그를 인터뷰했던 로버트 위블린(Robert Wiblin)은 다음과 같이 동의했다.

흥미롭다나는 사람들이 모든 것을 소스로 공개해야 한다고 말하는 선례가 있다는 점에 대해 우려하고 있다그렇다면 5, 10, 15, 20년 후에 우리는 어떻게 될까그들은 점점 더 강력해질 것이다현재로서는 생물무기를 설계하는 데 별 도움이 되지 않는다하지만 10, 15년 후에는 정말 상당한 변화를 가져올 수 있을 것이다그리고 잘 모르겠다나는 이제 기본적으로 이를 예상하여 오픈 소스에 일부 제한을 가하기 시작해야 한다고 생각한다.

 

술레이만은 AI 정렬에 대한 최종 논평으로 인터뷰를 마무리했다.

이것은 매우 중요한 문제이다잘못된 정렬에 집중하는 인력이 10배 더 필요하다일반적으로 나는 속임수 자체가 일종의 의인화라고 생각하기 때문에 속임수에 약간 민감하지만 그것은 기술적인 문제이다일반적으로 나는 정렬 불량에 대한 근본적인 질문과 일반적으로 AGI 안전, 10년 위험, 20년 위험이 이보다 더 중요할 수 없다고 생각한다.

 
인공지능, 딥러닝 모델, LLM(대형 언어 모델), 다가오는 물결, 머신러닝, GPT 관련기사목록
PHOTO
1/6
광고
광고
광고
광고
광고
광고
광고
많이 본 기사
AiMindbot뉴스 많이 본 기사