AGI 연구원의 눈으로 ChatGPT와 같이 엄청나게 인기 있는 LLM(대형 언어 모델)을 살펴보면 미래 AGI 시스템을 위한 잠재적으로 흥미로운 구성 요소가 몇 가지 있다고 생각된다.

경제적으로, 나는 향후 몇 년 동안 대다수의 사무직 일자리를 쓸모없게 만들고 엄청난 혼란을 일으키고 궁극적으로 사람들이 자유로워지는 세상으로 우리를 더 나아가게 할 가능성이 매우 높은 일련의 기술의 씨앗을 본다. 생계를 위해 일해야 하는 필요성.

반면, 최종 사용자의 관점에서 볼 때, 제가 보기에 도구는 이미 일부 작업에 매우 유용하지만 몇 가지 매우 중요하고 실망스러운 결함으로 인해 손상되었다.

첫 번째 주요 결함은 현실 차별이 기괴하게 부족하다는 것이다. LLM은 어떤 면에서 얼마나 지능적인지를 고려하면 거의 믿을 수 없을 정도로 똥으로 가득 차 있다.

두 번째는 지루함과 진부함이다. 이러한 강력한 진부한 기계는 이전에는 상상조차 해본 적이 없다.

하지만 나는 이 두 가지 문제가 적당한 양의 R&D 노력으로 극복될 수 있다고 믿는다. 아마도 향후 몇 년 동안 다양한 정당에서 이를 제출할 것이다.

이러한 약점을 완전히 극복하려면 인공일반지능(Artificial General Intelligence)의 진정한 돌파구가 필요하다. 그러나 나는 AGI 없이도 병렬 개발 과정을 통해 상당한 수준으로 문제를 해결할 수 있다고 생각한다.

 

생성AI와 AGI

AGI 전문가로서 LLM에 대해 이야기할 때 가장 먼저 명확히 해야 할 것은 LLM이 확실히 AGI가 아니라는 것이다. 그들은 지능에서 상당한 수준의 일반성을 달성하지만 이는 훈련과 프로그래밍 이상으로 일반화하기 때문이 아니다. 훈련 데이터가 너무 커서 거의 모든 것을 포괄하기 때문이다. 훈련 데이터의 사소한 변형과 조합을 통해 엄청나게 다양한 쿼리에 답할 수 있다.

일반적으로 지능적인 인공 정신은 거대한 데이터 세트의 패턴을 통계적으로 인식하고 좁은 맥락에 적합한 방식으로 이러한 패턴을 병합하여 새로운 형태를 합성하는 데 많은 용도로 사용된다. 이는 LLM이 잘하는 일이다. 그러나 나는 이러한 능력이 AGI 정신의 핵심을 형성할 수 있다고 생각하지 않는다. 그러기 위해서는 선택 의지, 의지, 자기 반성, 자기 모델링 및 기타와 관련된 훨씬 더 추상적인 사고가 필요하다. AGI 시스템이 이러한 핵심 기능을 충족한다면(저와 동료들이 작업 중인 OpenCog Hyperon AGI 아키텍처 또는 기타 다른 기능을 통해) LLM이 멋진 주변 기능을 많이 추가할 수 있다고 생각한다.

 

현실 차별을 갖춘 LLM을 향하여

텍스트 생성 훈련을 받은 LLM은 현재 진실을 말하는 데 심각한 문제를 안고 있다. 기본적으로 진실과 거짓을 구별할 수 없다. ChatGPT 및 AGI에 대한 블로그 게시물에서 몇 가지 재미있거나 유익한 예를 수집했다. 온라인에서 쉽게 찾아볼 수 있는 다른 것들이 많이 있다. 나는 ChatGPT가 나를 OpenAI를 만든 회사인 OpenAI의 창립자라고 부르는 대화를 특히 좋아한다(나는 직접적인 역할이 없다).

이 문제를 극복하고 LLM을 덜 엉터리로 만들기 위해 다양한 접근 방식이 추구되고 있으며, 아마도 그들 중 상당수가 어느 정도 성공할 것이라고 생각한다. 예를 들어, SingularityNET과 TrueAGI에서는 신경 기호 아키텍처를 사용하여 이 문제를 해결하려고 노력하고 있다. LLM은 OpenCog 기반 기호 추론 엔진과 혼합되어 있다.

이 기호 추론 엔진은 LLM에서 논리적 관계를 추출하고 LLM의 지식을 보다 구조화된 형태로 넣을 수 있다. 그런 다음 개념 간의 관계를 서로 비교하여 불일치를 식별한다. 가능한 경우 이러한 관계를 기존 배경 지식, 즉 '물은 젖어 있다' 또는 '벤 고르첼Ben Goertzel은 OpenAI의 창립자가 아니다'와 같은 세상에 대한 상식적인 진실과 비교한다. 그런 다음 불일치는 모델을 미세 조정하기 위한 부정적인 증거로 사용될 수 있다. 모델은 포함된 거짓말을 학습하지 않도록 명시적으로 훈련될 수 있다.

나는 이러한 하이브리드 기호-LLM 구조가 AGI까지 진행하지 않고도 ChatGPT와 같은 것의 일반성과 진실성을 크게 높일 수 있다고 생각한다.

 

LLM의 진부함

그러나 LLM에는 만연한 학사 세대 외에도 다른 문제도 있다. 예를 들어 그들이 생산하는 내용의 대부분이 지루한 진부한 내용이라는 사실이다. 에릭 호엘(Eric Hoel)은 이것을 "ChatGPT의 진부함"이라고 불렀다.

이 진부함에 대한 아주 나쁘고 좋은 예로서 제가 최근 시스템과 나눈 대화에서 발췌한 다음 내용을 고려해야 한다.

벤 고르첼: 인간 지능의 1000배를 갖춘 목성의 복제품을 만드는 프로젝트를 관리하고 조정하는 방법에 대해 어떻게 조언하겠는가?

ChatGPT: 인간 지능의 1000배를 갖춘 목성의 복제본을 만드는 프로젝트를 관리하고 조정하려면 다음 단계를 제안한다.

프로젝트 범위 정의: 프로젝트의 목표, 목표 및 결과물을 명확하게 정의한다.

팀 구성: 다양하고 효과적인 팀을 구성하기 위해 관련 기술과 경험을 갖춘 개인을 모집한다.

프로젝트 계획 개발: 프로젝트를 완료하는 데 필요한 작업, 자원, 일정 및 예산을 결정한다.

프로젝트 관리 시스템 설정: 프로젝트 진행 상황을 추적하고, 팀 구성원과 소통하고, 위험을 관리하기 위한 도구와 프로세스를 설정한다.

진행 상황을 모니터링하고 필요에 따라 조정: 프로젝트 상태를 지속적으로 평가하고 필요에 따라 변경하여 순조롭게 진행되도록 한다.

의사소통 및 협업 보장: 팀 구성원과 이해관계자 간의 정기적인 의사소통을 장려하여 모든 사람이 동일한 내용을 공유할 수 있도록 한다.

위험 예측 및 관리: 잠재적인 위험과 장애물을 식별하고 계획하여 프로젝트에 미치는 영향을 최소화한다.

성공 축하: 팀 사기를 높게 유지하는 과정에서 이정표와 성과를 인식하고 축하한다.

1000배의 인간 지능을 갖춘 목성의 복제본을 만드는 것은 복잡하고 도전적인 프로젝트이므로 성공을 보장하려면 조직화하고 효과적으로 소통하며 필요에 따라 지속적으로 조정하는 것이 중요하다.

정확히 틀린 것은 아니다. 그러나 질문의 세부 사항을 실제로 다루지는 않는다고 말할 수 있을까?

때로는 지루한 진부한 표현이 바로 당신이 인생에서 원하는 것이다. 취업 지원을 위한 자기 소개서나 대학 영어 수업을 위한 에세이를 작성할 때… 독창성과 기발함은 때로 위험할 수 있다.

그러나 AI 모델을 사용하여 생성하는 것이 너무 빠르고 저렴하기 때문에 지루한 진부한 표현이 지금보다 훨씬 더 일반화될 가까운 미래에 대해 걱정한다. 지루한 디스토피아.

음악 LLM의 영광과 공포

Google이 최근 발표한 MusicLM 신경 모델은 "매혹적으로 인상적인" 것과 "끔찍할 정도로 지루한" 사이의 교차점에 대한 흥미로운 사례 연구를 제공한다.

다음과 같은 쿼리를 제공할 수 있다.

우리는 그레고리오 성가를 부르는 합창단과 리드미컬한 비트를 만들어내는 드럼 머신을 들을 수 있다. 느리고 위엄 있는 현악기 소리는 미래 지향적인 전자 음악의 빠르고 복잡한 소리에 차분한 배경을 제공한다.

– 그리고 그것은 청구서에 맞는 음악을 생성할 것이다. 놀라운 것들.

효과를 제외하면 근무 라운지 밴드가 즉석에서 음악 악절을 연주하는 것과 약간 비슷하다. 예술적으로 스릴 넘치는 경우는 거의 없다.

기능이 얼마나 인상적인지 생각하면 이것이 꽤 형편없는 불만이라고 말할 수도 있다.

그러나 그러한 기술을 사용하여 사람들이 들을 수 있는 음악을 생성한다면, 그 결과는 레코드 경영진이 이미 우리에게 가한 것보다 훨씬 더 진부하고 반복적인 음악 영역이 될 것이다! 치과의사 muzak++ 영원히!

여기서 문제는 모든 사람의 예술을 평균화하면 그 자체로 평균적인 예술이 생산된다는 것이다. 일부 목적의 경우 – 예: 광고나 비디오 게임의 배경 음악 – 독점하며 음악이 괜찮다.

평생 작곡가이자 정직하게 놀고 있는 자로서 나는 일반적으로 평균과 기대에서 제외되는 것은 명확성을 만드는 데 더 관심이 있다는 것이다. 노르웨이의 노력에서 약간의 거슬림이나 협력을 유도한다.

현재의 신경교 모델도 추가할 수 있다. 그러나 데이터 세트의 내용과 매우 관련하여 수행하는 훈련 데이터 세트에 있는 몇 가지 표면 기능을 사용하는 경향이 있다.

음악은 내가 LLM 사업의 진부함을 해결하는 방법에 대해 가장 많은 분야에서이다. 독창적인 음악가로서 나는 즉흥적으로 함께 연주할 수 있는 AI 음악가가 정말 훌륭하게 작동한다. Jam Galaxy Band에는 이미 로봇 가수가 있고 AI가 작동하는 리프도 있지만 AI 즉흥 연주자가 함께 연주하는 것을 내가 꿈꾸는 것이다. 나는 내 밴드에서 지루한 최소공분모 MusicLM 스타일을 원하지 않는다. 전혀…

여기서 조치를 취할 수 있는 한 가지 접근 방식은 '흥미로움'을 공식적으로 도입하는 것이다. 즉, 흥미로운 음악을 구성할 수 있는 논리적 모델을 만든 다음 MusicLM 유형의 모델을 조건화하여 이 흥미도 기준을 밝히는 출력을 생성하도록 편향시키는 것이다. 내가 1990년대에 소련을 사용하여 음악적 흥미를 갖고 있는 '피트니스 우주선'을 확장하는 음악을 발전시키는 작업과 다른 것은 없다. 그러나 LLM을 사용하면 진화된 음악이 가능한 것보다 훨씬 더 세련된 방식으로 인간 음악의 다양한 방식을 통합할 수 있다.

 

LLM VS Hmmmmmm

물론 이것은 AGI 시스템이 음악에 접근하는 방식과는 여전히 매우 다르다.

AGI와 음악은 다양한 방식으로 교차할 수 있지만 어떤 식으로든 AGI 시스템은 2013년 영화 그녀(Her)의 AGI처럼 세계에서 에이전트가 되는 경험의 맥락에서 음악을 만들고 이해하는 것과 관련된다. "나는 지금 당신과 함께 해변에 있는 것 같은 느낌을 담은 음악을 쓰려고 노력 중이다."

스티븐 미텐(Steven Mithen)의 저서 노래하는 네안데르탈인(The Singing Neanderthals)는 언어와 음악의 기원에 대한 가설을 제시한다. 그는 인간의 의사소통이 그가 "흠"이라고 부르는 의사소통 시스템에서 시작되었다고 가정한다. 그 이유는 그것이 다음과 같은 특징을 가지고 있기 때문이다: 그것은 전체론적, 조작적, 다중 모드적, 음악적, 모방적이었다. 기본적으로 흠흠흠 소리와 몸짓, 행동과 모방이 결합되었다. 한 살짜리 어린이에게서 볼 수 있는 사전 언어/반언어 의사소통과 다소 유사하지만, 기본적으로는 성인 수준의 인지적 정교함이 더 중요하다. 그의 제안은 Hmmmmm이 먼저 나온 다음 언어와 음악을 모두 생성하여 Hmmmmm에서 서로 다른 방향으로 진화했다는 것이다.

케임브리지 고고학 저널은 미텐의 답변과 함께 가설에 대한 다양한 비판을 제시하는 흥미로운 기사를 게재했다.

흥미롭고 상당히 어려운 과제는 가상 세계(플러그인으로 강화된 마이크래프트(Minecraft) 또는 진행 중인 소피아버스(Sophiaverse) 가상세계)에 거주하는 AI 에이전트를 유도하여 Hmmmmm 이론에 따라 언어와 음악을 발명하는 것이다. 이것은 미텐의 진화론이 얼마나 정확한지에 관계없이 AGI 연구자들이 흥미롭고 가치 있는 일이 될 수 있다.

 

사용하기 쉬운 몇 가지 악기로 가상 세계를 비축할 수 있다.

-두드리면 리듬을 만드는 드럼

-버튼을 눌러 음표를 만드는 동안 숨을 쉬는 플루트(숨소리에 따라 볼륨과 음색 조절)

-건반을 쳤을 때 음을 내는 피아노형 악기

그런 다음 궁극적으로 이러한 가상 세계 프로토-AGI 에이전트를 원할 것이다. 나는 그들을 "네오테릭스Neoterics"(새로운 사람)라고 생각하고 싶다. - 다음과 같은 작업을 수행한다.

음악에 맞춰 춤을 추는 것이 즐겁고 집단적 행동과 의사소통을 촉진하는 일체감을 조성한다는 사실을 발견한다.

-드럼 연주는 그룹이 함께 신체 활동을 수행하도록 열광한다는 사실을 발견한다.

-멜로디 음악을 들으면 마음이 창의성에 도움이 되는 상태가 된다는 것을 발견한다.

네오테릭스의 감정 모델은 우리와 비슷하면서도 세부적으로는 다르다는 점에서, 그들이 자신의 감정을 표현하고 서로의 감정에 영향을 미치기 위해 만드는 음악은 인간의 음악과 크게 다를 수도 있다. 아마도 네오테릭스가 만든 음악으로 음악 LLM을 교육하고 진정한 새로운 장르의 음악인 매혹적인 하이브리드를 얻을 수 있을 것이다!

이 네오테릭스 실험이 정확하게 이러한 형식으로 수행되는지 여부에 관계없이 음악이나 다른 것에 대한 LLM 접근 방식과 AGI 접근 방식 간의 큰 차이점을 강조한다. LLM은 데이터 패턴을 섞고 병합하며 영리하게 이 접근 방식에서 나타나는 가장 즉각적인 문제, 즉 환각 경향이나 진부한 표현에 수렴되는 문제를 해결할 수 있다. 그러나 AGI에는 완전히 다른 접근 방식이 필요하다.

 

LLM과 같은 좁은 AI 시스템은 AGI 시스템의 핵심 인식에 패턴을 제공하거나 특정 영역의 용어를 유창하게 말하는 데 유용할 수 있다. 그러나 핵심적으로 AGI 시스템은 LLM과 매우 다를 것이다.그것은 Weaver가 개방형 지능(Open-Ended Intelligences)이라고 부르는 것이 될 것이다. 즉, 개인화와 자기 초월을 향한 보완적이고 모순적인 추진력에 의해 구동되어 환경과 풍부하게 결합하는 복잡한 자기 조직화 시스템이 될 것이다.

AGI 시스템은 추상화를 통해 일반화를 달성할 것이며, 제한된 자원을 사용하면서 개성화와 자기초월의 균형을 맞춰야 하는 필요성으로 인해 지능적인 추상 이해가 가능해졌다. 그들이 언어를 생성하거나 음악을 만들 때, 그들은 자신의 경험을 통해 형성된 추상적인 이해를 바탕으로 이를 구축할 것이며, 결과적으로 추가적인 트릭을 사용하기보다는 자연스럽게 유기적으로 상상력이 풍부하고 진실을 말할 수 있게 될 것이다.

LLM 및 기타 심층 신경망은 사회에 큰 영향을 미쳐 오늘날 거대 기술 기업의 비즈니스 모델을 혼란에 빠뜨리고 잠재적으로 상당한 비율의 인간 일자리를 없앨 것이다. 그러나 그들의 가장 큰 기여는 궁극적으로 AI의 잠재력에 대해 세계를 깨우고 AGI 개발을 위해 더 많은 인지적, 재정적, 문화적 자원을 끌어들이는 것일 수 있으며, 이는 가장 멋지고 좁은 AI 시스템보다 훨씬 더 직접적인 영향을 미칠 것이다.