OpenAI가 2022년 말 ChatGPT를 공개한 이후 인공지능(AI), 특히 자연어 처리(NLP)에서 기본 대형 언어 모델(LLM)의 역할이 점점 더 두드러지고 있다. 인간과 유사한 텍스트를 처리하고 생성하도록 설계된 이러한 LLM은 책에서 웹 사이트에 이르기까지 인터넷의 광범위한 텍스트에서 학습한다. 이 학습 과정을 통해 그들은 인간 언어의 본질을 포착하여 범용 문제 해결자로 만들 수 있다.

LLM의 개발로 새로운 문이 열렸지만 이러한 모델을 특정 응용 프로그램에 맞게 조정하는 방법(미세 조정)에는 고유한 과제가 있다. 모델을 미세 조정하려면 보다 집중된 데이터 세트에 대한 추가 교육이 필요하며, 이로 인해 레이블이 지정된 데이터에 대한 요구 사항, 모델 드리프트 및 과적합 위험, 상당한 리소스 필요성 등의 어려움이 발생할 수 있다.

이러한 문제를 해결하기 위해 Google 연구원들은 최근 AI가 AI로부터 학습할 수 있도록 '사회적 학습'이라는 아이디어를 채택했다. 핵심 아이디어는 LLM이 챗봇으로 전환되면 인간의 사회적 학습과 유사한 방식으로 서로 상호 작용하고 배울 수 있다는 것이다. 이러한 상호 작용을 통해 그들은 서로에게서 배울 수 있어 효율성이 향상된다.

사회적 학습이란 무엇인가?

사회적 학습은 새로운 아이디어가 아니다. 이는 사람들이 다른 사람들을 관찰함으로써 배운다는 1970년대 앨버트 반두라(Albert Bandura)의 이론을 기반으로 한다. AI에 적용되는 이 개념은 AI 시스템이 직접적인 경험뿐만 아니라 동료의 행동을 통해 학습하면서 서로 상호작용함으로써 개선될 수 있음을 의미한다. 이 방법은 더 빠른 기술 습득을 보장하고 AI 시스템이 지식을 공유하여 자체 "문화"를 개발하도록 할 수도 있다.

시행착오 강화학습이나 직접적인 예를 통한 모방 학습과 같은 다른 AI 학습 방법과 달리 사회적 학습은 상호 작용을 통한 학습을 강조한다. AI가 새로운 기술을 습득할 수 있는 보다 직접적이고 공동적인 방법을 제공한다.

LLM의 사회 학습

사회적 학습의 중요한 측면은 독창적이고 민감한 정보를 공유하지 않고 지식을 교환하는 것이다. 이를 위해 연구자들은 교사 모델이 기밀 세부 사항을 공개하지 않고 학생 모델의 학습 과정을 촉진하는 교사-학생 역학을 채택했다.

이 목표를 달성하기 위해 교사 모델은 학생 모델이 실제 데이터를 공유하지 않고도 학습할 수 있는 합성 예제나 방향을 생성한다. 예를 들어, 사용자가 표시한 데이터를 사용하여 스팸과 스팸이 아닌 문자 메시지를 구별하도록 훈련된 교사 모델을 생각해 보라. 원본 개인 데이터를 건드리지 않고 다른 모델이 이 작업을 마스터하기를 원한다면 사회적 학습이 작동한다. 교사 모델은 합성 사례를 생성하거나 지식을 기반으로 통찰력을 제공하므로 학생 모델이 민감한 데이터에 직접 노출되지 않고도 스팸 메시지를 정확하게 식별할 수 있다.

이 전략은 학습 효율성을 향상시킬 뿐만 아니라 LLM이 역동적이고 적응 가능한 방식으로 학습하여 잠재적으로 집단적 지식 문화를 구축할 수 있는 잠재력을 보여준다. 이 접근 방식의 중요한 특징은 합성 예제와 제작된 지침에 의존한다는 것이다. 교사 모델은 원래 데이터세트와는 다른 새롭고 유익한 예시를 생성함으로써 개인정보를 보호하는 동시에 학생 모델을 효과적인 학습으로 안내할 수 있다. 이 접근 방식은 효과적이어서 실제 데이터를 사용하여 얻은 결과와 동등한 결과를 얻었다.

사회적 학습이 미세 조정 문제를 어떻게 해결할까?

사회적 학습은 특정 작업에 맞게 LLM을 개선하는 새로운 방법을 제공한다. 다음과 같은 방법으로 미세 조정 문제를 해결하는 데 도움이 된다:

1.레이블이 지정된 데이터의 필요성 감소: 사회적 학습은 모델 간에 공유되는 합성 사례를 통해 학습함으로써 얻기 어려운 레이블이 지정된 데이터에 대한 의존도를 줄인다.

2.과도한 전문화 방지: 소규모의 특정 데이터세트에 있는 모델보다 더 광범위한 예시에 모델을 노출시켜 모델의 다양성을 유지한다.

3.과적합 감소: 사회적 학습은 학습 경험을 확대하여 모델이 더 잘 일반화되고 과적합을 방지하도록 돕는다.

4.리소스 절약: 이 접근 방식을 사용하면 대규모 데이터 세트에 직접 액세스할 필요 없이 모델이 서로의 경험을 통해 학습하므로 리소스를 보다 효율적으로 사용할 수 있다.

향후 방향

LLM의 사회적 학습 잠재력은 미래 AI 연구를 위한 다양하고 흥미롭고 의미 있는 방법을 제시한다.

1.하이브리드 AI 문화: LLM이 사회적 학습에 참여하면서 공통 방법론을 형성하기 시작할 수 있다. 이러한 신흥 AI "문화"의 영향을 조사하고 인간 상호 작용 및 관련된 윤리적 문제에 미치는 영향을 조사하기 위한 연구가 수행될 수 있다.

2.교차 양식 학습: 텍스트를 넘어 이미지, 소리 등을 포함하도록 사회적 학습을 확장하면 인간이 다중 감각을 통해 학습하는 방식과 마찬가지로 세상에 대한 풍부한 이해를 갖춘 AI 시스템이 탄생할 수 있다.

3.분산형 학습: 분산형 네트워크를 통해 서로 학습하는 AI 모델의 아이디어는 지식 공유를 확장하는 새로운 방법을 제시한다. 이를 위해서는 조정, 개인 정보 보호 및 보안과 관련된 중요한 문제를 해결해야 한다.

4.인간-AI 상호작용: 특히 교육 및 협업 환경에서 인간과 AI가 사회적 학습을 통해 어떻게 상호 이익을 얻을 수 있는지 탐구할 수 있는 잠재력이 있다. 이는 지식 이전과 혁신이 발생하는 방식을 재정의할 수 있다.

5.윤리적 AI 개발: 사회적 학습을 통해 윤리적 딜레마를 해결하도록 AI를 가르치는 것은 보다 책임감 있는 AI를 향한 한 걸음이 될 수 있다. 윤리적으로 추론하고 사회적 가치에 부합할 수 있는 AI 시스템을 개발하는 데 중점을 둘 것이다.

6.자가 개선 시스템: AI 모델이 서로의 경험을 통해 지속적으로 학습하고 개선하는 생태계는 AI 혁신을 가속화할 수 있다. 이는 AI가 새로운 과제에 보다 자율적으로 적응할 수 있는 미래를 제시한다.

7.학습 중 개인정보 보호: AI 모델이 지식을 공유하므로 기본 데이터의 개인정보 보호를 보장하는 것이 중요하다. 향후 노력에서는 데이터 보안을 손상시키지 않고 지식을 전달할 수 있는 보다 정교한 방법을 모색할 수 있다.

결론

Google 연구진은 다른 사람을 관찰하여 학습하는 인간의 능력에서 영감을 받아 LLM(대형 언어 모델) 간의 사회적 학습이라는 혁신적인 접근 방식을 개척했다. 이 프레임워크를 통해 LLM은 민감한 데이터에 액세스하거나 노출하지 않고도 지식을 공유하고 기능을 향상할 수 있다. 합성 예제와 지침을 생성함으로써 LLM은 효과적으로 학습하여 레이블이 지정된 데이터의 필요성, 과도한 전문화, 과잉 맞춤 및 리소스 소비와 같은 AI 개발의 주요 과제를 해결할 수 있다.

사회적 학습은 AI 효율성과 적응성을 향상시킬 뿐만 아니라 AI가 공유된 "문화"를 개발하고, 교차 양식 학습에 참여하고, 분산형 네트워크에 참여하고, 새로운 방식으로 인간과 상호 작용하고, 윤리적 딜레마를 탐색하고, 개인 정보 보호를 보장할 수 있는 가능성을 열어준다. 이는 보다 협력적이고 다재다능하며 윤리적인 AI 시스템을 향한 중요한 변화를 의미하며, 인공지능 연구 및 응용 분야의 지형을 재정의할 것을 약속한다.