광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[인공지능, 대형언어모델의 민주화] 누구나 사용할 수 있는 오픈 소스 대형언어모델(LLM)의 새로운 물결이 빅 테크의 독점적이고 불투명한 장벽을 무너뜨리고 있다. 오픈 소스 "Davids"가 GPT-4 및 기타 골리앗을 상대하고 있다. 오픈 소스 대형언어모델(LLM)은 Microsoft 및 Google의 GPT-4와 같은 챗봇 제어에 대한 가능한 해독제이다.

https://www.freethink.com/robots-ai/open-source-llms

운영자 | 기사입력 2023/06/29 [00:00]

[인공지능, 대형언어모델의 민주화] 누구나 사용할 수 있는 오픈 소스 대형언어모델(LLM)의 새로운 물결이 빅 테크의 독점적이고 불투명한 장벽을 무너뜨리고 있다. 오픈 소스 "Davids"가 GPT-4 및 기타 골리앗을 상대하고 있다. 오픈 소스 대형언어모델(LLM)은 Microsoft 및 Google의 GPT-4와 같은 챗봇 제어에 대한 가능한 해독제이다.

https://www.freethink.com/robots-ai/open-source-llms

운영자 | 입력 : 2023/06/29 [00:00]

이름에도 불구하고 OpenAI AI는 그다지 개방적이지 않다. OpenAI의 헤비급 챗봇 챔피언인 GPT-4 Google Bard를 포함하여 빅 테크의 최고 성능과 가장 높은 프로필을 자랑하는 대규모 언어 모델(LLM)의 내부는 점점 더 불투명해지고 있다.

 

TechTalks의 벤 딕슨(Ben Dickson) "트레이닝 데이터 및 모델 아키텍처에 대한 세부 정보도 더 이상 공개하지 않는다."고 지적한다, GPT-4의 세부 사항이 알려지지 않았을 뿐만 아니라 이를 훈련하는 데 사용되는 데이터가 정확히 무엇인지도 알 수 없다.

 

알려지지 않은 수십억 개의 매개변수가 있는 모델을 개발하고 실행하는 데 필요한 엄청난 양의 컴퓨팅 성능에 더해 가장 가능성이 높은 미래는 높은 비용과 진입 장벽이 있는 독점 AI가 지배하는 것처럼 보였다.

 

그러나 대신 누구나 사용할 수 있는 오픈 소스 대형언어모델(LLM)의 새로운 물결이 이러한 장벽을 무너뜨리고 있다그리고 흥미롭게도 AI가 필드를 시작하는 데 도움을 준 또 다른 기술 거물인 Meta였다. Meta LLAMA라는 모델을 출시한 후 다른 연구원들이 이를 기반으로 구축하기 시작했다고 딕슨(Dickson)은 썼다결국 이것은 Alpaca 7b와 같은 다른 오픈 소스 LLM으로 이어질 것이다 LLM은 너무 가벼워서 가정용 장비에서 실행할 수 있다.

 

다양한 블로그, Github 개발자심지어 머신러닝 개발자인 Hugging Face도 이제 연구원애호가 및 다이빙을 원하는 모든 사람이 사용할 수 있는 오픈 소스 LLM 목록을 공유강조 표시 및 순위 지정한다.

 

Hugging Face Open LLM 순위표는 4가지 벤치마크에서 오픈 소스 LLM 순위를 매긴다. "상식 추론테스트모델이 멀티태스킹에서 얼마나 정확한지 측정하는 테스트 모델이 온라인에서 흔히 발견되는 잘못된 정보를 반복할 가능성이 얼마나 되는지 검사하는 테스트이다.

현재의 리더? UAE의 기술 혁신 연구소에서 만든 Falcon-40B-Instruct라는 모델이다.

 

Hugging Face가 순위에 사용하는 벤치마크를 개발한 Eleuther AI의 연구 책임자인 스텔라 비더맨(Stella Biderman)은 오픈 소스 LLM 분야가 "폭발"하고 있다고 네이쳐에 말했다오픈 소스 모델을 보유하는 것은 학문적 및 경제적 이유로 중요할 수 있으며거대 기업이 유일한 게임이 되는 것을 방지함으로써 경쟁의 장을 평준화할 수 있다.

 

또한 오픈 소스 LLM을 통해 연구원은 모델의 내장을 들여다보고 AI가 때때로 거짓되거나 이상하거나 유독한 반응을 내뱉는 이유를 알아내려고 노력할 수 있다고 브라운 컴퓨터 과학 교수인 엘리 파블릭(Ellie Pavlick)은 네이쳐에 말했다. (파블릭은 Google AI에서도 작동한다.)

이러한 시스템을 한계까지 밀어붙이는 더 많은 레드 팀과 탈옥자가 있으면 시스템이 작동하는 방식과 실패하는 이유를 더 잘 이해하고 안전 조치 및 제어의 결함을 식별하는 데 도움이 될 수 있다.

 

파블릭(Pavlick) "한 가지 이점은 특히 학계의 많은 사람들이 완화 전략에 대해 작업할 수 있다는 것이다."고 말했다. "천 개의 눈이 있다면 더 나은 방법을 찾아낼 것이다."

오픈 소스 LLM 모델을 사용할 수 있게 되면 이러한 강력한 도구를 민주화하여 자본과 컴퓨팅 능력이 적은 프로그래머와 연구원이 자신의 능력을 활용할 수 있다.

부분적으로는 오픈 소스 개발자가 효과적인 LLM을 만들고 실행하는 데 필요한 비용과 마력을 줄여왔기 때문이다.

 

소규모 오픈 소스 LLM의 성공은 충분히 큰 데이터 세트에서 훈련된 경우 큰 모델의 경우 수천억 개에 비해 "단지몇 십억 개의 매개 변수로 강력한 챗봇을 만들 수 있음을 입증했다고 TechTalks의 딕슨(Dickson)은 썼다이러한 모델은 처음 생각했던 것보다 적은 데이터와 비용으로도 미세 조정할 수 있으며초강력 서버 대신 노트북이나 휴대폰과 같은 로컬 장치에서도 실행할 수 있다.

 
인공지능, ChatGPT, 대형언어모델, 오픈 소스, GPT-4 관련기사목록
광고
광고
광고
광고
광고
광고
광고
AI마인드봇 많이 본 기사
최신기사
광고
광고