광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[ChatGPT 책, GPT-4 출시 2023년] 버전 3.5로 널리 알려진 ChatGPT는 2022년 11월에 출시되었으며 윤리와 도덕에 대한 이해가 향상되었음을 보여주었다. 그것은 합법성, 사람들의 감정과 감정, 관련된 모든 사람의 안전을 고려하여 무엇을 해야 하는지에 대해 많은 지식 영역에 걸쳐 명료한 답변을 통해 보다 사려 깊은 답변을 제공할 수 있다.

운영자 | 기사입력 2023/01/05 [11:18]

[ChatGPT 책, GPT-4 출시 2023년] 버전 3.5로 널리 알려진 ChatGPT는 2022년 11월에 출시되었으며 윤리와 도덕에 대한 이해가 향상되었음을 보여주었다. 그것은 합법성, 사람들의 감정과 감정, 관련된 모든 사람의 안전을 고려하여 무엇을 해야 하는지에 대해 많은 지식 영역에 걸쳐 명료한 답변을 통해 보다 사려 깊은 답변을 제공할 수 있다.

운영자 | 입력 : 2023/01/05 [11:18]

 

GPT-4 출시

2018년 6월 캘리포니아에 본사를 둔 회사 OpenAI의 연구원은 "GPT(Generative Pre-trained Transformer)"에 대한 연구를 발표했다. 

 

그때까지 최고의 AI 언어모델은 주로 수동으로 레이블이 지정된 대량의 데이터에서 지도 학습을 사용했다. 지도 학습에 대한 의존도는 주석이 제대로 작성되지 않은 데이터 세트에 대한 사용을 제한할 뿐만 아니라 매우 큰 모델을 교육하는 데 엄청난 비용과 시간이 소요된다.

 

대조적으로 GPT의 접근방식에는 초기 매개변수를 설정하는 데 사용되는 감독되지 않은 생성적 "사전 훈련" 단계와 이러한 매개변수를 대상 작업에 적용하기 위한 "미세 조정" 단계가 포함된다. 

 

GPT는 1억 1,700만 개의 매개변수를 특징으로 하며, 이는 뇌의 개별 연결과 거의 동일하다고 생각할 수 있다. GPT의 새로운 아키텍처는 보다 구조화된 메모리를 제공하여 "다양한 작업에서 강력한 전송 성능"을 제공한다.

 

OpenAI의 연구는 데이터세트 크기와 매개변수 수가 10배 더 많은 고급 버전으로 이어졌다. 이전 버전과 마찬가지로 GPT-2는 일련의 토큰에서 가장 가능성이 높은 다음 단어를 예측하여 텍스트를 생성하도록 훈련된 감독되지 않은 변환기 모델을 사용했다. 

 

추가 단어를 계속 예측함으로써 스마트폰 자동 수정의 매우 발전된 형태와 같이 자연어로 완전히 이해할 수 있는(그리고 의미론적으로 의미 있는) 문장으로 전체 문장과 단락을 함께 연결할 수 있다. 

 

방대한 데이터 세트 덕분에 GPT-2는 간단한 텍스트 생성 이상의 작업을 수행할 수 있다. 예를 들어 사전 지시 없이 질문에 답하거나 요약하고 다양한 특정 도메인의 언어 간 번역까지 할 수 있다.

 

2020년 6월에 출시된 GPT-3는 연구를 완전히 새로운 수준으로 끌어올렸다. GPT-2보다 100배 이상 크고 800GB의 스토리지가 필요한 1,750억 개의 매개변수를 특징으로 한다. 

 

GPT-3에 대한 가중 사전 교육 데이터 세트의 약 60%는 4,100억 바이트 쌍으로 인코딩된 토큰으로 구성된 웹 사이트 데이터의 개방형 저장소인 Common Crawl의 필터링된 버전에서 가져왔다. 

 

다른 텍스트 소스에는 WebText2(3개 이상의 찬성 투표가 있는 Reddit 게시물에서 링크된 웹 사이트 모음)와 Wikipedia 및 디지털화된 책이 포함되었다.

 

New York Times 는 시 및 산문과 함께 컴퓨터 코드를 포함하여 자연스러운 소리를 내는 GPT-3의 능력을 설명했다. Wired 의 리뷰에 따르면 GPT-3는 "실리콘 밸리 전체에 오한을 유발"했다.

 

그러나 OpenAI의 CEO인 Sam Altman을 포함하여 일부 사람들은 여전히 ​​회의적이었다. 하지만 "GPT-3는 아주 초기단계에 불과합니다."

 

GPT-3 및 기타 언어생성기를 기반으로 하는 자동화된 쓰기 기술의 사용이 증가함에 따라 학업 무결성에 대한 논쟁과 표절과 같은 학업 부정 행위를 구성하는 학교 및 대학을 측정하는 방법에 대한 논쟁이 발생했다. 

 

편견, 성 차별, 인종 차별 및 봇에 의해 생성된 기타 유해한 콘텐츠를 포함하여 잘못된 정보를 퍼뜨릴 가능성에 대한 우려도 나타났다. 일례로 프랑스의 한 의료 스타트업은 GPT-3를 의료용 챗봇으로 테스트했고 모의 환자에게 자살하라고 조언했다.

 

 

그럼에도 불구하고 GPT-3는 많은 분야에서 매우 인상적인 기술임이 입증되었다. 알고리즘에 대한 연구가 계속되어 부정적이고 기만적인 반응을 줄이려는 새로운 프로토타입이 탄생했다. 

 

버전 3.5로 널리 알려진 ChatGPT는 2022년 11월에 출시되었으며 윤리와 도덕에 대한 이해가 향상되었음을 보여주었다. 

 

그것은 합법성, 사람들의 감정과 감정, 관련된 모든 사람의 안전을 고려하여 무엇을 해야 하는지에 대해 많은 지식 영역에 걸쳐 명료한 답변을 통해 보다 사려 깊은 답변을 제공할 수 있다. 

 

ChatGPT는 또한 컴퓨터 코딩에 대한 경이로운 기술을 보유하고 있어 단 몇 개의 사용자 프롬프트에서 몇 초 만에 전체 웹사이트 레이아웃 또는 세부 스크립트를 생성할 수 있다. 그러나 사실적 정확성은 경우에 따라 고르지 않은 것으로 판명되었다.

 

 

2023년에 GPT-4가 나올 것이라는 소문이 나면서 기술전문가들은 그 기능이 무엇인지 추측하기 시작했다. 매개변수 수에 대한 추정치는 GPT-3의 1,750억 개와 같거나 약간 클 것이라고 믿는 사람들부터 수백조 개에 달하는 또 다른 엄청난 도약을 예측하는 사람들까지 매우 다양했다.

 

결국 GPT-4는 이러한 예측의 하단에 있는 것으로 입증되었으며 주로 다중 모드가 아닌 텍스트 기반이다. 

 

그러나 최근 몇 년 동안 효율적인 스케일링이 크게 개선되었다. 즉, 개인 컴퓨팅 속도에 적용되는 2000년대의 소위 '메가헤르츠 신화'와 같이 매개변수 수만으로는 더 이상 언어 모델의 성능을 가장 잘 측정할 수 없다. 대신 더 큰 데이터 세트에 대한 교육이 이제 더 중요하다.

 

GPT-4는 지금까지 만들어진 가장 인상적인 언어 모델로 튜링 테스트의 일부 수정된 버전을 통과했으며 가까운 미래의 인공 지능 잠재력에 대한 광범위한 공개 토론을 촉발했다. 

 

더 빠른 속도, 더 긴 컨텍스트 창, 더 나은 사실적 정확성, 이전 대화의 정보를 '기억'하고 다시 참조하는 향상된 기능이 있다. 또한 이전 버전에서 발생하는 윤리적 문제도 해결한다.

 

지속적인 효율성 향상과 하드웨어 비용 감소로 인해 GPT-4 및 그 파생 제품은 고객 서비스 및 기술 지원과 같은 애플리케이션으로 확산되기 시작했다. 2020년대 후반에는 5세대 및 6세대 언어 모델이 개발되어 거의 100% 시간 동안 실제 사람을 모방할 수 있는 진정한 인간과 같은 AI로 이어진다. 

 

 

gpt-4는 얼마나 많은 매개변수를 가질 것인가

 

 

 

 
PHOTO
1/6
광고
광고
광고
광고
광고
많이 본 기사
ChatGPT AI로봇 많이 본 기사
최신기사