엔비디아는 1993년 지금의 CEO 인 젠슨 황에 의해서 1993년 실리콘밸에서 설립되었어요. 게임에 사용되는 그래픽 칩(반도체)을 만드는 회사로 시작했는데 ‘세가’의 버추어파이터1 이라는 게임에 엔비디아의 첫 제품인 NV1 이 적용되었다고 해요. 엔비디아는 1999년 첫 GPU(Graphic Processing Unit)인 엔비디아 지포스를 내놓는데 인텔, AMD 가 PC에 탑재하는 CPU(Central Processing Unit)에서 그 이름을 따왔습니다.
주로 게임이나 그래픽작업용으로 사용되던 GPU는 의외의 용도가 2010년대 들어 발견되는데요. 바로 인공지능 딥러닝!
딥러닝의 기초가 되는 심층신경망은 AI 학습을 위해 단순한 계산을 수없이 많이 반복시키는 과정을 거치는데 병렬연산에 강한 GPU 가 이 학습에 효과적이라는 것을 연구자들이 발견한거죠.
병렬연산이란 쉽게 말하면 여러 가지 계산을 동시에 많이 하는 것을 말해요. CPU 는 어려운 계산에 강한반면 GPU는 쉬운 계산을 동시에 하는 것에 강합니다.
그리고 2012년 인공지능 역사의 정말 상징적인 사건이 발생하는데요. 이미지를 인식하는 AI의 능력을 겨루는 ‘이미지넷 2012' 행사에서 딥러닝을 기반으로한 알렉스넷이 승리한 것. 당연히 이 알렉스넷은 엔비디아의 GPU를 사용했죠. 이후 모든 딥러닝 AI 연산은 GPU를 사용하게 되었습니다.
엔비디아는 GPU 가 탄생했을 때부터 생태계 구축에 무척 심혈을 기울였는데요. 2007년 CUDA(Computer Unified Device Architecture)라는 이름으로 병렬 컴퓨팅(행렬연산)에 특화된 플랫폼과 소프트웨어를 개발하기 시작했어요. 당연히 GPU를 사용하는 대부분의 사람들이 이 CUDA 플랫폼 위에서 개발을 하고 학습을 하고 있죠. 이 CUDA 는 엔비디아가 AI반도체 시장을 꽉 잡고 있는 이유이기도 해요. 엔비디아의 AI 반도체 시장 점유율은 약 80%에 달하고 2023년 3분기 데이터센터 GPU 매출은 38억달러에 달해요. 엔비디아 3분기 매출의 64%에 달하는 높은 비중.
굳건할 것 같은 엔비디아의 GPU에 도전자가 등장하게 되는데요. 바로 AI 원탑인 구글. 구글은 2013년 제프리 힌튼 교수 등 유명한 딥러닝 연구자들을 영입하고 2014년에는 딥마인드를 인수하는 등 대규모 투자를 하기 시작하는데요. 2016년 바둑 기사 이세돌과 알파고의 대국이 딥러닝 분야에서 구글의 기술력을 보여준 상징적인 이벤트였어요.
2016년 알파고 대국에는 엔비디아의 GPU뿐 아니라 구글이 직접 만든 TPU(Tensor Processing Unit)가 사용된 것으로 알려져 있있요. GPU 같은 행렬연산에 특화된 반도체인데, GPU처럼 그래픽 처리까지 잘하는 것이 아니라 오직 AI 연산에만 집중하는 반도체죠. 텐서(Tensor) 란 다중차원의 행렬을 의미하는데 AI 연산이란 이 텐서를 계속 계산하는 것이거든요.
TPU 의 등장으로 AI 반도체 시장은 1황인 엔비디아에 무수히 많은 도전자들이 등장하는 ‘大 AI반도체의 시대’가 열리게 되었습니다.
AI 반도체 시장을 이해하기 위해 먼저 우리가 알아야하는 것이 있어요. 바로 1) 클라우드와 2) 딥러닝에서 학습과 추론의 차이죠!
먼저 클라우드.
클라우드란 컴퓨팅 자원을 온디맨드로 사용한 만큼 지불하는 것을 뜻하는데요. (a마치 우리가 전기를 사용한만큼만 사용하듯!) AI 도 클라우드로 가면 마찬가지. AI 학습에 필요한 GPU 자원을 클라우드로 사용하는 경우가 이제 많답니다. 이 말은 고가의 GPU가 설치된 데이터센터가 어딘가에 있고 이것을 빌려쓴다는 뜻이죠.
GPU 가 설치된 고가의 데이터센터를 운영하는 기업들은 대부분 CSP 라고 하는 클라우드 서비스 제공업체들이죠. 대표적인 곳이 AWS, MS 애저, 구글같은 곳인데 이 회사들은 엔비디아의 비싼 GPU를 사서 AI 데이터센터를 구축하게되요. 그런데 그 비용이 어마어마하죠. 그래서 비용을 줄이기 위해 직접 자신들의 반도체를 개발하기 시작하게됩니다.
구글의 TPU, AWS의 인페렌시아가 대표적이죠. MS 는? MS 는 엔비디아와 전략적 제휴를 해서 자체적인 AI 반도체 개발을 하지 않는 것 아닐까 합니다(제 추측입니다).
클라우드 사업을 확대하려는 네이버가 삼성전자와 손잡고 AI 반도체를 만들거나 KT클라우드가 AI 반도체 스타트업에 투자한 것도 이런 큰 그림으로 봐야합니다.
인공지능이 반도체(GPU)를 사용하는 경우는 크게 두 가지. 첫 번째는 모델을 만들기 위해 데이터를 엄청나게 집어넣고 연산을 수없이 반복시키는 것이죠. 연산된 결과로 모델은 계속 수정을 반복하게 되는데요. 이것이 바로 AI의 학습과정. 이 경우 중요한 것은 한 번에 많은 것을 계산하는 능력(Throughput). 그래야 학습과정에 소요되는 돈과 속도를 다 아낄 수 있거든요.
예를 들어 챗GPT를 만들기 위해서는 수많은 인터넷의 텍스트 데이터를 이용해서 인공지능을 학습시켜야합니다. GPT-3 라는 모델이 나오는 거죠. 그리고 이 학습에서 끝나는 것이 아니라 특정 분야로 파인튜닝을 하기 위한 학습을 거친 것이 우리가 접하는 챗GPT 에요.
이렇게 학습을 거치면 AI 모델이 완성이 되는데요. 이 모델은 이제 저희가 어떤 인풋을 넣으면 답을 뱉어내게됩니다. 저희가 챗GPT에 질문을 넣으면 답을 해주는 것처럼요. 이것도 역시 계산의 과정을 거치게되는데요. 여기도 AI 반도체가 사용됩니다. 이 과정을 추론이라고 해요.
이 같은 추론 과정에서 중요한 것은 속도(Latency). 왜냐면 추론은 직접 소비자에게 제품형태로 판매되는 경우에 쓰이기 때문이에요.
추론의 경우 데이터센터 내에서 이뤄질 수도 있지만, 고객이 사용하는 PC나 스마트폰에서 이뤄질 수도 있죠. 이걸 엣지 컴퓨팅이라고 하는데 여기에도 AI반도체를 집어넣는 경우가 많아지고 있어요. NPU(Neural Processing Unit)이라고 불리는 경우가 많은 것 같은데 애플의 M1, M2 칩이나 퀄컴 스냅드래곤, 삼성 엑시노스 같은 스마트폰 AP에는 추론용의 AI반도체 기능이 들어갑니다. 다만 이런 엣지 NPU 시장은 챗GPT 와 같은 초거대AI 에 사용되는 AI반도체와는 별도의 시장으로 봐야할 것 같아요. (엔비디아가 ARM을 인수하려고 했던 이유이기도 😎)
이처럼 AI 반도체에 학습과 추론의 차이가 있기 때문에 많은 기업들이 학습용 AI 반도체, 추론용 AI 반도체를 따로 만들어서 엔비디아에게 도전하고 있어요. 학습용 AI 반도체의 경우 CUDA를 기반으로 엔비디아가 구축해놓은 철옹성이 너무 강력하기 때문에 추론용 AI 반도체를 먼저 공략하는 경우가 많다고 합니다.
아래는 엔비디아에 도전하는 대표적 AI 반도체 회사들입니다.
구글 : TPU
아마존(AWS) : 인페런시아(추론용), 트레이니움(학습용)
인텔 : 하바나랩스 가우디(학습용), 하나바랩스 그레코(추론용)
AMD : 인스팅트, FPGA
SK(한국) : 사피온
스타트업 :
(해외) 그래프코어, 세레브라스, 삼바노바
(한국) 리벨리온, 퓨리오사AI
미라클레터 책 얘기는 오늘까지만!
생성형AI, 반도체, 클라우드 기초 알고 싶다면
미라클레터 500호 발행을 맞아, 레터의 내용을 묶어 책을 내보자는 프로젝트를 시작한 것이 9월. 독자님들께 제목 공모까지 받아서 책이 11월 말에 나오게 되었어요. 개인적으로는 10년만에 제가 저자로 참여한 책을 내게되어서 무척이나 기뻤습니다! 책을 구매해주신 많은 미라클러님들께 감사하다는 말씀 드리고 싶습니다!
이 책에는 생성형AI 를 비롯해 오픈AI 의 달리2, 스태빌리티AI CEO 인터뷰까지 업계의 뜨거운 이슈를 담았는데..
12월 초 챗GPT 라는 엄청난 녀석이 나와버려서... 생성형 AI 는 저희의 예상보다 훨씬 빠르고 강력하게 세상을 놀라게 만들어버렸습니다.
그래서.. 아쉽게도 이 책에는 챗GPT 가 나오지 않습니다.. (GPT 는 많이 나옵니다🤣) 미라클러님들께 부끄럽지 않게 열심히 책 홍보도 했지만 챗GPT 를 다루지 못한 것이 계속 아쉽네요.. 그럼 훨씬 더 많이 팔렸을지도??
그래도 이 책에는 테크 관련된 많은 기초적인 내용을 담았습니다.
생성형AI 의 탄생
전세계 반도체 시장
클라우드와 데이터센터
VR과 메타버스
스페이스X 와 우주산업
유튜브와 넷플릭스
리테일미디어와 아마존
이 책을 읽고 미라클레터를 읽으신다면 훨씬 이해가 쉬울거에요. 😆 자세한 정보는 아래 링크에!
a talking ai is holding a semiconductor <오픈AI/달리2>
챗GPT 로 더 큰 AI시장이 열린다
이같은 도전에도 불구하고 새로운 도전자들이 엔비디아의 GPU가 차지한 시장을 차지하기는 쉽지 않을 것 같다고 AI 생태계에 있는 분들은 모두 말하고 있어요. 많은 연구자나 기업들이 엔비디아 CUDA 생태계에 락인 되어있는 것도 크지만 기술의 발달 속도가 워낙 빠르기 때문이기도 해요. 현재 시점을 기준으로 엔비디아의 GPU 보다 뛰어난 성능의 반도체를 만들었다고 해도, 엔비디아도 그 사이에 성능을 향상시키기 때문이죠. 여전히 2배 이상 성능이 좋다고 해도 고객 입장에서는 갈아탈 이유가 크지 않습니다.
하지만 챗GPT 로 인해서 AI 시장에 대한 관심이 커지면서 도전자들에게도 기회가 생길 것으로 보여집니다. 먼저 챗GPT 가 만들어진 초거대모델의 사용이 늘어날 텐데요. 모델이 커질수록 컴퓨팅 비용이 천문학적으로 커지게 됩니다.
AI 컴퓨팅 오케스트레이션 서비스인 ‘백엔드.AI’를 서비스하는 래블업의 신정규 대표는 이렇게 말했습니다.
“거대 AI모델은 해마다 모델이 10배씩 커지고 있는데 반도체 성능의 발전이 따라가지 못하고 있다. 학습용 반도체의 경우 소비하는 전력만해도 어마어마하다"
이렇게 되면 고객들도 비용에 대해서 민감해지게 되는데요. 초거대AI 학습에 드는 비용과 AI 로 돈을 벌 수 있는 비용에 대해서 신중하게 따지는 것이 필요하게 됩니다. 그러다보면 후발 주자들도 기회를 얻을 수가 있는거죠.
또, AI의 사용이 전반적으로 늘어나게 되면 추론에 전문화된 AI 반도체의 사용이 늘어날 수도 있을 것 같아요. 단적으로 검색엔진에 챗GPT 가 도입된다면 추론용도로 사용되는 AI 의 사용도 늘어나게될 것 같아요.
한줄 브리핑 📢
돈 버는 우버, 돈 못버는 리프트: 차량공유 서비스 미국 1위인 우버가 지난해 4분기 86억달러의 매출을 기록해 전년동기대비 49%나 성장. 우버는 흑자를 기록하지는 못했지만 올해 중으로 손익분기점을 돌파할 것이라고 발표. 반면 2위인 리프트는 12억달러로 21억 달러 성장에 그쳤어요. 우버 대비 성장세 둔화가 나타나면서 리프는 주가가 30% 가까이 하락. 그동안 적자를 기록했던 1위 플랫폼 기업들의 수익성이 개선되는걸까요?
크라켄 미국내 스테이킹 중단: 미국 암호화폐 거래소 중 하나인 크라켄이 미 국내 스테이킹 사업을 중단하고 SEC(증권감독위원회)에 300만 달러 합의금을 지불. 스테이킹은 코인의 유동성을 포기하는 대신 이자를 받는 암호화폐 업계의 예금과 같은 제도. 스테이킹에 대한 규제가 생기는 것이 아닌가 하는 우려가 커지고 있어요.
베네딕트 에반스의 2023년 테크 트렌드: 테크 애널리스트로, a16z 에서 벤처캐피털리스트로 일했던 베네딕트 에반스가 매년 발표하는 트렌드가 올해도 발표되었어요. 인사이트 넘치는 그래픽이 많은 발표자료를 읽어보실 수 있습니다
