분자 모델링에서 세계 최고의 슈퍼컴퓨터를 이긴 거대한 컴퓨터 칩

 

컴퓨터 칩은 인기 상품이다. 엔비디아는 이제 세계에서 가장 가치 있는 기업 중 하나로, 엔비디아의 칩을 생산하는 대만의 TSMC는 지정학적 세력으로 불려왔다. 그렇다면 점점 더 많은 하드웨어 스타트업과 기존 회사가 왕관에서 보석 한두 개를 가져가려고 한다는 것은 놀라운 일이 아니다.

 

이들 중 Cerebras는 가장 이상한 것 중 하나이다. 이 회사는 토르티야 크기의 컴퓨터 칩을 만들고 있으며, 각 프로세서는 자체 로컬 메모리에 연결되어 있다. 프로세서는 작지만 멀리 있는 공유 메모리와 정보를 주고받지 않기 때문에 매우 빠르다. 그리고 대부분의 슈퍼컴퓨터에서 방 크기의 컴퓨터에 걸쳐 별도의 칩을 연결해야 하는 프로세서 간의 연결도 빠르다.

 

이는 칩이 특정 작업에 탁월하다는 것을 의미한다. 이 중 두 가지(분자 시뮬레이션과 대규모 언어 모델 훈련 및 실행)에 대한 최근의 인쇄 전 연구에서는 웨이퍼 규모의 이점이 엄청날 수 있음을 보여준다. 이 칩은 전자에서 세계 최고 슈퍼컴퓨터인 프론티어(Frontier)보다 성능이 뛰어났다. 그들은 또한 단순한 AI 모델이 성능 저하 없이 일반적인 에너지의 3분의 1을 사용할 수 있음을 보여주었다.

 

분자 매트릭스

우리가 물건을 만드는 데 사용하는 재료는 기술의 중요한 동인이다. 강도나 내열성에 대한 기존의 한계를 깨뜨려 새로운 가능성을 열어준다. 융합력을 얻는다. 연구자들이 이를 작동시킬 수 있다면 이 기술은 새롭고 깨끗한 에너지원이 될 것을 약속한다. 그러나 그 에너지를 해방하려면 극한의 조건을 견딜 수 있는 재료가 필요하다.

 

과학자들은 슈퍼컴퓨터를 사용하여 핵융합로를 감싸는 금속이 열을 어떻게 처리할 수 있는지 모델링한다. 이러한 시뮬레이션은 개별 원자를 확대하고 물리 법칙을 사용하여 대규모로 원자의 움직임과 상호 작용을 안내한다. 오늘날의 슈퍼컴퓨터는 수십억 또는 심지어 수조 개의 원자를 포함하는 물질을 높은 정밀도로 모델링할 수 있다.

 

그러나 이러한 시뮬레이션의 규모와 품질은 수년에 걸쳐 크게 발전했지만 속도는 정체되었다. 슈퍼컴퓨터의 설계 방식으로 인해 초당 너무 많은 상호 작용만 모델링할 수 있으며, 기계를 더 크게 만들면 문제가 더욱 복잡해진다. 이는 분자 시뮬레이션의 전체 길이에 실제적인 한계가 있다는 것을 의미한다.

Cerebras는 Sandia, Lawrence Livermore 및 Los Alamos National Laboratories와 제휴하여 웨이퍼 규모 칩이 작업 속도를 높일 수 있는지 확인했다.

 

팀은 각 프로세서에 단일 시뮬레이션 원자를 할당했다. 따라서 위치, 동작 및 에너지에 대한 정보를 신속하게 교환할 수 있었고, 현실 세계에서 물리적으로 가까이 있는 원자를 모델링하는 프로세서도 칩의 이웃이었다. 주어진 시간의 속성에 따라 원자는 이동하면서 프로세서 사이를 이동할 수 있다.

 

연구팀은 핵융합로에 유용할 수 있는 구리, 텅스텐, 탄탈륨 등 세 가지 재료로 800,000개의 원자를 모델링했다. 결과는 매우 놀라웠다. 탄탈륨 시뮬레이션은 Frontier 슈퍼컴퓨터에 비해 179배의 속도 향상을 가져왔다. 이는 이 칩이 슈퍼컴퓨터에서 1년 동안 수행해야 할 작업을 며칠 만에 처리하고 시뮬레이션 시간을 마이크로초에서 밀리초로 크게 연장할 수 있음을 의미한다. 또한 작업에서도 훨씬 더 효율적이었다.

 

“나는 20년 넘게 재료의 원자 시뮬레이션 작업을 해왔다. 그 기간 동안 저는 시뮬레이션의 규모와 정확성 측면에서 대대적인 개선에 참여했다. 하지만 그럼에도 불구하고 실제 시뮬레이션 속도를 높이지는 못했다. 시뮬레이션을 실행하는 데 필요한 벽시계 시간은 지난 15년 동안 거의 변하지 않았다.”라고 Sandia National Laboratories의 에이단 톰슨(Aidan Thompson)은 성명에서 말했다. "Cerebras 웨이퍼 스케일 엔진을 사용하면 갑자기 극초음속의 속도로 주행할 수 있다."

 

칩이 모델링 속도를 높여주지만 규모 면에서 경쟁할 수는 없다. 시뮬레이션된 원자 수는 칩의 프로세서 수로 제한된다. 다음 단계에는 각 프로세서에 여러 원자를 할당하고 64개의 Cerebras 시스템을 함께 연결하는 새로운 웨이퍼 규모 슈퍼컴퓨터를 사용하는 것이 포함된다. 팀은 이 기계가 연구에서와 유사한 속도로 최대 4천만 개의 탄탈륨 원자를 모델링할 수 있다고 추정한다.

 

AI 라이트

실제 세계를 시뮬레이션하는 것은 웨이퍼 규모 칩의 핵심 역량일 수 있지만 항상 인공지능에 중점을 두었다. 최신 AI 모델은 기하급수적으로 성장했다. 이는 이를 훈련하고 실행하는 데 드는 에너지와 비용이 폭발적으로 증가했음을 의미한다. 웨이퍼 규모의 칩은 AI를 더욱 효율적으로 만들 수 있다.

 

별도의 연구에서 Neural Magic과 Cerebras의 연구원들은 Meta의 70억 매개변수 Llama 언어 모델의 크기를 줄이기 위해 노력했다. 이를 위해 그들은 많은 알고리즘 매개변수가 0으로 설정된 "희소" AI 모델을 만들었다. 이론적으로 이는 건너뛸 수 있어 알고리즘을 더 작고, 더 빠르고, 더 효율적으로 만들 수 있음을 의미한다. 그러나 그래픽 처리 장치(또는 GPU)라고 하는 오늘날의 주요 AI 칩은 알고리즘을 덩어리로 읽는다. 즉, 0으로 설정된 매개변수를 모두 건너뛸 수는 없다.

 

메모리는 웨이퍼 크기의 칩에 분산되어 있기 때문에 모든 매개변수를 읽고 매개변수가 발생할 때마다 0을 건너뛸 수 있다. 그럼에도 불구하고 극도로 희소한 모델은 일반적으로 밀도가 높은 모델만큼 성능이 좋지 않다. 하지만 여기서 팀은 약간의 추가 훈련을 통해 손실된 성능을 회복할 수 있는 방법을 찾았다. 해당 모델은 매개변수의 70%가 0으로 설정된 경우에도 성능을 유지했다. Cerebras 칩에서 실행되는 이 제품은 전체 크기 모델에 비해 30%의 적은 에너지를 소비하고 실행 시간은 3분의 1에 불과했다.

 

웨이퍼 규모의 승리?

이 모든 것이 인상적이지만 Cerebras는 여전히 틈새 시장이다. Nvidia의 보다 전통적인 칩은 시장을 확고히 장악하고 있다. 적어도 현재로서는 이러한 상황이 바뀔 가능성은 거의 없어 보인다. 기업들은 Nvidia를 중심으로 구축된 전문 지식과 인프라에 막대한 투자를 해왔다.

 

그러나 웨이퍼 규모는 틈새 시장에서 계속해서 입증될 수 있지만 여전히 중요한 연구 응용 분야이다. 그리고 접근 방식이 전반적으로 더욱 일반화될 수도 있다. 웨이퍼 규모의 칩을 만드는 능력은 이제야 완벽해졌다. 세계 최대의 칩 제조업체인 TSMC는 이 분야 전체에 대한 힌트로 최근 웨이퍼 규모 역량을 구축하고 있다고 밝혔다. 이로 인해 칩이 더욱 일반화되고 성능이 향상될 수 있다.

 

분자 모델링 작업을 담당하는 팀은 웨이퍼 규모의 영향이 더욱 극적일 수 있다고 말한다. 이전의 GPU와 마찬가지로 슈퍼컴퓨팅 믹스에 웨이퍼 규모의 칩을 추가하면 미래에 강력한 머신이 탄생할 수 있다.

 

"향후 작업은 여기에서 입증된 강력한 확장 효율성을 시설 수준 배포로 확장하는 데 중점을 둘 것이며 잠재적으로 GPU 혁명으로 도입된 것보다 상위 500대 슈퍼컴퓨터 목록에서 훨씬 더 큰 패러다임 전환을 가져올 것이다."라고 팀은 논문에서 썼다.

이미지 출처: Cerebras