다양한 훈련으로 AI 전력 사용량 30% 절감 가능하다.

웰스 파고의 AI 전력 수요 예측에 따르면, 이 접근 방식은 2026년에 110만 가구의 미국 가정에 전력을 공급할 만큼 충분한 에너지를 절약할 수 있다. 또한 데이터 센터가 2027년까지 전 세계 탄소 배출량의 1.2%를 차지할 것이라는 국제 통화 기금(IMF)의 예측과 그 에너지 사용에 따른 물 수요를 잠식할 수도 있다.

일부 전문가들은 이러한 비용이 환경적 이점에 의해 상쇄될 수 있다고 말한다. 그들은 AI가 공급망과 전력망을 최적화하고, 에너지 수요를 관리하고, 기후 변화에 대한 연구를 개선하는 방법을 식별함으로써 기후 변화에 맞서는 "게임 체인저"가 될 수 있다고 주장한다.

그래도 에너지 낭비를 변명할 수는 없으며, AI를 훈련하는 데 사용되는 전력 중 일부는 훈련 시간과 모델 정확도에 전혀 영향을 미치지 않는다.

"의미가 없는데 왜 돈을 써야 할까?" 미시간 대학교 컴퓨터 과학 및 공학과 조교수이자 제30회 운영 체제 원리 심포지엄에서 발표된 연구의 책임 저자인 모샤라프 초우두리는 이렇게 말했다.

"우리는 더 크고 더 큰 데이터 센터를 계속 건설할 수 없다. 왜냐하면 이를 운영할 전력이 없기 때문이다. AI가 소비하는 에너지를 줄일 수 있다면 AI의 탄소 발자국과 냉각 요구 사항을 줄이고 현재 에너지 제약에 맞게 더 많은 계산을 할 수 있다."

에너지 낭비는 AI 훈련이 대규모 데이터 및 그래픽 애플리케이션에 특화된 컴퓨터 프로세서인 GPU 간에 불평등하게 분배될 때 발생한다. 낭비의 문을 열지만 거대한 데이터 세트를 처리하려면 작업을 분할해야 한다.

"오늘날의 AI 모델은 너무 커서 단일 컴퓨터 프로세서에 맞출 수 없다." 컴퓨터 과학 및 공학과 박사 과정생이자 연구의 첫 번째 저자인 정재원 박사는 이렇게 말한다.

"훈련을 위해 수만 개의 프로세서로 나누어야 하지만 모든 프로세서에 완벽하게 동일한 크기로 모델을 나누는 것은 사실상 불가능하다."

훈련 작업은 일부 작업을 동일한 프로세서에 그룹화해야 하기 때문에 균등하게 분할하기가 매우 어렵다. 책 시리즈의 각 편을 정리된 선반에 그룹화하는 방식과 같다. 작업을 그룹화하는 방식에 따라 일부 프로세서는 브리태니커 백과사전의 AI 훈련 버전에 갇히고 다른 프로세서는 판타지 3부작을 할당받을 수 있다.

현재의 훈련 방법은 각 프로세서를 최고 속도로 실행하기 때문에 부하가 적은 프로세서는 다른 프로세서보다 먼저 계산을 마친다. 이는 모든 프로세서가 작업을 마칠 때까지 완료되지 않는 훈련 속도를 높이지는 않지만 더 빠른 계산에는 더 많은 에너지가 필요하기 때문에 낭비이다. 또한 하드웨어 결함이나 네트워크 지연과 같은 문제는 단일 프로세서의 컴퓨팅 속도를 늦춰 에너지 낭비를 일으킨다.

연구원들은 에너지를 절약하기 위해 Perseus라는 소프트웨어 도구를 개발했다. 이 도구는 완료하는 데 가장 오랜 시간이 걸리는 하위 작업 시리즈인 중요 경로를 식별한다. 그런 다음 Perseus는 중요 경로에 없는 프로세서의 속도를 늦춰 모든 프로세서가 거의 동시에 작업을 완료하도록 하여 불필요한 전력 사용을 제거한다.

초우두리는 "AI의 전력 비용을 줄이는 것은 공평한 AI 액세스에 중요한 영향을 미칠 수 있다."라고 말한다. "국가가 대규모 모델을 실행할 전력이 충분하지 않으면 멀리 떨어진 서비스를 사용하거나 더 작고 정확도가 낮은 모델을 실행하는 데 갇힐 수 있다. 이러한 격차는 다른 커뮤니티 간의 격차를 더욱 심화시킬 수 있다."

팀은 GPT-3, 다른 세 가지 대규모 언어 모델 및 하나의 컴퓨터 비전 모델을 학습하여 Perseus를 테스트했다.

Perseus는 AI 에너지 소비를 측정하고 최적화하는 도구인 Zeus의 일부로 제공되는 오픈 소스 도구이다.

출처: University of Michigan