누스, GPU 효율 1만 배 향상하는 '디스트로' 공개: 유휴 GPU를 활용한 혁신적인 AI 훈련 솔루션

AI 스타트업 누스 리서치가 AI 모델 학습 과정에서 GPU 효율을 최대 1만 배 향상시키는 혁신적인 도구, '디스트로(DisTrO)'를 공개했습니다.

이 도구는 전 세계의 유휴 GPU를 연결해 클라우드 없이도 소비자 수준의 인터넷으로 강력한 AI 모델을 훈련할 수 있게 해주는 기술로 주목받고 있습니다.

이번 블로그에서는 디스트로의 주요 기능과 장점, 그리고 이 기술이 AI 훈련에 미치는 영향을 자세히 살펴보겠습니다.

 

1. 디스트로란 무엇인가?

디스트로는 AI 모델을 훈련하는 과정에서 GPU 간의 데이터 전송 효율을 획기적으로 향상시키는 최적화 도구입니다.

기존의 '올-리듀스(All-Reduce)' 알고리즘과 비교해 효율성이 857배 향상되었으며, 데이터 전송량을 74.4GB에서 86.8MB로 대폭 줄여주는 성과를 보여줍니다.

디스트로 대 올-리듀스

 

2. 디스트로의 주요 기능과 장점

• 효율성 극대화: 디스트로는 GPU 간의 통신 오버헤드를 4~5배 줄이면서도 훈련의 수렴 속도에 영향을 미치지 않습니다. 이를 통해 대규모 모델을 느린 인터넷 연결에서도 훈련할 수 있게 합니다.
  
  
• 대역폭 요구 사항 감소: 대형언어모델(LLM)의 사전 훈련 단계에서 대역폭 요구 사항이 최대 1000배에서 3000배까지 감소하며, 후속 훈련 및 미세조정에서는 최대 1만 배까지 줄어들 수 있습니다.
  
  
• 광범위한 적용 가능성: 디스트로는 LLM뿐만 아니라 스테이블 디퓨전, 미드저니와 같은 대형 확산 모델에도 적용 가능합니다.

3. 디스트로의 작동 방식

디스트로는 전 세계에 분산된 GPU를 소비자 인터넷을 통해 연결하여 모델 훈련을 진행할 수 있도록 합니다.

기존의 높은 대역폭을 요구하는 중앙 집중식 학습 방식 대신, 다양한 지역에 분산된 컴퓨팅 자원을 활용하여 분산형 협력 접근 방식을 채택합니다.

구체적으로는 32개의 'H100' GPU를 사용한 평가에서 디스트로가 통신 요구 사항을 크게 줄이면서도 기존의 올-리듀스와 동일한 수렴 속도를 달성한 것으로 보고되었습니다.

 

4. 환경적 및 경제적 영향

 

누스는 디스트로가 기존의 데이터센터 인프라 사용을 최적화하고, 대규모 데이터센터의 필요성을 줄여 AI 훈련의 환경적 영향을 완화하는 데 도움이 될 것이라고 밝혔습니다.

이는 리소스를 많이 소모하는 중앙 집중식 데이터센터에서 벗어나, 보다 효율적이고 환경 친화적인 AI 훈련 방식을 제공하는 중요한 전환점이 될 것입니다.

 

5. 커뮤니티 반응과 향후 전망

디스트로의 공개에 대해 커뮤니티는 긍정적인 반응과 함께 기술의 실제 적용 가능성에 대한 기대를 표명하고 있습니다.

특히, 유휴 GPU를 활용한 분산형 학습 접근 방식은 AI 훈련의 접근성을 크게 개선할 수 있을 것으로 보입니다.

누스는 이 기술을 통해 AI 훈련의 효율성을 높이고, 글로벌 규모의 협력적 학습 환경을 구축해 나갈 계획입니다.

 

결론

누스의 '디스트로'는 GPU 효율을 획기적으로 향상시키며, 유휴 GPU를 활용해 AI 모델을 훈련할 수 있는 혁신적인 도구입니다. 이 기술은 AI 훈련의 접근성을 높이고, 환경적 영향을 줄이며, 향후 AI 모델 학습 방식의 변화를 이끌어낼 중요한 기술로 주목받고 있습니다.

 

공감과 댓글은 저에게 큰 힘이 됩니다.

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱