세레브라스 인퍼런스: 엔비디아보다 20배 빠르고 100배 저렴한 AI 서비스

인공지능(AI) 반도체 스타트업 세레브라스가 AI 추론 서비스 시장에 혁신적인 제품을 선보였습니다.

'세레브라스 인퍼런스(Cerebras Inference)'는 엔비디아의 GPU 기반 서비스보다 최대 20배 빠르고, 비용 면에서도 최대 100배 더 저렴하다고 주장하고 있습니다.

AI 추론 서비스는 이미 훈련된 AI 모델을 사용해 실시간으로 작업을 수행하는 핵심 기술로, 이번 출시로 AI 시장에 큰 변화가 예상됩니다.

세레브라스 인퍼런스: 압도적인 성능과 가성비

세레브라스의 새 AI 추론 서비스는 대형언어모델(LLM)인 '라마 3.1 8B'에서 초당 1800 토큰, '라마 3.1 70B'에서 초당 450 토큰을 처리합니다.

이는 현재의 엔비디아 GPU 기반 AI 추론 서비스보다 약 20배 빠른 속도입니다.

더 놀라운 것은 가격입니다.

100만 토큰을 처리하는 데 필요한 비용은 단 10센트로, 기존 GPU 클라우드 서비스보다 100배 높은 가격 대비 성능을 제공합니다.

혁신의 비결: WSE-3 칩과 CS-3 시스템

이러한 성능과 가성비는 세레브라스의 '웨이퍼 스케일 엔진 3(WSE-3)' AI 프로세서와 'CS-3' 시스템 덕분입니다.

WSE-3 칩은 초당 1000개의 토큰을 처리할 수 있는 능력을 갖추고 있으며, 이는 광대역 인터넷 속도에 필적하는 수준입니다.

또한, CS-3 시스템은 엔비디아의 'H100' GPU보다 메모리 대역폭이 7000배 넓어, 생성 AI에서 자주 문제로 지적되는 메모리 대역폭 한계를 극복했습니다.

세 가지 서비스 티어: 무료부터 엔터프라이즈까지

세레브라스 인퍼런스는 다양한 사용자층을 겨냥해 세 가지 형태의 서비스를 제공합니다:

1. 무료 티어: 로그인한 사용자에게 무료 API 액세스와 충분한 사용량 제한을 제공합니다.
2. 개발자 티어: 유연한 서버리스 배포를 위해 설계되었으며, 라마 3.1 모델을 기준으로 100만 토큰당 10센트에서 60센트의 가격으로 API 엔드포인트를 제공합니다.
3. 엔터프라이즈 티어: 미세조정된 모델과 맞춤형 서비스 수준 계약(SLA), 전담 지원을 제공하여 대규모 기업 고객을 겨냥합니다.

세레브라스 vs. 엔비디아: AI 시장의 판도 변화

현재 AI 시장은 엔비디아가 주도하고 있지만, 세레브라스와 같은 신생 기업들의 등장은 새로운 경쟁 구도를 예고합니다.

더 빠르고 비용 효율적인 AI 추론 서비스에 대한 수요가 증가함에 따라, 세레브라스는 이러한 트렌드를 주도하며 AI 시장의 주도권을 확보하려 하고 있습니다.

 

세레브라스 인퍼런스의 출시로 AI 추론 서비스 시장은 새로운 국면을 맞이하게 되었습니다. 엔비디아에 도전장을 내민 세레브라스가 향후 AI 시장에서 어떤 역할을 할지 주목됩니다.

 

공감과 댓글은 저에게 큰 힘이 됩니다.

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱