AI2, 고성능 저비용 모델 '올모E(OLMoE)' 출시: 최초로 MoE 방식의 오픈소스 공개

전문가 혼합(MoE) 기반의 대형 언어 모델, 올모E로 AI 연구의 새로운 장을 열다

비영리 민간 AI 연구기관 앨런AI연구소(AI2)가 올모E(OLMoE)를 출시했습니다.

이 모델은 전문가 혼합(MoE) 방식의 대형 언어 모델(LLM)로, 오픈소스 형태로 공개된 최초의 MoE 기반 모델입니다.

AI2는 모델의 가중치, 훈련 데이터, 코드 등 모든 정보를 투명하게 공개하며, AI 커뮤니티에 큰 영향을 미칠 것으로 기대됩니다.

올모E의 주요 특징

1. MoE 방식의 혁신

올모E는 MoE(Experts Mixture of Experts) 방식을 활용하여 모델의 성능을 극대화하면서도 비용을 절감합니다.

MoE 방식은 대형 언어 모델을 여러 개의 전문 모델로 나누어, 필요할 때마다 특정 전문 모델을 활성화하여 사용하는 방식입니다.

올모E는 64개의 전문 모델 중에서 한 번에 8개만 활성화하고, 전체 70억 매개변수 중 10억개만 활성화하여 효율적인 추론과 메모리 절감을 구현했습니다.

2. 저비용 고성능

올모E는 OLMo 1.7-7B를 기반으로 하며, 4096 토큰의 컨텍스트 창을 지원합니다.

DCLM과 돌마(Dolma) 데이터셋을 혼합하여 훈련된 이 모델은 비슷한 활성 매개변수를 가진 기존 모델들을 능가하는 성능을 자랑합니다.

특히 Pythia, TinyLlama 등과 비교하여 압도적인 성능을 보였으며, 미스트랄-7B, 라마 3.1-8B와 유사한 성능을 보이는 동시에 더 큰 모델들인 라마2-13B-챗과 딥시크 MoE-16B를 초월하는 결과를 보였습니다.

3. 완전한 오픈 소스 공개

AI2는 올모E를 통해 MoE 아키텍처의 오픈 소스 모델을 최초로 공개했습니다.

기존의 MoE 모델들은 대부분 폐쇄형 소스로, 모델의 가중치와 훈련 데이터, 코드가 비공개로 남아 있었습니다.

AI2는 이러한 장벽을 허물고, 연구자와 개발자들이 MoE 모델의 전체적인 구조와 동작 방식을 투명하게 이해하고 활용할 수 있도록 하고 있습니다.

MoE 방식의 미래

MoE 아키텍처는 모델의 성능을 크게 향상시키면서도 비용과 자원 소모를 줄일 수 있는 가능성을 열어줍니다.

그러나 기존 MoE 모델들은 대부분 비공식적인 문서나 제한된 정보만을 제공하여 연구자들이 실제로 활용하기 어려운 경우가 많았습니다.

AI2는 이러한 상황을 변화시키며, MoE 방식의 연구와 개발을 보다 민주화하고, 모델의 투명성을 높이기 위해 큰 발걸음을 내디뎠습니다.

 

올모E의 출시는 단순히 새로운 모델을 제공하는 것 이상의 의미를 갖습니다.

이는 AI 연구의 개방성과 혁신을 촉진하는 중요한 이정표가 될 것이며, 많은 연구자들이 더 나은 AI 솔루션을 개발하는 데 기여할 수 있는 기회를 제공할 것입니다.

 

올모E는 MoE 아키텍처의 가능성을 현실로 구현한 오픈 소스 모델입니다.

AI2의 혁신적인 접근 방식은 대형 언어 모델의 개발과 연구에 새로운 기준을 제시하며, AI 커뮤니티의 발전에 큰 기여를 할 것입니다.

연구자와 개발자들은 올모E를 통해 저비용 고성능 AI 모델의 개발과 활용을 보다 손쉽게 진행할 수 있게 될 것입니다.

 

구독!! 공감과 댓글은 저에게 큰 힘이 됩니다.

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱