AI21랩스의 잠바 1.5, SSM-트랜스포머 결합으로 성능 강화

2024년 8월, 이스라엘 스타트업 AI21랩스가 기존의 트랜스포머 아키텍처를 보완한 하이브리드 대형언어모델(LLM) ‘잠바(Jamba) 1.5’를 오픈 소스로 공개했습니다.

이번에 발표된 잠바 1.5는 이전 버전인 잠바 1.0의 개선된 형태로, SSM(State Space Model) 아키텍처를 트랜스포머 아키텍처와 결합한 것이 특징입니다.

 

트랜스포머는 2017년 구글이 개발한 이후, LLM의 대중화를 이끈 혁신적인 아키텍처로 꼽히지만, 긴 컨텍스트 창을 처리할 때 성능 저하 및 메모리 사용량 증가라는 문제를 안고 있었습니다.

이러한 문제를 해결하기 위해 AI21랩스는 맘바(Mamba) SSM 아키텍처를 결합하여 효율성을 높였습니다.

 

특히, 잠바 1.5는 25만6000 토큰 길이의 컨텍스트 창을 지원하여 현존하는 오픈 소스 모델 중 가장 큰 처리량을 자랑합니다.

또한, 전문가 혼합(MoE, Mixture of Experts) 모델을 채택하여 복잡한 추론 작업도 효율적으로 처리할 수 있습니다.

이를 통해, 잠바 1.5 미니는 520억 매개변수 중 120억 개만, 잠바 1.5 라지는 3980억 매개변수 중 940억 개만 활성화하여, 동일 크기의 트랜스포머 전용 모델보다 더 효율적인 성능을 발휘합니다.

 

잠바 1.5는 특히 AI 에이전트 시스템을 구축하는 데 최적화되어 있어, 함수 호출, 도구 사용, JSON 모드, 인용 모드 등 다양한 에이전트 기능을 지원합니다. 이러한 기능은 사용자들이 AI를 활용하여 보다 정교한 작업을 수행할 수 있게 도와줍니다.

 

벤치마크 테스트 결과에 따르면, 잠바 1.5는 라마 3.1 70B, 라마 3.1 405B, 미스트랄 라지 2 등의 모델에 비해 가장 긴 컨텍스트 창에서 2배 빠른 응답 지연 시간을 달성했습니다.

현재 잠바 1.5는 허깅페이스(Hugging Face)에서 오픈 라이선스로 제공되며, 상업적 용도로도 사용할 수 있습니다.

 

이번 잠바 1.5의 출시는 LLM 시장에서 AI21랩스의 위치를 더욱 강화할 것으로 보입니다.

AI21랩스는 AWS, 구글 클라우드, MS 애저, 스노우플레이크, 데이터브릭스, 엔비디아와 파트너십을 맺고 있어, 이번 모델이 다양한 산업에서 광범위하게 활용될 것으로 기대됩니다.

공감과 댓글은 저에게 큰 힘이 됩니다.

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱