메타, '라마 3.2' 1B 및 3B 모델 업그레이드

메타가 모바일과 엣지 장치에 최적화된 초소형 인공지능(AI) 모델 '라마 3.2 1B' 및 '3B'의 업그레이드 버전을 출시했습니다.

이번 업데이트는 온디바이스 AI 분야에서의 경쟁을 더욱 치열하게 만들 것으로 보입니다.

업그레이드된 모델의 특징

메타는 2024년 9월에 열린 연례 개발자 컨퍼런스 '커넥트 2024'에서 텍스트 전용 모델인 라마 3.2 1B 및 3B의 압축 버전을 공개했습니다.

이 새로운 모델들은 메모리 사용량이 기존 모델의 절반도 안 되면서도 성능은 최대 4배 향상된 것이 특징입니다.

 

이 업그레이드는 '양자화(quantization)'라는 기술을 사용하여 AI 모델의 크기를 줄이고 계산을 단순화했습니다.

양자화는 모델의 가중치 정밀도를 낮춰 모델 크기를 줄이는 과정입니다.

 

특히 메타는 'Q로라(QLoRA)'와 '스핀퀀트(SpinQuant)'라는 두 가지 방법을 결합하여 양자화 작업을 진행했습니다.

Q로라는 가중치 당 저비트 혼합 구성을 사용하여 압축하지 않은 모델과 동일한 정확도를 유지하는 기술이며, 스핀퀀트는 최상의 저비트 조합을 찾아 최적의 성능을 보장합니다.

성능 개선

테스트 결과, 업그레이드된 모델은 평균 56% 크기가 감소하고 추론 처리 속도는 2배에서 4배 향상되었습니다.

예를 들어, 안드로이드 '원플러스(OnePlus) 12' 휴대폰에서 모델이 성능 손실 없이 메모리 사용량을 평균 41% 줄였습니다.

 

메타는 퀄컴 및 미디어텍과 협력하여 ARM 기반 시스템 온 칩(SoC) 하드웨어에 최적화하고, 개발자들이 안드로이드 및 iOS 업데이트를 기다리지 않고도 AI 애플리케이션을 쉽게 구축할 수 있도록 ARM 기반 '클레이디(Kleidi)' AI 커널을 활용하고 있습니다.

시장 경쟁

구글은 '젬마', 마이크로소프트는 '파이'라는 오픈 소스 AI 모델을 출시하며 시장에서 경쟁하고 있습니다.

메타는 오픈 소스의 원조로서 이번 모델을 통해 온디바이스 AI 시장에 본격적으로 도전하게 되었습니다.

라마 3.2 1B 및 3B의 압축 버전은 라마 웹사이트와 허깅페이스에서 다운로드할 수 있습니다.

당신을 위한 3줄 요약

메타가 '라마 3.2 1B' 및 '3B' 모델을 업그레이드하여 성능을 향상시켰습니다. 이 모델들은 메모리 사용량을 줄이고 속도를 크게 개선했습니다. 메타는 온디바이스 AI 시장에 본격적으로 도전하고 있습니다.

3 line summary for you

Meta upgraded the 'Llama 3.2 1B' and '3B' models to enhance performance. These models reduce memory usage and significantly improve speed. Meta is now officially challenging the on-device AI market.

 

구독!! 공감과 댓글,

광고 클릭은 저에게 큰 힘이 됩니다.

 

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱