구글, 초소형 AI 모델 '젬마 2 2B' 출시! 성능은 GPT-3.5를 초월

오늘은 구글이 최근 발표한 최신 AI 모델에 대해 흥미진진한 소식을 전해드리려 합니다.

바로 구글이 새롭게 출시한 초소형 오픈 소스 AI 모델, '젬마 2 2B'에 관한 이야기입니다.

이 모델이 어떤 혁신을 가져왔는지, 그리고 우리가 주목해야 할 점은 무엇인지 함께 알아보겠습니다.

구글의 혁신, '젬마 2 2B'가 가져온 변화

구글은 지난 8월 1일, 26억 개의 매개변수를 가진 '젬마 2 2B' 모델을 공개했습니다.

이 모델은 비록 작은 규모지만, 그 성능은 매우 놀라운 수준입니다.

구글은 이 모델이 오픈AI의 'GPT-3.5'와 미스트랄의 '믹스트랄 8x7B'보다 뛰어난 성능을 발휘한다고 주장하고 있습니다.

실제로, LMSYS의 챗봇 아레나에서 '젬마 2 2B'는 1130점을 기록하며, 매개변수가 10배 더 많은 'GPT-3.5-터보'의 1117점과 '믹스트랄 8x7B'의 1114점을 제치고 높은 점수를 기록했습니다.

 

이 모델의 성과는 단순히 숫자에 그치지 않습니다. '젬마 2 2B'는 추론 능력 벤치마크인 MMLU에서 56.1점을 기록하며, 코딩 관련 벤치마크인 MBPP에서는 36.6점을 기록했습니다.

이는 이전 모델보다 상당히 개선된 수치로, 효율적인 아키텍처와 정교한 훈련 기법 덕분입니다.

구글은 이러한 성과가 매개변수 규모 차이를 보완할 수 있음을 보여준다고 설명합니다.

왜 '젬마 2 2B'가 특별한가?

'젬마 2 2B'는 단순히 작은 모델에 그치지 않고, 모델 압축 및 증류(distillation) 기술을 통해 그 성능을 극대화한 점이 주목할 만합니다.

증류는 큰 모델에서 작은 모델로 지식을 효과적으로 전이하는 기법으로, 이를 통해 더 작고 접근 가능한 AI 모델을 만들 수 있습니다.

이 과정은 컴퓨팅 요구 사항을 줄이고, 대형 AI 모델의 훈련 및 실행에 따른 환경 영향을 줄이는 데 도움을 줍니다.

 

또한, '젬마 2 2B'는 구글의 최신 TPU v5e 칩을 사용해 2조 개 토큰 규모의 데이터셋으로 훈련된 다국어 모델입니다.

이로 인해 '젬마 2 2B'는 다양한 언어와 작업에 대해 뛰어난 성능을 발휘할 수 있습니다.

구글의 새로운 AI 안전 기술, '쉴드젬마'와 '젬마 스코프'

구글은 이번 발표와 함께 '쉴드젬마(ShieldGemma)'라는 최신 안전 분류기도 공개했습니다.

'쉴드젬마'는 혐오 발언, 괴롭힘, 노골적인 성적 콘텐츠, 위험한 콘텐츠 등 4가지 영역에서 유해 콘텐츠를 필터링합니다.

이는 '젬마 2' 모델을 기반으로 하며, 온라인 및 오프라인 애플리케이션에 최적화된 다양한 버전이 있습니다.

 

추가적으로, '젬마 스코프(Gemma Scope)'라는 도구도 공개되었습니다. '젬마 스코프'는 희소 오토인코더(SAE)를 사용하여 모델의 개별 기능을 식별하고 추적할 수 있게 해줍니다.

이를 통해 개발자들은 AI 시스템의 내부 작동 방식을 더 잘 이해하고, 보다 책임감 있고 신뢰할 수 있는 AI 시스템을 구축할 수 있습니다.

결론: AI의 미래를 한 걸음 더 나아가다

구글의 '젬마 2 2B'는 단순한 기술적 진보를 넘어, AI 모델의 가능성을 새롭게 정의하고 있습니다.

작은 모델이지만 그 성능은 기존의 큰 모델들과 견줄 만한 수준이며, 효율적인 모델 압축과 증류 기법을 통해 AI의 접근성과 환경적 영향을 줄이려는 노력이 돋보입니다.

또한, '쉴드젬마'와 '젬마 스코프'를 통해 AI의 안전성과 신뢰성을 높이려는 구글의 노력도 인상적입니다.

앞으로 '젬마 2 2B'가 AI 기술의 새로운 이정표가 될 것으로 기대됩니다.

당신을 위한 3줄 요약

구글이 새로 출시한 '젬마 2 2B'는 26억 매개변수의 초소형 모델임에도 불구하고 GPT-3.5와 믹스트랄 8x7B를 능가하는 성능을 보여주고 있습니다.

증류 기술을 활용하여 작은 모델로도 높은 성능을 발휘하며, AI의 접근성과 환경적 영향을 줄이는 데 기여하고 있습니다.

또한, '쉴드젬마'와 '젬마 스코프'를 통해 AI의 안전성과 투명성을 강화하고 있습니다.

3 line summary for you

Google's new 'Gemma 2 2B' model, with 2.6 billion parameters, surpasses GPT-3.5 and Mistral 8x7B in performance.

It uses distillation technology to achieve high performance in a smaller model, reducing AI's accessibility and environmental impact.

Additionally, 'ShieldGemma' and 'Gemma Scope' enhance AI safety and transparency.

 

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱