하이퍼라이트의 '리플렉션 70B': 세계 최강 오픈 소스 AI 모델의 등장

최근 하이퍼라이트가 발표한 오픈 소스 대형언어모델(LLM)인 '리플렉션 70B'가 AI 업계의 주목을 받고 있습니다.

이 모델은 추론 과정에서 발생하는 오류를 실시간으로 수정할 수 있는 기술인 '반사 튜닝(Reflection Tuning)'을 적용했으며, 현재까지 발표된 오픈 소스 모델 중에서 최고 성능을 자랑합니다.

1. 리플렉션 70B의 주요 기능

하이퍼라이트의 리플렉션 70B는 12만8000 토큰의 컨텍스트 창을 제공하는 700억 매개변수로 구성된 대형언어모델입니다.

이 모델의 가장 혁신적인 특징은 '반사 튜닝(Reflection Tuning)' 기술입니다.

이 기술은 모델이 추론 중에 발생하는 오류를 스스로 감지하고, 최종 응답을 내리기 전에 오류를 수정할 수 있도록 설계되었습니다.

 

반사 튜닝은 몇 가지 특수 토큰을 도입하여, 모델이 추론 중 실수를 감지하면 이를 즉시 수정할 수 있는 메커니즘을 제공합니다.

예를 들어, 리플렉션 70B는 'Strawberry'라는 단어에 포함된 'r'의 개수를 묻는 질문이나, 숫자 비교 문제(예: 9.11과 9.9 중 어느 숫자가 더 큰지)에 대해 정확한 응답을 제공합니다.

이러한 정확성은 LLM의 추론 성능을 평가할 때 중요한 요소로 작용합니다.

2. 고품질 합성 데이터로 훈련

리플렉션 70B의 또 다른 강점은 글레이브(Glave)의 합성 데이터를 활용하여 미세 조정된 점입니다.

이 데이터는 특정 사용 사례에 맞춘 맞춤형 데이터셋을 생성하는데, 하이퍼라이트는 이를 통해 리플렉션 70B의 성능을 극대화했습니다.

CEO 맷 슈머에 따르면, 전체 훈련 과정은 3주가 걸렸으며, 이 기간 동안 모델을 5번 반복 훈련하여 성능을 최적화했습니다.

3. 경쟁 모델과의 비교

리플렉션 70B는 MMLU와 휴먼이벨을 포함한 6개의 벤치마크 항목에서 메타의 '라마 3.1 405B' 모델을 모두 능가했습니다.

또한, 'GPT-4o'와 '제미나이'를 모두 뛰어넘었으며, '클로드 3.5 소네트'와 비교했을 때 4개 분야에서 더 나은 성능을 보여줬습니다.

 

현재, 리플렉션 70B는 허깅페이스를 통해 다운로드할 수 있으며, GPU 서비스 제공업체 하이퍼볼릭 랩스를 통해 API 액세스가 제공될 예정입니다.

하이퍼라이트는 또한 4050억 매개변수의 '리플렉션 405B' 모델을 다음 주에 출시할 예정이라고 밝혔으며, 이는 GPT-4o와 같은 폐쇄형 LLM의 성능을 크게 능가할 것으로 기대됩니다.

 

하이퍼라이트의 리플렉션 70B는 단순히 오픈 소스 LLM의 범위를 넘어, AI 추론 과정의 새로운 표준을 제시하고 있습니다.

반사 튜닝 기술과 고품질 합성 데이터로 미세 조정된 이 모델은 여러 벤치마크에서 최고 성능을 자랑하며, 향후 AI 연구와 개발에 중요한 역할을 할 것입니다.

구독!! 공감과 댓글은 저에게 큰 힘이 됩니다.

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱