하이퍼라이트 '리플렉션 70B'의 성능 논란: “세계 최고” 주장에 대한 반박과 해명

하이퍼라이트의 최신 오픈 소스 모델, 리플렉션 70B의 성능 논란과 그에 대한 다양한 의견들

하이퍼라이트가 자사의 최신 오픈 소스 대형 언어 모델 ‘리플렉션 70B’를 발표하면서 “세계 최고 성능”을 주장한 가운데, 이 모델의 실제 성능에 대한 논란이 일고 있습니다. 모델의 성능을 둘러싼 의견과 반박이 잇따르며, AI 커뮤니티와 분석가들 사이에서 격렬한 논쟁이 벌어지고 있습니다.

하이퍼라이트의 주장과 발표

하이퍼라이트는 리플렉션 70B를 12만8000 토큰 컨텍스트 창과 700억 매개변수로 출시하였으며, ‘반사 튜닝(Reflection Tuning)’ 기술을 적용해 추론 과정에서 발생하는 오류를 스스로 수정할 수 있다고 발표했습니다.

이 모델은 메타의 라마 3.1-70B를 미세 조정하여 구축된 것으로 알려져 있으며, “역대 최고 성능의 오픈 소스 LLM”이라고 주장했습니다. 특히, MMLU와 코딩 벤치마크 항목에서 메타의 라마 3.1 405B와 GPT-4o, 제미나이를 능가했다고 주장하였습니다.

아티피셜 애널리시스의 자체 MMLU 밴치마크 결과

반박과 논란

그러나 아티피셜 애널리시스는 리플렉션 70B의 성능에 대해 하이퍼라이트의 주장을 반박하며 MMLU 벤치마크에서 라마 3.1-70B와 동일한 점수 또는 그보다 낮은 점수를 기록했다고 발표했습니다.

또한, GPT-4o와 제미나이 1.5 프로, 클로드 3.5 소네트보다 낮은 성능을 보였다고 지적했습니다.

이와 관련하여 하이퍼라이트는 “모델 업로드 과정에서 품질이 저하되었다”고 해명하였으나, 이 해명 또한 논란의 여지가 있었습니다.

 

하이퍼라이트의 CEO, 맷 슈머는 “내부 API 버전과의 차이로 인한 품질 저하”를 주장했지만, 아티피셜 애널리시스는 이 주장에 대해서도 의문을 제기했습니다.

레딧과 같은 커뮤니티에서는 리플렉션 70B가 라마 3.1 모델이 아닌 라마 3 모델을 기반으로 구축된 것이라는 의견도 제기되었습니다.

 

특히, 메가미 보슨은 이 모델을 “AI 연구 커뮤니티에서의 사기”라고 비난하며 논란을 더욱 부각시켰습니다.

일부 X 사용자들은 리플렉션 70B가 앤트로픽의 클로드 3 위에 구축된 래퍼(wrapper) 또는 애플리케이션이라고 주장하며 신뢰성을 의심했습니다.

옹호와 반론

반면, 리플렉션 70B를 옹호하는 사용자들도 등장하였으며, 이들은 하이퍼라이트의 주장과 모델 성능을 지지하는 분석 결과를 게시했습니다.

이러한 상반된 의견들은 리플렉션 70B의 실제 성능과 활용 가능성에 대한 논의를 한층 격화시키고 있습니다.

 

리플렉션 70B의 성능 논란은 단순한 기술적 문제를 넘어서, AI 모델의 투명성과 신뢰성에 대한 중요한 논의로 이어지고 있습니다.

하이퍼라이트의 주장과 반박, 그리고 해명은 AI 연구와 개발의 신뢰성을 제고하기 위한 중요한 전환점을 제공하며, 오픈 소스 AI 모델의 미래 방향성을 가늠하는 데 중요한 사례로 남을 것입니다.

 

구독!! 공감과 댓글은 저에게 큰 힘이 됩니다.

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱