사카나 AI, 실시간 미세조정 가능한 적응형 AI 기술 ‘트랜스포머²’ 공개

AI 기술이 고도화됨에 따라 대형언어모델(LLM)도 점차 복잡해지고 있습니다.

그러나 전통적인 미세조정 방식은 비용과 시간이 많이 소요되며, 효율적인 작업 적응이 어려운 한계를 지니고 있었습니다.

이런 가운데, 사카나 AI는 ‘실시간 미세조정’이 가능한 새로운 적응형 AI 기술 ‘트랜스포머²(Transformer²)’를 발표하며 AI 기술의 새로운 패러다임을 제시했습니다.

1. 기존 미세조정 방식의 한계

LLM의 성능을 특정 작업에 맞게 최적화하려면 전통적인 미세조정을 사용해야 했습니다.

하지만 수십억 개의 매개변수를 업데이트해야 하는 작업은 비용이 많이 들고 과적합 위험도 큽니다.

이를 보완하기 위해 ‘매개변수 효율적 미세조정(PEFT)’ 기술이 등장했지만, 이는 계산 비용을 줄이는 대신 성능이 떨어질 수 있고, 복잡한 작업에서는 제한적인 효율성을 보였습니다.

2. 트랜스포머²의 혁신적인 접근

트랜스포머²는 기존 기술의 한계를 뛰어넘는 두 단계 적응 전략을 도입했습니다.

1. 작업 분석 및 적응
   모델은 주어진 작업의 특성을 분석한 뒤, 중요한 가중치 부분만 조정해 빠르게 적응합니다.
2. SVD와 z-벡터 활용
   • 가중치 행렬을 특이값 분해(SVD)로 분해해 구성 요소를 z-벡터로 표현.
   • 각 z-벡터는 특정 작업에서 전문가 역할을 수행하며, 작업 특화 능력을 극대화합니다.
   • 예를 들어, 수학 작업에서는 A 구성 요소가 중요하고, 언어 이해 작업에서는 C 구성 요소가 주요한 역할을 한다는 점을 모델이 학습합니다.

3. 성능 및 효율성 향상

벤치마크 평가 결과, 트랜스포머²는 기존 기술 대비 다음과 같은 성과를 보였습니다.

• 시각적 질문-답변(VQA): 39% 성능 향상
• GSM8K 데이터셋 기반 수학 문제: 4% 성능 향상
• 프로그래밍 및 도메인 특화 작업: 정확도와 효율성 모두 개선

특히, SVF(Singular Value Fine-tuning) 기술을 통해 매개변수 수를 대폭 줄이면서도 고성능을 유지하는 데 성공했습니다.

4. 적응형 AI의 미래 가능성

사카나는 이 기술을 ‘적응형 AI(self-adaptive AI)’로 정의하며, AI가 동적으로 환경에 적응하고 학습할 수 있는 가능성을 제시했습니다.

이는 단순히 작업을 수행하는 수준을 넘어, 변화하는 환경 속에서 진화하는 AI 모델을 구현한다는 점에서 기존 AI와 차별화됩니다.

 

트랜스포머²는 AI 기술의 효율성과 적응성을 동시에 혁신적으로 개선한 사례로 평가받고 있습니다.

이 기술은 LLM의 활용도를 높이고, AI 연구와 응용의 새로운 방향을 제시합니다.

사카나 AI의 연구는 정적인 AI에서 벗어나 지속적 학습과 적응이 가능한 ‘살아있는 지능’으로 진화하는 미래를 기대하게 합니다.

당신을 위한 3줄 요약

1. 사카나 AI는 복잡한 재훈련 없이 실시간 미세조정이 가능한 ‘트랜스포머²’ 기술을 공개했습니다.
2. SVD와 z-벡터를 활용한 이 기술은 다양한 작업에 빠르게 적응하며 기존 방식보다 효율적입니다.
3. 적응형 AI는 지속적인 학습과 환경 적응이 가능한 ‘살아있는 지능’의 가능성을 열었습니다.

현재 깃허브에서 트랜스포머²의 코드를 다운로드할 수 있다.

구독!! 공감과 댓글,

광고 클릭은 저에게 큰 힘이 됩니다.

 

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱