KAIST, 메타, 딥마인드 협력으로 온디바이스 AI 실현하는 NPU ‘다카포’ 개발

KAIST, 메타, 그리고 딥마인드가 공동으로 개발한 혁신적인 신경망처리장치(NPU) ‘다카포(DaCapo)’가 자율주행차와 로봇 등 엣지 AI 시스템에 새로운 전환점을 제시합니다.

이 NPU는 온디바이스에서의 연속 학습을 가능하게 하여, 저전력 환경에서도 효율적인 AI 처리를 지원합니다.

이번 블로그에서는 다카포의 주요 기술, 개발 배경, 및 향후 영향력을 살펴보겠습니다.

 

1. 다카포: 혁신적인 NPU 개발

연구팀이 개발한 온디바이스 적응형 AI 신경망처리장치(NPU) 내부 구조로 효율적 병렬 프로세싱을 위하여 2차원 시스톨릭 배열(Systolic Array) 구조를 기반으로 한다. 저전력 온디바이스 환경에서 연속학습이 가능하도록 하드웨어 자원 활용도를 극대화하는 공간적 자원 분할 기법과 마이크로소프트(Microsoft) MX 기반 다중 정밀도 연산 기법을 개발.

 

다카포는 KAIST 박종세 교수 연구팀이 개발한 온디바이스 AI 신경망처리장치(NPU)입니다. 이 NPU는 다음과 같은 주요 기술을 포함하고 있습니다.

• 2차원 시스톨릭 배열(Systolic Array): 효율적인 병렬 처리를 통해 AI 모델의 연산을 가속화합니다.
• 공간적 자원 분할 기법: 저전력 환경에서도 연속학습이 가능하도록 하드웨어 자원의 활용도를 극대화합니다.
• 다중 정밀도 연산 기법: 마이크로소프트 MX 기반의 기법을 통해 다양한 정밀도의 연산을 지원합니다.

2. 연구 성과 및 수상

이번 연구는 ‘2024 국제 컴퓨터구조 심포지엄(ISCA 2024)’에서 최우수 연구 기록물상(Distinguished Artifact Award)을 수상했습니다. 이 상은 연구 기록물의 혁신성, 활용 가능성, 영향력을 인정받아 수여되는 상으로, 다카포의 기술적 완성도가 높은 평가를 받았음을 보여줍니다.

 

3. 다카포의 기술적 특징

연구팀이 제시한 온디바이스 연속학습 시스템의 자원 할당 및 스케줄링 작업 알고리즘 흐름. 시스템을 구성하는 AI 모델 및 하드웨어 명세를 기반으로 성능을 예측하고, 이에 기반하여 시공간적인 자원 배분을 통해 변화하는 환경을 감지하여, 제한적인 온디바이스 자원만으로 모델을 효과적으로 적응시킨다.

• 연속 학습 가속화: 다카포는 자율 시스템에서의 비디오 분석을 위해 연속 학습을 가속화하는 기술을 제공합니다. 이는 시스템 상에서 센서 데이터를 활용한 추론 작업뿐만 아니라, 데이터 라벨링 및 학습 작업을 포함합니다.

자율 시스템 상의 연속학습 연산 작업 흐름: 연속학습은 시스템 상에서 센서 데이터를 활용한 추론 작업 뿐만 아니라, 적응형 AI를 위해 훈련 데이터 생성을 위한 데이터 라벨링 작업 및 학습 작업을 포함한다.

• 온디바이스 분석: 클라우드에 의존하지 않고, PC에서 직접 데이터 분석을 수행하여 개인 정보 보호를 강화하고 처리 속도를 높입니다.

4. 오픈소스 공개 및 협력

KAIST 연구팀은 다카포의 코드와 데이터를 오픈소스로 공개하여, 향후 온디바이스 AI 시스템 연구의 발전을 도모하고 있습니다. 이 프로젝트는 구글 딥마인드와 메타의 연구자들과의 협력으로 진행되었으며, 향후 다양한 분야에서의 활용이 기대됩니다.

5. 향후 전망

다카포는 자율주행차, 소프트웨어 중심 자동차(SDV), 소프트웨어 중심 로봇(SDR) 등 다양한 분야에서 활용될 수 있습니다. 온디바이스 AI 시스템의 효율성을 높이고, 더 나아가 AI 기술의 발전에 기여할 것으로 보입니다.

 

다카포의 개발은 AI 기술의 새로운 장을 여는 중요한 이정표입니다.

온디바이스에서의 연속 학습을 가능하게 하는 이 NPU는 자율 시스템의 성능을 극대화하며, 향후 AI 기술의 발전에 큰 영향을 미칠 것입니다.

KAIST, 메타, 딥마인드의 협력을 통해, AI 기술의 미래가 더욱 밝아질 것입니다.

공감과 댓글은 저에게 큰 힘이 됩니다.

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱