코히어, 코드 데이터가 대형언어모델(LLM) 성능을 향상시킨다는 연구 결과 발표

최근 코히어의 연구진이 발표한 논문에 따르면, 대형언어모델(LLM)의 사전 학습에 코드 데이터를 포함하면 모델의 비코드 관련 성능까지 향상된다는 흥미로운 결과가 도출되었습니다.

이번 연구는 개발자들 사이에서 떠돌던 주장에 대한 실질적인 증거를 제시하며, 코드 데이터가 LLM의 전반적인 성능에 미치는 긍정적인 영향을 입증했습니다.

코드 데이터가 LLM 성능에 미치는 영향

코히어 연구팀은 사전 학습에 코드 데이터를 포함한 LLM이 비코드 관련 작업에서도 뛰어난 성능을 보인다는 연구 결과를 발표했습니다.

연구는 텍스트만으로, 텍스트와 코드로, 코드만으로 사전 훈련된 모델들을 비교하여 이들의 성능을 평가했습니다.

 

1. 코드 데이터와 자연어 추론

자연어 추론 작업에서, 코드 데이터로 사전 훈련된 모델이 텍스트만으로 훈련된 모델보다 우수한 성능을 보였습니다.

특히, 코드 데이터만으로 훈련된 모델이 가장 높은 성능을 기록하며, 코드 데이터의 중요성을 실질적으로 입증했습니다.

 

2. 세계 지식과 코드 생성 작업

세계 지식 관련 작업에서는 텍스트와 코드가 혼합된 사전 훈련 모델이 가장 우수한 성능을 나타냈습니다.

코드 생성 작업에서는 코드만으로 훈련된 모델과 텍스트-코드 혼합 모델이 모두 텍스트만으로 훈련된 모델보다 뛰어난 성능을 보였습니다.

 

3. 사전 훈련 데이터와 성능 향상

연구진은 사전 훈련 데이터에 코드가 포함될 때 모델의 추론 능력과 결과물 품질이 향상된다고 설명했습니다.

또한, 코드 데이터가 모델이 커질수록 성능 향상에 더 크게 기여하며, 특히 세계 지식과 코드 생성 성능에서 두드러진 개선을 보여주었습니다.

 

4. 고품질 합성 코드의 중요성

고품질의 합성 코드를 사전 훈련 데이터에 포함시키는 것이 성능 향상에 크게 기여한다고 연구진은 밝혔습니다.

이는 인간이 생성한 코드의 수적 한계를 넘어서, 모델의 성능을 향상시키는 데 유리하다는 점에서 중요한 발견입니다.

 

5. 훈련 및 미세조정 시 코드 통합의 장점

훈련의 쿨다운 단계에서 자체 데이터로 모델을 미세조정할 때 코드 데이터를 통합하면 LLM의 비코드 관련 작업에서도 성능이 추가로 향상된다는 사실도 확인되었습니다.

 

코히어의 연구 결과에 따르면, LLM의 사전 학습에 코드 데이터를 포함시키는 것이 모델의 전반적인 성능을 향상시키는 데 효과적이라는 것을 확인할 수 있었습니다.

연구진은 훈련 단계에 관계없이 데이터에 코드를 포함시키는 것이 성능 향상에 기여한다고 강조하고 있습니다.

이러한 발견은 LLM을 개발하고 최적화하는 데 있어 중요한 통찰을 제공하며, 향후 LLM의 성능을 더욱 개선하기 위한 전략적인 접근법을 제시합니다.

 

공감과 댓글은 저에게 큰 힘이 됩니다.

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱