본문 바로가기
반응형

Development News/AI156

양자화와 PEFT로 LLM 경량화: AI 스마트폰에서의 응용 최근 스마트폰에 탑재된 인공지능(AI) 기능이 주목받고 있습니다.삼성 갤럭시 S24와 같은 최신 스마트폰은 고성능 AI 모델을 내장하고 있어 실시간 번역, 채팅, 사진 편집 등 다양한 기능을 제공하고 있습니다.이러한 기능을 가능하게 하는 핵심 기술 중 하나가 바로 ‘LLM 경량화’입니다.이 글에서는 LLM 경량화 기술이 무엇인지, 그리고 양자화(Quantization)와 PEFT(Parameter Efficient Fine-Tuning)라는 두 가지 주요 기법에 대해 쉽게 설명하겠습니다.1. LLM이란 무엇인가요? LLM은 ‘대형 언어 모델(Large Language Model)’의 줄임말입니다.쉽게 말해, LLM은 다양한 언어를 이해하고 생성할 수 있는 AI 모델입니다. 이런 모델들은 방대한 양의 데이.. 2024. 9. 8.
AI 요금제의 새로운 패러다임: 성과 기반 과금 모델이 가져올 변화 AI 챗봇 서비스의 요금 체계에 큰 변화가 예고되고 있습니다. 전통적으로 사용량에 따라 요금을 부과하던 방식에서 벗어나, 이제는 작업을 완료한 경우에만 요금을 청구하는 ‘성과 기반 과금(outcome-based pricing)’ 모델이 등장했습니다. 이는 기업이 AI 소프트웨어의 비용 부담을 줄이려는 노력의 일환으로, 가격 경쟁의 새로운 트렌드로 자리잡을지 주목됩니다.성과 기반 과금의 개념디 인포메이션에 따르면, AI 소프트웨어 업체 젠데스크가 이 새로운 과금 방식을 도입했습니다. 성과 기반 과금은 기존의 서비스형 소프트웨어(SaaS) 모델과는 차별화된 접근 방식을 제공합니다. 대부분의 SaaS 모델은 사용자 수나 사용량에 따라 요금을 청구하는 반면, 젠데스크는 AI 챗봇이 자동으로 작업을 완료한 경우에.. 2024. 9. 8.
중국 01.AI, 오픈 소스 코딩 어시스턴트 ‘이-코더’ 출시 중국의 대형언어모델(LLM) 스타트업 01.AI가 혁신적인 오픈 소스 코딩 어시스턴트 ‘이-코더(Yi-Coder)’를 출시했습니다.이-코더는 100억 개의 매개변수를 갖춘 최신 모델로, 현존하는 오픈 소스 코딩 어시스턴트 중 가장 높은 성능을 자랑합니다.특히 12만8000 토큰 컨텍스트 창을 제공하며, 이는 대규모 코드 스니펫을 처리할 수 있는 능력을 갖추고 있습니다.이-코더의 주요 기능 및 성능01.AI는 5일(현지시간) 두 가지 버전의 이-코더를 오픈 소스로 공개했습니다.이-코더-9B와 이-코더-1.5B는 각각 90억 개와 15억 개의 매개변수를 가지며, 52개 프로그래밍 언어를 지원합니다.이들 모델은 코드 편집, 완성, 디버깅 뿐만 아니라 복잡한 수학적 추론에도 뛰어난 성능을 보입니다. 이-코더의 .. 2024. 9. 8.
하이퍼라이트의 '리플렉션 70B': 세계 최강 오픈 소스 AI 모델의 등장 최근 하이퍼라이트가 발표한 오픈 소스 대형언어모델(LLM)인 '리플렉션 70B'가 AI 업계의 주목을 받고 있습니다.이 모델은 추론 과정에서 발생하는 오류를 실시간으로 수정할 수 있는 기술인 '반사 튜닝(Reflection Tuning)'을 적용했으며, 현재까지 발표된 오픈 소스 모델 중에서 최고 성능을 자랑합니다.1. 리플렉션 70B의 주요 기능하이퍼라이트의 리플렉션 70B는 12만8000 토큰의 컨텍스트 창을 제공하는 700억 매개변수로 구성된 대형언어모델입니다.이 모델의 가장 혁신적인 특징은 '반사 튜닝(Reflection Tuning)' 기술입니다.이 기술은 모델이 추론 중에 발생하는 오류를 스스로 감지하고, 최종 응답을 내리기 전에 오류를 수정할 수 있도록 설계되었습니다. 반사 튜닝은 몇 가지 .. 2024. 9. 8.
오픈AI의 새로운 AI 모델: 프로젝트 스트로베리와 오리온 - 월 2000달러 구독료의 의미 최근 오픈AI가 새로운 AI 모델을 준비 중이라는 소식이 전해지면서, 월 구독료가 대폭 인상될 가능성이 제기되었습니다.현재 사용 가능한 GPT-4 기반의 ChatGPT 플러스가 월 20달러에 제공되고 있는 것과 비교할 때, 새로운 모델의 구독료가 2000달러로 책정될 가능성이 있다는 뉴스는 AI 산업에 큰 파장을 일으키고 있습니다.이번 블로그에서는 오픈AI의 새로운 프로젝트, '스트로베리'와 '오리온'이 무엇인지, 그리고 그들의 기능이 어떻게 달라질지 분석해보겠습니다.1. 프로젝트 스트로베리: 문제 해결 능력의 극대화스트로베리는 올 가을에 출시될 예정인 고급 AI 모델입니다. 이 모델은 기존 AI가 해결하기 어려웠던 복잡한 문제들을 효과적으로 다룰 수 있는 능력을 갖추고 있습니다.특히 수학 문제 해결, .. 2024. 9. 7.
게임 '원신' 제작자, AI의 미래와 개발자 직업 전환 예측: 기술의 변화가 일자리를 어떻게 바꿀까? 생성 인공지능(AI)의 도입은 게임 개발의 패러다임을 크게 변화시키고 있습니다.유명 게임 '원신'의 제작사 호요버스 창립자 차이 하오유는 AI가 게임 개발자들의 직업에 미치는 영향에 대해 상당히 직설적인 예측을 내놓았습니다.그는 AI 기술의 도입으로 인해 개발자들이 전직을 고려해야 할 시점에 다다를 것이라고 경고했습니다.이 블로그에서는 차이 하오유의 발언을 바탕으로 AI가 게임 개발 산업에 미치는 영향과 미래 직업 전망에 대해 분석해보겠습니다. 1. 차이 하오유의 발언과 그 의미차이 하오유는 최근 링크드인을 통해 AI 생성 콘텐츠(AIGC)가 게임 개발자들의 직업에 미칠 영향에 대해 의견을 밝혔습니다. 그는 "AI 기술이 발전하면, 게임을 만들 때 논리적으로 말이 되는 사람은 두 가지 유형만 남을 것"이.. 2024. 9. 6.
반응형

티스토리툴바