본문 바로가기
728x90
반응형

Development News354

양자화와 PEFT로 LLM 경량화: AI 스마트폰에서의 응용 최근 스마트폰에 탑재된 인공지능(AI) 기능이 주목받고 있습니다.삼성 갤럭시 S24와 같은 최신 스마트폰은 고성능 AI 모델을 내장하고 있어 실시간 번역, 채팅, 사진 편집 등 다양한 기능을 제공하고 있습니다.이러한 기능을 가능하게 하는 핵심 기술 중 하나가 바로 ‘LLM 경량화’입니다.이 글에서는 LLM 경량화 기술이 무엇인지, 그리고 양자화(Quantization)와 PEFT(Parameter Efficient Fine-Tuning)라는 두 가지 주요 기법에 대해 쉽게 설명하겠습니다.1. LLM이란 무엇인가요? LLM은 ‘대형 언어 모델(Large Language Model)’의 줄임말입니다.쉽게 말해, LLM은 다양한 언어를 이해하고 생성할 수 있는 AI 모델입니다. 이런 모델들은 방대한 양의 데이.. 2024. 9. 8.
AI 요금제의 새로운 패러다임: 성과 기반 과금 모델이 가져올 변화 AI 챗봇 서비스의 요금 체계에 큰 변화가 예고되고 있습니다. 전통적으로 사용량에 따라 요금을 부과하던 방식에서 벗어나, 이제는 작업을 완료한 경우에만 요금을 청구하는 ‘성과 기반 과금(outcome-based pricing)’ 모델이 등장했습니다. 이는 기업이 AI 소프트웨어의 비용 부담을 줄이려는 노력의 일환으로, 가격 경쟁의 새로운 트렌드로 자리잡을지 주목됩니다.성과 기반 과금의 개념디 인포메이션에 따르면, AI 소프트웨어 업체 젠데스크가 이 새로운 과금 방식을 도입했습니다. 성과 기반 과금은 기존의 서비스형 소프트웨어(SaaS) 모델과는 차별화된 접근 방식을 제공합니다. 대부분의 SaaS 모델은 사용자 수나 사용량에 따라 요금을 청구하는 반면, 젠데스크는 AI 챗봇이 자동으로 작업을 완료한 경우에.. 2024. 9. 8.
중국 01.AI, 오픈 소스 코딩 어시스턴트 ‘이-코더’ 출시 중국의 대형언어모델(LLM) 스타트업 01.AI가 혁신적인 오픈 소스 코딩 어시스턴트 ‘이-코더(Yi-Coder)’를 출시했습니다.이-코더는 100억 개의 매개변수를 갖춘 최신 모델로, 현존하는 오픈 소스 코딩 어시스턴트 중 가장 높은 성능을 자랑합니다.특히 12만8000 토큰 컨텍스트 창을 제공하며, 이는 대규모 코드 스니펫을 처리할 수 있는 능력을 갖추고 있습니다.이-코더의 주요 기능 및 성능01.AI는 5일(현지시간) 두 가지 버전의 이-코더를 오픈 소스로 공개했습니다.이-코더-9B와 이-코더-1.5B는 각각 90억 개와 15억 개의 매개변수를 가지며, 52개 프로그래밍 언어를 지원합니다.이들 모델은 코드 편집, 완성, 디버깅 뿐만 아니라 복잡한 수학적 추론에도 뛰어난 성능을 보입니다. 이-코더의 .. 2024. 9. 8.
애플이 차트를 통해 앱 경험을 개선하는 방법 애플은 앱 사용자 경험을 향상시키기 위해 차트를 어떻게 활용할까요?단순히 데이터를 시각화하는 것을 넘어, 애플은 차트를 통해 사용자에게 중요한 정보를 효과적으로 전달하고 더 나은 결정을 내리도록 돕고 있습니다.이 글에서는 애플이 차트를 통해 어떻게 앱 경험을 개선하는지 살펴보겠습니다.1. 언제 차트를 사용해야 할까?애플은 데이터를 시각화하는 데 있어서 차트의 활용을 전략적으로 접근합니다. 차트를 사용하기 적합한 대표적인 경우는 다음과 같습니다:시간에 따른 값의 변화를 보여줄 때: 라인 차트나 막대 그래프는 데이터의 추이를 직관적으로 이해할 수 있게 합니다.전체의 일부를 시각화할 때: 파이 차트나 누적 막대 그래프는 특정 항목의 비율을 명확히 보여줍니다.항목 또는 카테고리를 비교할 때: 멀티 라인 차트나 .. 2024. 9. 8.
하이퍼라이트의 '리플렉션 70B': 세계 최강 오픈 소스 AI 모델의 등장 최근 하이퍼라이트가 발표한 오픈 소스 대형언어모델(LLM)인 '리플렉션 70B'가 AI 업계의 주목을 받고 있습니다.이 모델은 추론 과정에서 발생하는 오류를 실시간으로 수정할 수 있는 기술인 '반사 튜닝(Reflection Tuning)'을 적용했으며, 현재까지 발표된 오픈 소스 모델 중에서 최고 성능을 자랑합니다.1. 리플렉션 70B의 주요 기능하이퍼라이트의 리플렉션 70B는 12만8000 토큰의 컨텍스트 창을 제공하는 700억 매개변수로 구성된 대형언어모델입니다.이 모델의 가장 혁신적인 특징은 '반사 튜닝(Reflection Tuning)' 기술입니다.이 기술은 모델이 추론 중에 발생하는 오류를 스스로 감지하고, 최종 응답을 내리기 전에 오류를 수정할 수 있도록 설계되었습니다. 반사 튜닝은 몇 가지 .. 2024. 9. 8.
오픈AI의 새로운 AI 모델: 프로젝트 스트로베리와 오리온 - 월 2000달러 구독료의 의미 최근 오픈AI가 새로운 AI 모델을 준비 중이라는 소식이 전해지면서, 월 구독료가 대폭 인상될 가능성이 제기되었습니다.현재 사용 가능한 GPT-4 기반의 ChatGPT 플러스가 월 20달러에 제공되고 있는 것과 비교할 때, 새로운 모델의 구독료가 2000달러로 책정될 가능성이 있다는 뉴스는 AI 산업에 큰 파장을 일으키고 있습니다.이번 블로그에서는 오픈AI의 새로운 프로젝트, '스트로베리'와 '오리온'이 무엇인지, 그리고 그들의 기능이 어떻게 달라질지 분석해보겠습니다.1. 프로젝트 스트로베리: 문제 해결 능력의 극대화스트로베리는 올 가을에 출시될 예정인 고급 AI 모델입니다. 이 모델은 기존 AI가 해결하기 어려웠던 복잡한 문제들을 효과적으로 다룰 수 있는 능력을 갖추고 있습니다.특히 수학 문제 해결, .. 2024. 9. 7.
728x90
반응형

티스토리툴바