로컬 언어 모델의 시작, Ollama를 이용해서 Llama 3.1 설치하기

안녕하세요. 챗GPT의 등장 이후로 다양한 생성 AI 모델들이 개발되어 왔습니다. 

초기에는 대규모 언어 모델(LLM)이 주를 이루었지만, 지금은 개인도 손쉽게 다룰 수 있는 소형 언어 모델(SLM)이 중심 트렌드로 자리 잡고 있습니다. 

이는 AI 모델이 더 이상 대기업의 전유물이 아니며, 개인 개발자들에게도 접근 가능하게 되었다는 중요한 변화를 의미합니다. 

여러분께 이러한 변화의 한 축을 담당하는 'Ollama', 소형 언어 모델을 쉽게 만들 수 있도록 돕는 AI 도구를 소개하겠습니다.

Ollama 소개

Ollama는 대규모 언어 모델을 로컬 컴퓨터에서 설정하고 실행할 수 있게 해주는 고급 AI 도구입니다.

이는 AI 기술을 더 많은 사람들에게 접근 가능하게 만들어, 누구나 강력한 언어 모델을 활용할 수 있게 해줍니다.

Ollama를 사용하면 Llama 3.1 이나 gemma와 같은 모델을 로컬에서 직접 실행할 수 있습니다.

Ollama의 주요 기능

1. 간단한 설치와 실행: 복잡한 설정 없이 쉽게 설치하고 실행할 수 있습니다.
2. 로컬 실행: 클라우드 기반 솔루션에 의존하지 않고 로컬에서 모델을 실행할 수 있습니다.
3. 확장 가능: 다양한 자연어 처리(NLP) 애플리케이션에 적합한 가볍고 확장 가능한 프레임워크입니다.
4. 사전 구축된 모델 라이브러리: 미리 준비된 모델들을 제공하여 바로 활용할 수 있습니다.
5. API 지원: 모델을 생성, 실행, 관리할 수 있는 간단한 API를 제공합니다.

3. Ollama 설치

Ollama 공식 사이트에서 설치파일 다운이 가능합니다.

• Ollama 공식 사이트 - https://ollama.com/

Download Ollama on macOS

Ollama는 macOS, Windows, Linux를 포함한 다양한 운영체제에서 사용할 수 있습니다. 

여러분의 운영체제에 맞는 버전을 다운로드하여 설치해 주세요. 

설치가 완료되면 터미널 창을 통해 바로 사용하실 수 있습니다.

 

4. 실행 명령어

 

Ollama terminal 기초 명령어

ollama 명령어	실행
ollama serve	ollama 시작
ollama pull [model]	[model] 설치
ollama run [model]	[model] 실행
ollama list	모델 리스트 출력
ollama rm [model]	[model] 삭제
/bye	[model] 실행 종료
/?	도움말 출력
/show info	현재 실행 모델 정보 출력
/load [model]	[model] 불러오기
/save [model]	[model] 저장하기

 

기타 명령어

netstat -aon	현재 실행중인 TCP 리스트 출력
kill -9 [PID]	[PID] 서버 닫기

 

5. 로컬 AI 모델 실행 예시

 Ollama를 설치하신 후, 사용하실 AI 모델을 별도로 다운로드하셔야 합니다.

예를 들어, Ollama에서 지원하는 모델 중 하나인 'Llama3.1'을 설치하여 사용해 보겠습니다.

 

처음에는 ollama list 명령어를 사용하여 현재 설치된 AI 모델을 확인합니다.

만약 'Llama3.1' 모델이 없다면 ollama run llama3.1 명령을 통해 'Llama3' 모델을 다운로드하고 실행할 수 있습니다.

다운로드가 완료되면, 프롬프트에 메시지를 입력하라는 안내를 받게 됩니다.

llama3.1 모델 다운 완료 후 실행

 

"hi llama"라는 간단한 메시지를 입력하면, Llama3 모델이 정상 작동하는지 확인할 수 있습니다.  

이것으로 로컬 환경에서 Llama3 모델이 잘 작동함을 알 수 있습니다.

물론 한국어로 가능합니다.

챗GPT의 등장 이후, 개인도 쉽게 사용할 수 있는 소형 언어 모델(SLM)이 대중화되었습니다.

'Ollama'는 이러한 변화의 중심에 있는 도구로, 복잡한 클라우드 서비스 없이 로컬 환경에서 강력한 언어 모델을 운영할 수 있게 합니다.

사용자 친화적인 인터페이스로 다양한 시스템(macOS, Windows, Linux)에서 모델을 커스터마이징하고 구동할 수 있습니다.

'Ollama'는 개인 개발자들이 AI를 쉽게 활용할 수 있게 도와주며, AI 기술의 혜택을 널리 누릴 수 있도록 합니다.

AI 기술의 진보를 직접 체험하고 싶은 분들에게 'Ollama'는 훌륭한 선택입니다.

Chat GPT 사용자 분들이라면 아래의 LM Studio를 이용한 방법이 사용상 익숙하실 겁니다.

Lama 3.1 GUI 환경 설치 방법

 

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱