[개발이야기#045] 인공지능 이야기 윈도우에서 Ollama 사용해보기

in kr •  3 months ago 

안녕하세요 가야태자 @talkit 입니다.

오늘은 오랫만에 다시 인공지능에 대해서 이야기 좀 해보겠습니다.

관련글

[AI] 무료 사용 가능한 LLM API 서비스 — Steemit - @anpigon

안피곤님의 글중에서 위글을 오늘 읽었습니다.

저기서 무료로 사용할 수 있는 인공지능에 대한 이야기가 있었고, 저도 개발자라 한번 해보려고 합니다.

Ollama 모델 사용 순서

1. Ollama 설치하기

Ollama 다운로드

https://ollama.com/

저는 저기에 가입을 했습니다. ^^

우측 상단의 다운로드 클릭 하셔서 다운로드 하시면 됩니다.

Ollama 설치

image.png

이전 화면을 캡쳐를 안해서 그렇지만 Install 버튼 누르면 됩니다. ^^

처음에 팝업이 뜹니다. 그리고 Ollama는 하단에 잘 실행 되어 있습니다.

Ollama 설치 확인

파워쉘 또는 배쉬쉘을 여시고 테스트를 합니다.

ollama --version
PS C:\Users\kjh0523> ollama --version
ollama version is 0.3.14

잘 설치 되어 있네요 ^^

2. 모델 다운로드 및 실행하기

ollama pull llama2

위에서는 라마2모델을 다운로드 해보았습니다. 다른 모델들도 사용할 수 있습니다.

모델이 3.8GB라 많이 걸리네요 T.T

저는 다운로드가 성공 했습니다.

3. 모델 실행

위에서 다운 받은 llma2 모델을 실행해보겠습니다.

ollama run llama2

프롬프트가 생성 됩니다. ^^

답변은 곧잘 합니다. 영어로 T.T

그런데 긴 답변은 무지 오래 걸리네요.

안녕하세요, 올리마 모델이 한국어로 대답할 수 있나요?

요렇게 질문을 했고,

답변은

Of course! I can answer in Korean. 

대충 이런식입니다. T.T

저는 한글이 좋은데 말이죠 ^^

>>> 안녕하세요, 올리마 모델이 한국어로 대답할 수 있나요?

Of course! I can answer in Korean. Here's a summary of the steps to use Ollama and download/run the Llama2 model in Korean:

Step 1: 설치하기 (Installing Ollama)

우선, Ollama Software를 공식 홈페이지에서 다운로드해야 합니다. 다운로드가 완료되면, 설치 파일을 실행하고, 프러버트에 따라 인스톨 합니다.

Step 2: 라마2 모델 다운로드 (Downloading Llama2 Model)

오늘은 Ollama를 설치한 후, Llama2 모델을 다운로드하겠습니다. Ollama의 인터페이스에서 다음 명령어를 실행해보세요:
```ollama pull llama2```
이 명령어를 실행하면, Llama2 모델을 다운로드하고, 컴퓨터에 저장합니다.

Step 3: 라마2 모델 실행 (Running Llama2 Model)

이제 Ollama의 인터페이스에서 다음 명령어를 실행해보세요:
```ollama run llama2```
이 명령어를 실행하면, Llama2 모델을 실행하고, 간과 작업을 실행합니다.

Note: Llama2 model is a 3.8GB model, so it may take some time to download and run it. 

그래서 제가 하고 싶은 제 블로그를 요약해달라고 해봤습니다. 그랬더니 위와 같이 나오네요.

요약은 잘 하는데 ^^

영어와 한글이 썩여서 나옵니다.

일단 가능성은 확인 했고, 이 확인한 가능성을 가지고 새로운 개발을 해봐야겠습니다.

인공지능 만세 입니다. ^^

감사합니다.



Posted through the ECblog app (https://blog.etain.club)

Authors get paid when people like you upvote their post.
If you enjoyed what you read here, create your account today and start earning FREE STEEM!
Sort Order:  

[광고] STEEM 개발자 커뮤니티에 참여 하시면, 다양한 혜택을 받을 수 있습니다.

올라마를 사용해보셨군요! 올라마에서 제가 추천하는 모델은 Qwen2.5입니다.
Qwen2.5 모델은 알리바바에서 학습한 모델로, 한국어를 포함한 여러 언어에 능숙합니다. 다만, 가끔 중국어가 나타나는 것이 단점입니다. 그럼에도 불구하고, 로컬 모델임에도 컨텍스트 길이가 길어 매우 편리하게 사용할 수 있습니다.
제가 사용하는 다양한 모델은 여기에 모아 두었으니, 한번 참고해보세요!

참고로, 맥북에서는 꽤 빠른 속도로 결과가 출력됩니다. 제 맥북은 M2 Pro 32GB 모델입니다.
최근에 출시된 M4 Max 모델에서는 Llama 450B와 같은 대형 모델도 실행할 수 있다고 하네요.

M4 맥미니를 고려해보고 있는데 ^^
M4 Pro 모델에 32GB 매기고 디스크는 그대로 512주고 ^^
또 뭐였더라 CPU/GPU 업그레이드하면 약 400만원이 나오네요 ^^
T.T

그리고, 그래픽카드는 지금 4080이나 4090은 엄두도 못내고 4070이 80만원 정도 하는 것 같습니다.

제PC가 파워가 약한데 ^^ 파워도 바꿔야하나 T.T 아니면 AMD 카드는 빼고 사용해야하나 고민해보고 있습니다.

모델을 llama3.1 을 사용해봤는데 훌륭하더라구요 ^^
한글도 훌륭합니다.
CPU라서 모델이 너무 느려서 격하게 맥이나 ^^ Nvidia 4070정도의 그래픽 카드가 가지고 싶어졌습니다. T.T