올라마를 사용해보셨군요! 올라마에서 제가 추천하는 모델은 Qwen2.5입니다.
Qwen2.5 모델은 알리바바에서 학습한 모델로, 한국어를 포함한 여러 언어에 능숙합니다. 다만, 가끔 중국어가 나타나는 것이 단점입니다. 그럼에도 불구하고, 로컬 모델임에도 컨텍스트 길이가 길어 매우 편리하게 사용할 수 있습니다.
제가 사용하는 다양한 모델은 여기에 모아 두었으니, 한번 참고해보세요!
RE: [개발이야기#045] 인공지능 이야기 윈도우에서 Ollama 사용해보기
You are viewing a single comment's thread from:
[개발이야기#045] 인공지능 이야기 윈도우에서 Ollama 사용해보기
참고로, 맥북에서는 꽤 빠른 속도로 결과가 출력됩니다. 제 맥북은 M2 Pro 32GB 모델입니다.
최근에 출시된 M4 Max 모델에서는 Llama 450B와 같은 대형 모델도 실행할 수 있다고 하네요.
Downvoting a post can decrease pending rewards and make it less visible. Common reasons:
Submit
M4 맥미니를 고려해보고 있는데 ^^
M4 Pro 모델에 32GB 매기고 디스크는 그대로 512주고 ^^
또 뭐였더라 CPU/GPU 업그레이드하면 약 400만원이 나오네요 ^^
T.T
그리고, 그래픽카드는 지금 4080이나 4090은 엄두도 못내고 4070이 80만원 정도 하는 것 같습니다.
제PC가 파워가 약한데 ^^ 파워도 바꿔야하나 T.T 아니면 AMD 카드는 빼고 사용해야하나 고민해보고 있습니다.
Downvoting a post can decrease pending rewards and make it less visible. Common reasons:
Submit
모델을 llama3.1 을 사용해봤는데 훌륭하더라구요 ^^
한글도 훌륭합니다.
CPU라서 모델이 너무 느려서 격하게 맥이나 ^^ Nvidia 4070정도의 그래픽 카드가 가지고 싶어졌습니다. T.T
Downvoting a post can decrease pending rewards and make it less visible. Common reasons:
Submit