[Twitter] 아이폰 15 프로에서 라마 3.2 1B 파인튜닝하기

in kr-ai •  4 months ago 

원문: https://x.com/awnihannun/status/1839747948827291995

MLX Swift 예제는 QLoRA를 사용해 Llama 3.2를 파인튜닝할 수 있어요. 이게 제 아이폰 15 프로에서 1B를 파인튜닝한 건데, 150 toks/sec 이상으로 진행됐어요. 이 정도 속도면 괜찮은 어댑터를 온디바이스로 완전히 학습하는 데 몇 분밖에 안 걸려요.

Posted using SteemPro

Authors get paid when people like you upvote their post.
If you enjoyed what you read here, create your account today and start earning FREE STEEM!
Sort Order:  

Upvoted! Thank you for supporting witness @jswit.

image.png

안녕하세요. 오늘(2024.10.01) 기준 @jsup 2.0 후원 보팅 현황입니다.

jsup 2.0 - 업보팅을 다시 위대하게

@newiz -> @anpigon : 611.06sp

@jsup에 임대하시면 매일 업보팅을 받으며, 23일후부터 매일 큐레이션/패시브 보상을 받습니다. 후원 내역이 있을 경우 임대량에 합산되어 보팅됩니다. 개발자(@joviansummer) 지원 보팅 외에 수수료가 없어 수익률도 우수합니다. 많은 관심 부탁드립니다. 감사합니다.