랭체인에서 HuggingFaceEmbeddings 모델 다운로드 경로 지정하기

Hugging Face의 transformers 라이브러리에서 기본적으로 모델과 토크나이저를 다운로드하는 경로는 일반적으로 사용자의 홈 디렉토리에 있는 ~/.cache/huggingface/hub 디렉토리입니다. 이는 환경 변수 SENTENCE_TRANSFORMERS_HOME이 설정되지 않은 경우 기본 경로입니다.

• Linux 및 macOS: ~/.cache/huggingface/hub
• Windows: C:\Users\<YourUsername>\.cache\huggingface\hub

파이썬 코드에서 cache_folder 파라미터 사용 예시

HuggingFaceEmbeddings(
    cache_folder=""
)

from transformers import AutoTokenizer, AutoModel
from langchain.embeddings import HuggingFaceEmbeddings

# 모델 다운로드 경로를 지정
cache_folder = "./path/to/your/model_directory"

# LangChain의 HuggingFaceEmbeddings 클래스 사용
embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-large-en", cache_folder=cache_folder)

# 예제 텍스트 임베딩 생성
text = "This is a test sentence."
embedding = embeddings.embed_text(text)

print(embedding)

이 코드를 통해 HuggingFace 모델과 토크나이저를 지정된 경로에 다운로드하고, LangChain에서 해당 경로를 사용하여 모델을 로드할 수 있습니다. 이렇게 하면 기본 캐시 디렉토리가 아닌 사용자 지정 디렉토리에 모델을 저장할 수 있습니다.