Skip to content

Commit aa524b8

Browse files
committed
[REFACTOR] minio 관련 환경변수명 수정
1 parent 8a41f9d commit aa524b8

File tree

3 files changed

+8
-64
lines changed

3 files changed

+8
-64
lines changed

core/minio_service.py

Lines changed: 6 additions & 27 deletions
Original file line numberDiff line numberDiff line change
@@ -5,26 +5,21 @@
55
# .env 로드
66
load_dotenv(override=True)
77

8-
MINIO_URL = os.getenv("MINIO_URL")
9-
AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
10-
AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")
8+
MINIO_HOST = os.getenv("MINIO_HOST")
9+
MINIO_USER = os.getenv("MINIO_USER")
10+
MINIO_PASSWORD = os.getenv("MINIO_PASSWORD")
1111
S3_BUCKET_NAME = os.getenv("S3_BUCKET_NAME")
1212

1313
# MinIO 클라이언트 생성
1414
s3 = boto3.client(
1515
"s3",
16-
endpoint_url=f"http://{MINIO_URL}",
17-
aws_access_key_id=AWS_ACCESS_KEY_ID,
18-
aws_secret_access_key=AWS_SECRET_ACCESS_KEY
16+
endpoint_url=f"{MINIO_HOST}",
17+
aws_access_key_id=MINIO_USER,
18+
aws_secret_access_key=MINIO_PASSWORD
1919
)
2020

2121
# minio에서 모델 다운로드
2222
def download_model_from_minio(model_s3_path: str, local_dir: str):
23-
"""
24-
MinIO에서 모델 전체 다운로드
25-
:param model_s3_path: MinIO 내 저장된 모델 경로 (예: "llama_model/")
26-
:param local_dir: 로컬에 저장할 경로 (예: "./downloaded_model/")
27-
"""
2823
try:
2924
os.makedirs(local_dir, exist_ok=True) # 로컬 저장 폴더 생성
3025

@@ -47,19 +42,3 @@ def download_model_from_minio(model_s3_path: str, local_dir: str):
4742
except Exception as e:
4843
print(f"❌ MinIO에서 {model_s3_path} 다운로드 실패: {e}")
4944
return None
50-
51-
52-
# def download_test_from_minio(model_path: str, local_save_path: str):
53-
# """
54-
# MinIO에서 파일 다운로드 (예: test.txt)
55-
# :param model_path: MinIO 내 저장된 파일 경로 (예: test_folder/test.txt)
56-
# :param local_save_path: 로컬에 저장할 경로 (예: ./downloaded_model/test.txt)
57-
# """
58-
# try:
59-
# os.makedirs(os.path.dirname(local_save_path), exist_ok=True) # 로컬 저장 폴더 생성
60-
# s3.download_file("test", model_path, local_save_path)
61-
# print(f"✅ {model_path} 다운로드 완료 → {local_save_path}")
62-
# return local_save_path
63-
# except Exception as e:
64-
# print(f"❌ MinIO에서 {model_path} 다운로드 실패: {e}")
65-
# return None

core/model_loader.py

Lines changed: 0 additions & 34 deletions
Original file line numberDiff line numberDiff line change
@@ -5,12 +5,6 @@
55

66
MODEL_PATH = "downloaded_model"
77

8-
# def load_tokenizer():
9-
# # Tokenizer 로드
10-
# tokenizer = AutoTokenizer.from_pretrained(f"{MODEL_PATH}/tokenizer.json", local_files_only=True, use_fast=True)
11-
12-
# return tokenizer
13-
148
def load_model():
159
base_model_name = "Bllossom/llama-3.2-Korean-Bllossom-3B"
1610
lora_model_path = MODEL_PATH
@@ -33,31 +27,3 @@ def load_model():
3327
tokenizer.pad_token = tokenizer.eos_token
3428

3529
return model, tokenizer
36-
37-
# # Config 로드
38-
# config = AutoConfig.from_pretrained(f"{MODEL_PATH}/config.json", local_files_only=True)
39-
40-
# # 모델 생성 (AutoModelForCausalLM, AutoModelForSequenceClassification 등 선택)
41-
# model = AutoModel.from_config(config)
42-
43-
# # .safetensors 로드
44-
# weights = load_file(f"{MODEL_PATH}/adapter_model.safetensors") # 파일명 확인
45-
46-
# # 모델에 가중치 적용
47-
# model.load_state_dict(weights, strict=False)
48-
49-
# # # 모델을 GPU로 이동 (선택)
50-
# # device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
51-
# # model.to(device)
52-
# model.eval() # 모델 평가 모드로 설정
53-
54-
# # Adapter 설정 로드
55-
# adapter_config = PeftConfig.from_pretrained(f"{MODEL_PATH}/adapter_config.json", local_files_only=True)
56-
57-
# # Adapter 적용
58-
# model = PeftModel(model, adapter_config)
59-
60-
# return model
61-
62-
# # # 모델 로드
63-
# # llama_model = load_model()

main.py

Lines changed: 2 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -7,8 +7,6 @@
77
from core.model_loader import load_model # load_tokenizer, tokenizer, 모델 로드
88
import os
99

10-
# import torch
11-
1210
app = FastAPI()
1311

1412
origins = ['*']
@@ -26,7 +24,7 @@
2624
# 서버 실행 시 모델 파일 다운로드 + 모델 로드
2725
@app.on_event("startup")
2826
async def cache_model():
29-
download_model_from_minio(f"", "downloaded_model") # MODEL_PATH : 어제 test 시 "test_download" 사용
27+
download_model_from_minio(f"models", "downloaded_model") # MODEL_PATH : 어제 test 시 "test_download" 사용
3028
app.state.model, app.state.tokenizer = load_model()
3129

3230
#if __name__ == '__main__':
@@ -39,3 +37,4 @@ async def cache_model():
3937
@app.get("/")
4038
async def root():
4139
return {"message": "Hello World"}
40+

0 commit comments

Comments
 (0)