|
| 1 | +import logging |
| 2 | +import os |
| 3 | +from logging import basicConfig |
| 4 | + |
| 5 | +import dspy |
| 6 | +import mlflow |
| 7 | +import mlflow.dspy as mlflow_dspy |
| 8 | +import typer |
| 9 | +from datasets import load_dataset |
| 10 | +from dotenv import load_dotenv |
| 11 | +from pyparsing import deque |
| 12 | + |
| 13 | +from template_langgraph.internals.dspys.modules import EdamameFairyBot |
| 14 | +from template_langgraph.internals.dspys.utilities import get_lm |
| 15 | +from template_langgraph.loggers import get_logger |
| 16 | + |
| 17 | +# 最適化されたモジュールの保存先 |
| 18 | +OPTIMIZED_MODEL_PATH = "data/chat_model.optimized.json" |
| 19 | + |
| 20 | +# Initialize the Typer application |
| 21 | +app = typer.Typer( |
| 22 | + add_completion=False, |
| 23 | + help="DSPy operator CLI", |
| 24 | +) |
| 25 | + |
| 26 | +# Set up logging |
| 27 | +logger = get_logger(__name__) |
| 28 | + |
| 29 | + |
| 30 | +def set_verbose_logging(verbose: bool): |
| 31 | + if verbose: |
| 32 | + logger.setLevel(logging.DEBUG) |
| 33 | + basicConfig(level=logging.DEBUG) |
| 34 | + |
| 35 | + |
| 36 | +def create_style_metric(eval_lm): |
| 37 | + """スタイル評価関数を作成""" |
| 38 | + |
| 39 | + class StyleEvaluation(dspy.Signature): |
| 40 | + """応答のスタイルを評価""" |
| 41 | + |
| 42 | + response = dspy.InputField(desc="評価対象の応答") |
| 43 | + criteria = dspy.InputField(desc="評価基準") |
| 44 | + score = dspy.OutputField(desc="スコア(0-10)", format=int) |
| 45 | + explanation = dspy.OutputField(desc="評価理由") |
| 46 | + |
| 47 | + evaluator = dspy.ChainOfThought(StyleEvaluation) |
| 48 | + |
| 49 | + def llm_style_metric(_, prediction, __=None): |
| 50 | + """枝豆の妖精スタイルを評価""" |
| 51 | + criteria = """ |
| 52 | + 以下の基準で0-10点で評価してください: |
| 53 | + 1. 語尾に「のだ」「なのだ」を適切に使っているか(3点) |
| 54 | + - 過度な使用(のだのだ等)は減点 |
| 55 | + - 自然な日本語として成立しているか |
| 56 | + - 「なのだよ」「なのだね」といった語尾は不自然のため減点 |
| 57 | + 2. 一人称を使う際は「ボク」を使っているか(2点) |
| 58 | + 3. 親しみやすく可愛らしい口調か(3点) |
| 59 | + 4. 日本語として自然で読みやすいか(2点) |
| 60 | + - 不自然な繰り返しがないか |
| 61 | + - 文法的に正しいか |
| 62 | + """ |
| 63 | + |
| 64 | + # 評価用LMを使用して応答を評価 |
| 65 | + with dspy.context(lm=eval_lm): |
| 66 | + eval_result = evaluator(response=prediction.response, criteria=criteria) |
| 67 | + |
| 68 | + # スコアを0-1の範囲に正規化 |
| 69 | + score = min(10, max(0, float(eval_result.score))) / 10.0 |
| 70 | + return score |
| 71 | + |
| 72 | + return llm_style_metric |
| 73 | + |
| 74 | + |
| 75 | +def optimize_with_miprov2(trainset, eval_lm, chat_lm): |
| 76 | + """MIPROv2を使用してチャットボットを最適化""" |
| 77 | + |
| 78 | + # MLflowの設定 |
| 79 | + MLFLOW_PORT = os.getenv("MLFLOW_PORT", "5000") |
| 80 | + MLFLOW_TRACKING_URI = f"http://localhost:{MLFLOW_PORT}" |
| 81 | + MLFLOW_EXPERIMENT_NAME = "DSPy-EdamameFairy-Optimization" |
| 82 | + MLFLOW_RUN_NAME = "miprov2_optimization" |
| 83 | + |
| 84 | + # データセットをtrain:val = 8:2 の割合で分割 |
| 85 | + total_examples = len(trainset) |
| 86 | + train_size = int(total_examples * 0.8) # 全体の80%を学習用に |
| 87 | + |
| 88 | + # DSPy Exampleのリストを分割 |
| 89 | + train_data = trainset[:train_size] # インデックス0からtrain_sizeまで(学習用) |
| 90 | + evaluation_data = trainset[train_size:] # train_sizeから最後まで(評価用) |
| 91 | + |
| 92 | + # 分割結果の確認と表示 |
| 93 | + print("🌱 最適化開始") |
| 94 | + print(f" 総データ数: {total_examples}") |
| 95 | + print(f" 学習用データ: {len(train_data)} ({len(train_data) / total_examples:.1%})") |
| 96 | + print(f" 評価用データ: {len(evaluation_data)} ({len(evaluation_data) / total_examples:.1%})") |
| 97 | + |
| 98 | + # 最適化対象のチャットボットモジュールを初期化 |
| 99 | + chatbot = EdamameFairyBot() |
| 100 | + |
| 101 | + # スタイル評価関数を作成(評価用LMを使用) |
| 102 | + llm_style_metric = create_style_metric(eval_lm) |
| 103 | + |
| 104 | + # DSPyのグローバルLM設定(チャット推論用) |
| 105 | + dspy.configure(lm=chat_lm) |
| 106 | + |
| 107 | + # MIPROv2オプティマイザの設定 |
| 108 | + optimizer = dspy.MIPROv2( |
| 109 | + metric=llm_style_metric, # 評価関数 |
| 110 | + prompt_model=eval_lm, # プロンプト最適化用のLM |
| 111 | + auto="light", # 最適化モード(light, medium, heavyから選択) |
| 112 | + max_bootstrapped_demos=2, |
| 113 | + max_labeled_demos=1, |
| 114 | + ) |
| 115 | + |
| 116 | + # MLflowの設定 |
| 117 | + mlflow.set_tracking_uri(MLFLOW_TRACKING_URI) # MLflowサーバのURL |
| 118 | + mlflow.set_experiment(MLFLOW_EXPERIMENT_NAME) # MLflowの実験名 |
| 119 | + |
| 120 | + # MLflow DSPyの自動ログ設定 |
| 121 | + mlflow_dspy.autolog(log_compiles=True, log_evals=True, log_traces_from_compile=True) |
| 122 | + |
| 123 | + # MLflowで実行過程をトレース |
| 124 | + with mlflow.start_run(run_name=MLFLOW_RUN_NAME): |
| 125 | + # MIPROv2によるモジュール最適化の実行 |
| 126 | + # train_dataを使用してプロンプトと例を自動調整 |
| 127 | + optimized_chatbot = optimizer.compile(chatbot, trainset=train_data, minibatch_size=20) |
| 128 | + |
| 129 | + # 評価データでモデルの性能を評価 |
| 130 | + eval_score = 0 |
| 131 | + for example in evaluation_data: |
| 132 | + # 最適化されたモデルで推論を実行 |
| 133 | + prediction = optimized_chatbot(query=example.query, history=example.history) |
| 134 | + # スタイルスコアを計算 |
| 135 | + eval_score += llm_style_metric(example, prediction) |
| 136 | + |
| 137 | + # 平均評価スコアを計算 |
| 138 | + avg_eval_score = eval_score / len(evaluation_data) |
| 139 | + |
| 140 | + # MLflowにメトリクスを記録 |
| 141 | + mlflow.log_metric("last_eval_score", avg_eval_score) |
| 142 | + |
| 143 | + print(f"📊 評価スコア: {avg_eval_score:.3f}") |
| 144 | + |
| 145 | + return optimized_chatbot |
| 146 | + |
| 147 | + |
| 148 | +@app.command() |
| 149 | +def chat( |
| 150 | + path: str = typer.Option( |
| 151 | + OPTIMIZED_MODEL_PATH, |
| 152 | + "--path", |
| 153 | + "-p", |
| 154 | + help="Path to the model file", |
| 155 | + ), |
| 156 | + verbose: bool = typer.Option( |
| 157 | + True, |
| 158 | + "--verbose", |
| 159 | + "-v", |
| 160 | + help="Enable verbose output", |
| 161 | + ), |
| 162 | +): |
| 163 | + set_verbose_logging(verbose) |
| 164 | + logger.info("Running...") |
| 165 | + |
| 166 | + with dspy.context(lm=get_lm()): |
| 167 | + chatbot = EdamameFairyBot() |
| 168 | + chatbot.load(path=path) |
| 169 | + |
| 170 | + history = deque(maxlen=5) |
| 171 | + |
| 172 | + logger.info("Chatbot loaded.") |
| 173 | + logger.info("Quitting with 'quit', 'exit', or '終了'.") |
| 174 | + logger.info("-" * 50) |
| 175 | + |
| 176 | + while True: |
| 177 | + user_input = input("\nUser: ") |
| 178 | + |
| 179 | + if user_input.lower() in ["quit", "exit", "終了"]: |
| 180 | + print("\nBot: Bye!") |
| 181 | + break |
| 182 | + |
| 183 | + history_list = [f"User: {h[0]}\nBot: {h[1]}" for h in history] |
| 184 | + |
| 185 | + # 応答生成 |
| 186 | + result = chatbot(query=user_input, history=history_list) |
| 187 | + print(f"Bot: {result.response}") |
| 188 | + |
| 189 | + # 履歴に追加 |
| 190 | + history.append((user_input, result.response)) |
| 191 | + |
| 192 | + |
| 193 | +@app.command() |
| 194 | +def tuning( |
| 195 | + train_num: int = typer.Option( |
| 196 | + 10, |
| 197 | + "--train-num", |
| 198 | + "-n", |
| 199 | + help="Number of training examples to use", |
| 200 | + ), |
| 201 | + verbose: bool = typer.Option( |
| 202 | + True, |
| 203 | + "--verbose", |
| 204 | + "-v", |
| 205 | + help="Enable verbose output", |
| 206 | + ), |
| 207 | +): |
| 208 | + set_verbose_logging(verbose) |
| 209 | + logger.info("Running...") |
| 210 | + |
| 211 | + # 評価用LLMの設定 |
| 212 | + eval_lm = get_lm() |
| 213 | + |
| 214 | + # チャット推論用LLMの設定 |
| 215 | + chat_lm = get_lm() |
| 216 | + |
| 217 | + # 日本語データセットの読み込み(ずんだもんスタイルの質問応答データ) |
| 218 | + dataset = load_dataset("takaaki-inada/databricks-dolly-15k-ja-zundamon") |
| 219 | + |
| 220 | + # データセットからDSPy形式のExampleオブジェクトを作成 |
| 221 | + # - query: 質問文 |
| 222 | + # - history: 会話履歴(今回は空リスト) |
| 223 | + # - response: 期待される応答(学習用) |
| 224 | + trainset = [ |
| 225 | + dspy.Example(query=item["instruction"], history=[], response=item["output"]).with_inputs( |
| 226 | + "query", "history" |
| 227 | + ) # 入力フィールドを指定 |
| 228 | + for item in list(dataset["train"])[:train_num] # 最初の train_num 件を使用 |
| 229 | + ] |
| 230 | + |
| 231 | + # MIPROv2を使用してチャットボットを最適化 |
| 232 | + optimized_bot = optimize_with_miprov2(trainset, eval_lm, chat_lm) |
| 233 | + |
| 234 | + # 最適化されたモデルをファイルに保存 |
| 235 | + optimized_bot.save(OPTIMIZED_MODEL_PATH) |
| 236 | + print(f"✅ モデルを保存しました: {OPTIMIZED_MODEL_PATH}") |
| 237 | + |
| 238 | + # 保存したモデルを読み込んでテスト |
| 239 | + test_bot = EdamameFairyBot() |
| 240 | + test_bot.load(OPTIMIZED_MODEL_PATH) |
| 241 | + |
| 242 | + # テスト用のLM設定(推論用) |
| 243 | + dspy.configure(lm=chat_lm) |
| 244 | + |
| 245 | + # テスト用のクエリ(様々なタイプの質問) |
| 246 | + test_queries = ["こんにちは！", "枝豆って美味しいよね", "DSPyについて教えて"] |
| 247 | + |
| 248 | + # テスト実行と結果表示 |
| 249 | + print("\n🧪 テスト結果:") |
| 250 | + for query in test_queries: |
| 251 | + # 最適化されたボットで応答を生成 |
| 252 | + result = test_bot(query=query, history=[]) |
| 253 | + print(f"Q: {query}") |
| 254 | + print(f"A: {result.response}\n") |
| 255 | + |
| 256 | + |
| 257 | +if __name__ == "__main__": |
| 258 | + load_dotenv( |
| 259 | + override=True, |
| 260 | + verbose=True, |
| 261 | + ) |
| 262 | + app() |
0 commit comments