Microsoft Prompt Flowは、事前に用意されたテンプレートやカスタムコネクタを使って自動化ワークフローを作成できるビジュアルワークフロー自動化ツールです。開発者やビジネスアナリストが、データ管理、コラボレーション、プロセス最適化などのタスクに対して迅速に自動化プロセスを構築できるよう設計されています。Prompt Flowを使えば、さまざまなサービスやアプリケーション、システムを簡単に接続し、複雑なビジネスプロセスを自動化できます。
Microsoft Prompt Flowは、大規模言語モデル（LLM）を活用したAIアプリケーションのエンドツーエンドの開発サイクルを効率化するために設計されています。アイデア出し、プロトタイピング、テスト、評価、デプロイまで、LLMベースのアプリケーション開発をシンプルにし、実運用レベルの品質での構築を可能にします。
インタラクティブな作成体験
Prompt Flowはフローの構造を視覚的に表示し、プロジェクトの理解と操作を容易にします。
ノートブックのようなコーディング体験を提供し、効率的なフロー開発とデバッグをサポートします。
プロンプトのバリエーションとチューニング
複数のプロンプトバリエーションを作成・比較し、反復的な改善プロセスを促進します。
異なるプロンプトのパフォーマンスを評価し、最も効果的なものを選択できます。
組み込みの評価フロー
組み込みの評価ツールを使って、プロンプトやフローの品質と効果を評価します。
LLMベースのアプリケーションのパフォーマンスを把握できます。
充実したリソース
Prompt Flowには、組み込みツール、サンプル、テンプレートのライブラリが含まれています。
これらのリソースは開発の出発点となり、創造性を刺激し、開発を加速します。
コラボレーションとエンタープライズ対応
複数ユーザーが共同でプロンプトエンジニアリングプロジェクトに取り組めるようサポートします。
バージョン管理を維持し、知識共有を効果的に行えます。
開発、評価、デプロイ、モニタリングまで、プロンプトエンジニアリングの全工程を効率化します。
Microsoft Prompt Flowでは、AIモデルの性能を評価するために評価が重要な役割を果たします。Prompt Flow内で評価フローや評価指標をどのようにカスタマイズできるか見てみましょう。
Prompt Flowにおける評価の理解
Prompt Flowでは、フローは入力を処理し出力を生成するノードの連続です。評価フローは、特定の基準や目標に基づいて実行結果の性能を評価するための特別なフローです。
評価フローの主な特徴
評価フローは通常、テスト対象のフローの実行後に動作し、その出力を利用します。
テスト対象フローの性能を測るためにスコアや指標を計算します。
指標には正確性、関連度スコア、その他の適切な測定値が含まれます。
入力の定義
評価フローはテスト対象の実行結果を入力として受け取る必要があります。標準フローと同様に入力を定義します。
例えば、QnAフローを評価する場合は入力名を「answer」とします。分類フローの評価なら「category」と命名します。正解ラベルなどのグラウンドトゥルース入力も必要になることがあります。
出力と指標
評価フローはテスト対象フローの性能を測る結果を出力します。
指標はPythonやLLMを使って計算できます。関連する指標はlog_metric()関数でログに記録します。
カスタマイズした評価フローの活用
特定のタスクや目的に合わせて独自の評価フローを開発しましょう。
評価目標に基づいて指標をカスタマイズします。
大規模テストのためにバッチ実行にこのカスタマイズ評価フローを適用できます。
Prompt Flowは組み込みの評価方法も提供しています。
バッチ実行を送信し、大規模データセットでフローの性能を評価できます。
評価結果を確認し、指標を比較しながら必要に応じて改善を繰り返せます。
評価はAIモデルが求められる基準や目標を満たしているかを確認するために不可欠です。
Microsoft Prompt Flowでの評価フローの開発と使用に関する詳細な手順は公式ドキュメントを参照してください。
まとめると、Microsoft Prompt Flowはプロンプトエンジニアリングを簡素化し、堅牢な開発環境を提供することで、高品質なLLMアプリケーションの構築を支援します。LLMを扱うなら、Prompt Flowはぜひ活用したいツールです。詳細な評価フローの開発と使用方法については、Prompt Flow Evaluation Documentsをご覧ください。
免責事項：
本書類はAI翻訳サービス「Co-op Translator」を使用して翻訳されました。正確性の向上に努めておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や誤訳についても、当方は責任を負いかねます。