Skip to content

Latest commit

 

History

History
87 lines (46 loc) · 3.84 KB

UsingORTGenAIQuantifyingPhi.md

File metadata and controls

87 lines (46 loc) · 3.84 KB

Model Builderを使ったPhi-3.5の量子化方法

Model Builderは現在、Phi-3.5 InstructおよびPhi-3.5-VisionのONNXモデル量子化をサポートしています。

Phi-3.5-Instruct

CPUアクセラレーションによるINT4量子化変換

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cpu -c ./Phi-3.5-mini-instruct

CUDAアクセラレーションによるINT4量子化変換

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct

Phi-3.5-Vision

Phi-3.5-vision-instruct-onnx-cpu-fp32

  1. ターミナルで環境を設定
mkdir models

cd models

  1. modelsフォルダにmicrosoft/Phi-3.5-vision-instructをダウンロード
    https://huggingface.co/microsoft/Phi-3.5-vision-instruct

  2. 以下のファイルをPhi-3.5-vision-instructフォルダにダウンロードしてください

  1. 以下のファイルをmodelsフォルダにダウンロード

https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py

  1. ターミナルに移動し、

    FP32でONNXサポートの変換を実行

python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu

注意：

  1. Model Builderは現在、Phi-3.5-InstructとPhi-3.5-Visionの変換をサポートしていますが、Phi-3.5-MoEはサポートしていません。

  2. ONNXの量子化モデルを使用するには、Generative AI extensions for onnxruntime SDKを通じて利用可能です。

  3. より責任あるAIの観点から、モデルの量子化変換後は、より効果的な結果検証を行うことを推奨します。

  4. CPUのINT4モデルを量子化することで、エッジデバイスへの展開が可能となり、より良いアプリケーションシナリオが期待できるため、Phi-3.5-InstructのINT4周りの対応を完了しています。

リソース

  1. Generative AI extensions for onnxruntimeについて詳しくはこちら
    https://onnxruntime.ai/docs/genai/

  2. Generative AI extensions for onnxruntime GitHubリポジトリ
    https://github.com/microsoft/onnxruntime-genai

免責事項：
本書類はAI翻訳サービス「Co-op Translator」を使用して翻訳されました。正確性を期しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じた誤解や誤訳について、当方は一切の責任を負いかねます。