Skip to content

Latest commit

 

History

History
84 lines (44 loc) · 3.55 KB

UsingORTGenAIQuantifyingPhi.md

File metadata and controls

84 lines (44 loc) · 3.55 KB

Model Builder kullanarak Phi-3.5 nasıl kuantize edilir

Model Builder artık Phi-3.5 Instruct ve Phi-3.5-Vision için ONNX model kuantizasyonunu desteklemektedir.

Phi-3.5-Instruct

CPU hızlandırmalı kuantize INT4 dönüşümü

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cpu -c ./Phi-3.5-mini-instruct

CUDA hızlandırmalı kuantize INT4 dönüşümü

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct

Phi-3.5-Vision

Phi-3.5-vision-instruct-onnx-cpu-fp32

  1. Terminalde ortamı ayarlayın
mkdir models

cd models

  1. microsoft/Phi-3.5-vision-instruct modelini models klasörüne indirin
    https://huggingface.co/microsoft/Phi-3.5-vision-instruct

  2. Lütfen bu dosyaları Phi-3.5-vision-instruct klasörünüze indirin

  1. Bu dosyayı models klasörüne indirin
    https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py

  2. Terminale gidin

    FP32 ile ONNX desteğini dönüştürün

python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu

Notlar:

  1. Model Builder şu anda Phi-3.5-Instruct ve Phi-3.5-Vision dönüşümünü desteklemekte, ancak Phi-3.5-MoE desteklememektedir.

  2. ONNX’in kuantize edilmiş modelini kullanmak için Generative AI extensions for onnxruntime SDK üzerinden erişebilirsiniz.

  3. Daha sorumlu yapay zeka için, model kuantizasyon dönüşümünden sonra daha etkili sonuç testleri yapılması önerilir.

  4. CPU INT4 modelini kuantize ederek, Edge Cihazlara dağıtım yapabiliriz; bu da daha iyi uygulama senaryoları sağlar. Bu nedenle Phi-3.5-Instruct INT4 çevresinde tamamlanmıştır.

Kaynaklar

  1. Generative AI extensions for onnxruntime hakkında daha fazla bilgi edinin https://onnxruntime.ai/docs/genai/

  2. Generative AI extensions for onnxruntime GitHub Deposu https://github.com/microsoft/onnxruntime-genai

Feragatname:
Bu belge, AI çeviri servisi Co-op Translator kullanılarak çevrilmiştir. Doğruluk için çaba gösterilse de, otomatik çevirilerin hatalar veya yanlışlıklar içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu oluşabilecek yanlış anlamalar veya yorum hatalarından sorumlu değiliz.