Aşağıdaki belge, Phi-3 modellerine dayalı yapay zeka uygulamaları geliştirmek için PromptFlow'u ONNX (Open Neural Network Exchange) ile nasıl kullanacağınıza dair bir örnektir.
PromptFlow, LLM tabanlı (Büyük Dil Modeli) yapay zeka uygulamalarının fikir aşamasından prototiplemeye, test ve değerlendirmeye kadar uçtan uca geliştirme döngüsünü kolaylaştırmak için tasarlanmış bir geliştirme araçları paketidir.
PromptFlow'u ONNX ile entegre ederek geliştiriciler:
- Model Performansını Optimize Edebilir: Verimli model çıkarımı ve dağıtımı için ONNX'ten yararlanabilir.
- Geliştirmeyi Basitleştirebilir: İş akışını yönetmek ve tekrarlayan görevleri otomatikleştirmek için PromptFlow'u kullanabilir.
- İş Birliğini Artırabilir: Birleşik bir geliştirme ortamı sağlayarak ekip üyeleri arasında daha iyi iş birliği kolaylaştırabilir.
Prompt flow, LLM tabanlı yapay zeka uygulamalarının fikir aşamasından prototipleme, test, değerlendirme, üretim dağıtımı ve izlemeye kadar uçtan uca geliştirme döngüsünü kolaylaştırmak için tasarlanmış bir geliştirme araçları paketidir. Prompt mühendisliğini çok daha kolay hale getirir ve üretim kalitesinde LLM uygulamaları oluşturmanızı sağlar.
Prompt flow, OpenAI, Azure OpenAI Service ve özelleştirilebilir modellerle (Huggingface, yerel LLM/SLM) bağlantı kurabilir. Phi-3.5'in kuantize edilmiş ONNX modelini yerel uygulamalara dağıtmayı hedefliyoruz. Prompt flow, işimizi daha iyi planlamamıza ve Phi-3.5 tabanlı yerel çözümleri tamamlamamıza yardımcı olabilir. Bu örnekte, Windows GPU tabanlı Prompt flow çözümünü tamamlamak için ONNX Runtime GenAI Kütüphanesi ile birleştireceğiz.
Windows GPU için ONNX Runtime GenAI'yi kurmak için bu kılavuzu okuyun buraya tıklayın
- Prompt flow VS Code Eklentisini yükleyin
- Prompt flow VS Code Eklentisini yükledikten sonra, eklentiye tıklayın ve Installation dependencies seçeneğini seçin, bu kılavuzu takip ederek ortamınıza Prompt flow SDK'yı kurun
- Örnek Kodu indirin ve VS Code ile bu örneği açın
- Python ortamınızı seçmek için flow.dag.yaml dosyasını açın
Phi-3.5-instruct ONNX Model konumunuzu değiştirmek için chat_phi3_ort.py dosyasını açın
- Prompt flow'u test etmek için çalıştırın
flow.dag.yaml dosyasını açın ve görsel editöre tıklayın
Buna tıkladıktan sonra çalıştırarak testi başlatın
- Daha fazla sonuç kontrol etmek için terminalde toplu çalıştırma yapabilirsiniz
pf run create --file batch_run.yaml --stream --name 'Your eval qa name'
Sonuçları varsayılan tarayıcınızda kontrol edebilirsiniz
Feragatname:
Bu belge, AI çeviri servisi Co-op Translator kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hatalar veya yanlışlıklar içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu oluşabilecek yanlış anlamalar veya yorum hatalarından sorumlu değiliz.