AI Toolkit for VS Code, Azure AI Foundry Kataloğu ve Hugging Face gibi diğer kataloglardan en son AI geliştirme araçları ve modellerini bir araya getirerek üretken AI uygulama geliştirmeyi kolaylaştırır. GitHub Modelleri ve Azure AI Foundry Model Katalogları tarafından desteklenen AI modelleri kataloğunu gezebilir, modelleri yerel veya uzak olarak indirip, ince ayar yapabilir, test edebilir ve uygulamanızda kullanabilirsiniz.
AI Toolkit Önizlemesi yerel olarak çalışacaktır. Yerel çıkarım veya ince ayar, seçtiğiniz modele bağlıdır; NVIDIA CUDA GPU gibi bir GPU’ya ihtiyacınız olabilir. GitHub Modellerini doğrudan AITK ile de çalıştırabilirsiniz.
Windows için Linux alt sisteminin nasıl kurulacağını öğrenin
ve varsayılan dağıtımın nasıl değiştirileceğini öğrenin.
-
Windows, Linux, macOS
-
Hem Windows hem de Linux üzerinde ince ayar yapmak için Nvidia GPU gereklidir. Ayrıca, Windows için Ubuntu 18.4 veya daha yeni sürüm ile Linux alt sistemi gereklidir. Windows için Linux alt sisteminin nasıl kurulacağını öğrenin ve varsayılan dağıtımın nasıl değiştirileceğini öğrenin.
AI Toolkit, bir Visual Studio Code Uzantısı olarak sunulur, bu yüzden önce VS Code yüklemeli ve AI Toolkit’i VS Marketplace üzerinden indirmelisiniz.
AI Toolkit Visual Studio Marketplace'te mevcuttur ve diğer VS Code uzantıları gibi kurulabilir.
VS Code uzantılarını yüklemeye aşina değilseniz, şu adımları izleyin:
- VS Code’daki Aktivite Çubuğunda Extensions (Uzantılar) seçeneğini tıklayın
- Uzantılar arama çubuğuna "AI Toolkit" yazın
- "AI Toolkit for Visual Studio code" uzantısını seçin
- Install (Yükle) seçeneğine tıklayın
Artık uzantıyı kullanmaya hazırsınız!
GitHub’da oturum açmanız istenecek, devam etmek için "Allow" (İzin Ver) butonuna tıklayın. GitHub oturum açma sayfasına yönlendirileceksiniz.
Lütfen oturum açın ve işlemleri takip edin. Başarılı tamamlandıktan sonra VS Code’a geri yönlendirileceksiniz.
Uzantı yüklendikten sonra Aktivite Çubuğunuzda AI Toolkit simgesini göreceksiniz.
Hadi mevcut işlemleri keşfedelim!
AI Toolkit’in ana yan çubuğu şu bölümlere ayrılmıştır:
- Models
- Resources
- Playground
- Fine-tuning
- Evaluation
Resources bölümünde mevcuttur. Başlamak için Model Catalog (Model Kataloğu) seçin.
VS Code yan çubuğundan AI Toolkit’i başlattığınızda aşağıdaki seçeneklerden birini seçebilirsiniz:
- Model Catalog’dan desteklenen bir modeli bulun ve yerel olarak indirin
- Model çıkarımını Model Playground’da test edin
- Modeli yerel veya uzak olarak Model Fine-tuning ile ince ayar yapın
- İnce ayar yapılmış modelleri AI Toolkit komut paleti aracılığıyla buluta dağıtın
- Modelleri değerlendirin
Note
GPU ve CPU Karşılaştırması
Model kartlarında model boyutu, platform ve hızlandırıcı türü (CPU, GPU) gösterilir. En az bir GPU’ya sahip Windows cihazlarında, yalnızca Windows hedefleyen model sürümlerini seçerek optimize edilmiş performans elde edersiniz.
Bu, DirectML hızlandırıcısı için optimize edilmiş bir modele sahip olmanızı sağlar.
Model isimleri şu formatta olur:
{model_name}-{accelerator}-{quantization}-{format}.
Windows cihazınızda GPU olup olmadığını kontrol etmek için Görev Yöneticisi’ni açın ve Performans sekmesini seçin. GPU varsa, "GPU 0" veya "GPU 1" gibi isimlerle listelenir.
Tüm parametreler ayarlandıktan sonra Generate Project (Projeyi Oluştur) butonuna tıklayın.
Modeliniz indirildikten sonra katalogdaki model kartında Load in Playground (Playground’da Yükle) seçeneğini seçin:
- Model indirme işlemini başlatır
- Tüm önkoşulları ve bağımlılıkları kurar
- VS Code çalışma alanı oluşturur
AI Toolkit, OpenAI chat completions formatını kullanan yerel bir REST API web sunucusu ile birlikte gelir, 5272 portunda çalışır.
Bu sayede uygulamanızı bulut AI modeli servisine bağlı kalmadan yerel olarak test edebilirsiniz. Örneğin, aşağıdaki JSON dosyası isteğin gövdesinin nasıl yapılandırılacağını gösterir:
{
"model": "Phi-4",
"messages": [
{
"role": "user",
"content": "what is the golden ratio?"
}
],
"temperature": 0.7,
"top_p": 1,
"top_k": 10,
"max_tokens": 100,
"stream": true
}REST API’yi (örneğin) Postman veya CURL (Client URL) aracı ile test edebilirsiniz:
curl -vX POST http://127.0.0.1:5272/v1/chat/completions -H 'Content-Type: application/json' -d @body.jsonfrom openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:5272/v1/",
api_key="x" # required for the API but not used
)
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": "what is the golden ratio?",
}
],
model="Phi-4",
)
print(chat_completion.choices[0].message.content)Projeye NuGet kullanarak Azure OpenAI istemci kütüphanesini ekleyin:
dotnet add {project_name} package Azure.AI.OpenAI --version 1.0.0-beta.17Projeye OverridePolicy.cs adlı bir C# dosyası ekleyin ve aşağıdaki kodu yapıştırın:
// OverridePolicy.cs
using Azure.Core.Pipeline;
using Azure.Core;
internal partial class OverrideRequestUriPolicy(Uri overrideUri)
: HttpPipelineSynchronousPolicy
{
private readonly Uri _overrideUri = overrideUri;
public override void OnSendingRequest(HttpMessage message)
{
message.Request.Uri.Reset(_overrideUri);
}
}Sonra, aşağıdaki kodu Program.cs dosyanıza yapıştırın:
// Program.cs
using Azure.AI.OpenAI;
Uri localhostUri = new("http://localhost:5272/v1/chat/completions");
OpenAIClientOptions clientOptions = new();
clientOptions.AddPolicy(
new OverrideRequestUriPolicy(localhostUri),
Azure.Core.HttpPipelinePosition.BeforeTransport);
OpenAIClient client = new(openAIApiKey: "unused", clientOptions);
ChatCompletionsOptions options = new()
{
DeploymentName = "Phi-4",
Messages =
{
new ChatRequestSystemMessage("You are a helpful assistant. Be brief and succinct."),
new ChatRequestUserMessage("What is the golden ratio?"),
}
};
StreamingResponse<StreamingChatCompletionsUpdate> streamingChatResponse
= await client.GetChatCompletionsStreamingAsync(options);
await foreach (StreamingChatCompletionsUpdate chatChunk in streamingChatResponse)
{
Console.Write(chatChunk.ContentUpdate);
}- Model keşfi ve playground ile başlayın.
- Yerel hesaplama kaynakları kullanarak model ince ayarı ve çıkarımı.
- Azure kaynakları kullanarak uzak ince ayar ve çıkarım.
En yaygın sorunlar ve çözümler için lütfen Soru-Cevap sayfamıza bakın.
Feragatname:
Bu belge, AI çeviri servisi Co-op Translator kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hatalar veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu ortaya çıkabilecek yanlış anlamalar veya yorum hatalarından sorumlu değiliz.