Phi-3-mini ile Android cihazlarda nasıl çıkarım yapabileceğinizi keşfedelim. Phi-3-mini, Microsoft'un kenar cihazlar ve IoT cihazlarında Büyük Dil Modelleri (LLM'ler) dağıtımını mümkün kılan yeni bir model serisidir.
Semantic Kernel, Azure OpenAI Service, OpenAI modelleri ve hatta yerel modellerle uyumlu uygulamalar oluşturmanızı sağlayan bir uygulama çerçevesidir. Semantic Kernel'e yeniyseniz, Semantic Kernel Cookbook sayfasına göz atmanızı öneririz.
Bunu Semantic Kernel'deki Hugging Face Connector ile birleştirebilirsiniz. Bu Örnek Koda bakabilirsiniz.
Varsayılan olarak, Hugging Face üzerindeki model kimliği ile uyumludur. Ancak, yerel olarak oluşturulmuş bir Phi-3-mini model sunucusuna da bağlanabilirsiniz.
Birçok kullanıcı, modelleri yerel olarak çalıştırmak için kuantize modelleri tercih ediyor. Ollama ve LlamaEdge, bireysel kullanıcıların farklı kuantize modelleri çağırmasına olanak tanır:
ollama run Phi-3 komutunu doğrudan çalıştırabilir veya .gguf dosyanızın yolunu içeren bir Modelfile oluşturarak çevrimdışı yapılandırabilirsiniz.
FROM {Add your gguf file path}
TEMPLATE \"\"\"<|user|> .Prompt<|end|> <|assistant|>\"\"\"
PARAMETER stop <|end|>
PARAMETER num_ctx 4096
Bulutta ve kenar cihazlarda aynı anda .gguf dosyalarını kullanmak istiyorsanız, LlamaEdge harika bir seçenektir. Başlamak için bu örnek koda bakabilirsiniz.
- Android telefonlar için MLC Chat uygulamasını (Ücretsiz) indirin.
- APK dosyasını (148MB) indirip cihazınıza kurun.
- MLC Chat uygulamasını başlatın. Phi-3-mini dahil AI modellerinin bir listesini göreceksiniz.
Özetle, Phi-3-mini, kenar cihazlarda üretken yapay zeka için heyecan verici olanaklar sunuyor ve Android üzerinde yeteneklerini keşfetmeye başlayabilirsiniz.
Feragatname:
Bu belge, AI çeviri servisi Co-op Translator kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hatalar veya yanlışlıklar içerebileceğini lütfen unutmayınız. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımı sonucu oluşabilecek yanlış anlamalar veya yorum hatalarından sorumlu değiliz.