AndroidデバイスでPhi-3-miniを使った推論方法を見ていきましょう。Phi-3-miniはMicrosoftの新しいモデルシリーズで、エッジデバイスやIoTデバイス上で大規模言語モデル（LLM）を展開できるように設計されています。
Semantic Kernelは、Azure OpenAI ServiceやOpenAIモデル、さらにはローカルモデルにも対応したアプリケーションを作成できるフレームワークです。Semantic Kernelを初めて使う方は、Semantic Kernel Cookbookを参照することをおすすめします。
Semantic KernelのHugging Face Connectorと組み合わせて利用できます。こちらのサンプルコードを参考にしてください。
デフォルトではHugging Face上のモデルIDに対応していますが、ローカルで構築したPhi-3-miniモデルサーバーに接続することも可能です。
多くのユーザーはローカルでモデルを動かすために量子化モデルを利用しています。OllamaやLlamaEdgeは、個人ユーザーがさまざまな量子化モデルを呼び出せるようにしています。
ollama run Phi-3を直接実行するか、.ggufファイルのパスを記載したModelfileを作成してオフラインで設定できます。
FROM {Add your gguf file path}
TEMPLATE \"\"\"<|user|> .Prompt<|end|> <|assistant|>\"\"\"
PARAMETER stop <|end|>
PARAMETER num_ctx 4096
クラウドとエッジデバイスの両方で.ggufファイルを使いたい場合、LlamaEdgeが最適です。こちらのサンプルコードを参考にしてください。
- Androidスマホ向けの無料アプリ「MLC Chat」をダウンロードします。
- APKファイル（148MB）をダウンロードしてデバイスにインストールします。
- MLC Chatアプリを起動すると、Phi-3-miniを含むAIモデルの一覧が表示されます。
まとめると、Phi-3-miniはエッジデバイス上での生成AIに新たな可能性をもたらし、Android上でその機能を手軽に試すことができます。
免責事項：
本書類はAI翻訳サービス「Co-op Translator」を使用して翻訳されました。正確性を期しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じた誤解や誤訳について、当方は一切の責任を負いかねます。