Skip to content

Latest commit

 

History

History
110 lines (60 loc) · 3.53 KB

01.HF.md

File metadata and controls

110 lines (60 loc) · 3.53 KB

Uporaba družine Phi v Hugging Face

Hugging Face je zelo priljubljena AI skupnost z bogatimi podatki in odprtokodnimi modeli. Različni proizvajalci preko Hugging Face objavljajo odprtokodne LLM in SLM modele, kot so Microsoft, Meta, Mistral, Apple, Google itd.

Microsoft Phi Family je že na voljo na Hugging Face. Razvijalci lahko prenesejo ustrezne modele družine Phi glede na scenarije in poslovne potrebe. Poleg nameščanja Phi Pytorch modelov na Hugging Face smo izdali tudi kvantizirane modele v formatih GGUF in ONNX, da končnim uporabnikom ponudimo več možnosti.

Prenos modelov na Hugging Face

Model družine Phi lahko prenesete preko te povezave

Microsoft modeli na Hugging Face

Model lahko prenesete na različne načine, na primer z namestitvijo Hugging Face CLI SDK ali z uporabo git clone.

Uporaba Hugging Face CLI za prenos modela družine Phi

  • Namestite Hugging Face CLI
pip install -U "huggingface_hub[cli]"
  • Prijava v Hugging Face preko huggingface-cli

Prijavite se v Hugging Face z User Access Token iz vaše nastavitvene strani

huggingface-cli login --token $HF_TOKEN --add-to-git-credential
  • Prenos

Model lahko prenesete in shranite v predpomnilnik

huggingface-cli download microsoft/phi-4

Lahko določite tudi svojo lokacijo za shranjevanje

huggingface-cli download microsoft/phi-4 --local-dir $YOUR_PATH

Uporaba git clone za prenos modela družine Phi

Model lahko prenesete tudi z uporabo git clone

git lfs install

git clone https://huggingface.co/microsoft/phi-4

Primeri - Inferenca Microsoft Phi-4

  • Namestitev knjižnice transformers
pip install transformers -U
  • Zagon te kode v VSCode
import transformers

pipeline = transformers.pipeline(
    "text-generation",
    model="microsoft/phi-4",
    model_kwargs={"torch_dtype": "auto"},
    device_map="auto",
)

messages = [
    {"role": "user", "content": "I have $20,000 in my savings account, where I receive a 4% profit per year and payments twice a year. Can you please tell me how long it will take for me to become a millionaire? Also, can you please explain the math step by step as if you were explaining it to an uneducated person?"},
]

outputs = pipeline(messages, max_new_tokens=2048)
print(outputs[0]["generated_text"][-1])

Omejitev odgovornosti:
Ta dokument je bil preveden z uporabo storitve za avtomatski prevod AI Co-op Translator. Čeprav si prizadevamo za natančnost, vas opozarjamo, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku velja za avtoritativni vir. Za pomembne informacije priporočamo strokovni človeški prevod. Za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda, ne odgovarjamo.