Skip to content

Latest commit

 

History

History
116 lines (60 loc) · 4.92 KB

01.HF.md

File metadata and controls

116 lines (60 loc) · 4.92 KB

Використання Phi Family у Hugging Face

Hugging Face — це дуже популярна спільнота в галузі ШІ з багатими даними та відкритими моделями. Різні виробники публікують відкриті LLM та SLM через Hugging Face, такі як Microsoft, Meta, Mistral, Apple, Google тощо.

Сімейство Microsoft Phi вже доступне на Hugging Face. Розробники можуть завантажити відповідну модель Phi Family залежно від сценаріїв та бізнес-завдань. Окрім розгортання моделей Phi у форматі Pytorch на Hugging Face, ми також випустили квантизовані моделі у форматах GGUF та ONNX, щоб надати кінцевим користувачам вибір.

Завантаження моделей на Hugging Face

Ви можете завантажити модель Phi Family за цим посиланням

Microsoft Models на Hugging Face

Ви можете завантажити модель різними способами, наприклад, встановивши Hugging Face CLI SDK або використовуючи git clone.

Використання Hugging Face CLI для завантаження моделей Phi Family

  • Встановіть Hugging Face CLI
pip install -U "huggingface_hub[cli]"
  • Увійдіть у Hugging Face за допомогою huggingface-cli

Увійдіть у Hugging Face, використовуючи User Access Token зі сторінки Settings

huggingface-cli login --token $HF_TOKEN --add-to-git-credential
  • Завантаження

Ви можете завантажити модель і зберегти її в кеші

huggingface-cli download microsoft/phi-4

Також можна вказати власне розташування для збереження

huggingface-cli download microsoft/phi-4 --local-dir $YOUR_PATH

Використання git clone для завантаження моделей Phi Family

Ви також можете завантажити модель за допомогою git clone

git lfs install

git clone https://huggingface.co/microsoft/phi-4

Приклади — Інференс Microsoft Phi-4

  • Встановлення бібліотеки transformers
pip install transformers -U
  • Запуск цього коду у VSCode
import transformers

pipeline = transformers.pipeline(
    "text-generation",
    model="microsoft/phi-4",
    model_kwargs={"torch_dtype": "auto"},
    device_map="auto",
)

messages = [
    {"role": "user", "content": "I have $20,000 in my savings account, where I receive a 4% profit per year and payments twice a year. Can you please tell me how long it will take for me to become a millionaire? Also, can you please explain the math step by step as if you were explaining it to an uneducated person?"},
]

outputs = pipeline(messages, max_new_tokens=2048)
print(outputs[0]["generated_text"][-1])

Відмова від відповідальності:
Цей документ було перекладено за допомогою сервісу автоматичного перекладу Co-op Translator. Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ рідною мовою слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується звертатися до професійного людського перекладу. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.