34 lines (22 loc) · 1.86 KB

Инструменты для работы с LLM

Fine-tuning

English

PEFT — Parameter-Efficient Fine-Tuning: LoRA, QLoRA, prefix tuning
TRL — Transformer Reinforcement Learning: RLHF, DPO для выравнивания LLM
Axolotl — обёртка для fine-tuning LLM с поддержкой множества методов
Unsloth — ускоренный fine-tuning LLM (2-5x) с пониженным потреблением памяти

Инференс и деплой

English

vLLM — быстрый инференс LLM с PagedAttention и continuous batching
Ollama — запуск LLM локально одной командой
llama.cpp — инференс LLM на CPU, квантизация GGUF
TGI (Hugging Face) — production-сервер для LLM

Фреймворки для LLM-приложений

English

LangChain — оркестрация цепочек вызовов LLM, RAG, агенты
LlamaIndex — фреймворк для RAG: индексация, поиск, генерация ответов
DSPy (Stanford) — программирование LLM вместо ручного промптинга

Мониторинг и оценка

English

LangSmith — трассировка и отладка LLM-цепочек
Promptfoo — тестирование и сравнение промптов