Поддержка PPO

[JohnConnor123]

Я правильно понимаю, что поддержки PPO в этой библиотеке нет? Если ее нет, то возможно ли добавить поддержку?Рассматриваются ли такие варианты?

[hivaze]

Она в скором времени будет (1-2 недели), планируем добавить GRPO из DeepSeek в формате LoRA адаптеров с VLLM инференсом. Основная проблема, что онлайн RL несколько сложнее делать эффективным.