В кластере Managed Service for YTsaurus вы можете запускать PySpark-задания с помощью скрипта spark-submit. Он сохраняет результаты расчета в HDFS.
Подготовка инфраструктуры для кластера Managed Service for YTsaurus через Terraform описана в практическом руководстве, необходимый для настройки конфигурационный файл ytsaurus-for-spark-jobs.tf расположен в этом репозитории.