Оптимизация параметров роботизированного захвата в MuJoCo с применением RL.

В данной работе рассматривается задача оптимизации стратегии захвата манипулятором в физическом симуляторе MuJoCo. Целью является достижение устойчивого захвата с минимальными издержками по энергии, симметрии, скорости и без превышения допустимого усилия.

Цели проекта:

1. Смоделировать захват, сцену и тестируемые объекты в MuJoCo
2. Разработать систему управления, реализовать регулятор
3. Применить классические методы оптимизации для настройки ПД-контроллера
4. Применить алгоритм обучения с подкреплением (Soft Actor-Critic, SAC)
5. Провести тестирование и анализ результатов.

Структура

Radmilase/doms_pr/
├── model
├── run

Запуск проекта

Склонируйте репозиторий и перейдите в папку проекта run:

git clone https://github.com/Radmilase/doms_pr.git
cd doms_pr/run

Запустите симмуляцию с PD регулятором и тремя сенсорами

run_pd_4(с_использованием_3х_типов_сенсеров).py

Оптимизация

Запустите код с выполнением оптимизации метрик классическими методами:

optima_methods.py

Оптимизация с помощью RL агента:

optimaRL.py

Запустите симмуляцию с RL

rl_agent.py

Результаты

В рамках выполненной работы была реализована система автомати- ческого захвата объекта в среде MuJoCo с использованием двух подходов: классических методов оптимизации параметров регулятора PD-управления и обучения с подкреплением (RL). Для оценки качества управления была разработана комплексная метрика, учитывающая такие аспекты, как успешность захвата, энергопотребление, наличие перехватов силы, симметрия движений и плавность управления.

Полученные результаты подтверждают возможность эффективного применения как классических оптимизационных методов, так и методов обучения с подкреплением для решения задач захвата в робототехнических системах.

Авторы:

Имя	Github	ИСУ
Шарова Ангелина	https://github.com/aasharova	465747
Дерина Вероника	https://github.com/VerDddD	465747
Сегень Радмила	https://github.com/radmilase	472460

Университет ИТМО

04/2025