Modelos de RL treinados com os algoritmos PPO e SAC

Modelos

Primeira fase do estudo - otimização de qualidade

• Configuração A da planta de chuveiro
• Configuração B da planta de chuveiro
• Configuração C da planta de chuveiro

Segunda fase do estudo - otimização de qualidade e custos

• Modelo 1 da configuração B da planta de chuveiro
• Modelo 2 da configuração B da planta de chuveiro
• Modelos 3 e 4 da configuração B da planta de chuveiro
• Modelos 5 e 6 da configuração B da planta de chuveiro
• Modelo 1 da configuração C da planta de chuveiro
• Modelo 2 da configuração C da planta de chuveiro
• Modelos 3 e 4 da configuração C da planta de chuveiro
• Modelos 5 e 6 da configuração C da planta de chuveiro

Instalação

Considerando que o seu ambiente é o Visual Studio Code com Python, siga estas instruções para instalar a biblioteca em um ambiente Anaconda:

conda create -n rllib python=3.8
conda activate rllib
pip install "ray[rllib]" tensorflow 

Depois, instale o pacote tensorflow_probability no mesmo ambiente, referenciado neste link:

pip install tensorflow-probability==0.19.0

Integração com Tensorboard

Siga estas instruções para integrar seus modelos com o Tensorboard:

Execute o seguinte comando:

pip show tensorflow

Entre no local onde o tensorflow está instalado:

cd C:\users\maria\appdata\roaming\python\python38\site-packages

Entre no folder do tensorboard:

cd tensorboard

Execute o seguinte comando:

python main.py --logdir "C:\users\maria\ray_results\folder_experiment"

Sanity check

Treinando o sistema com o ambiente customizado neste script, obtém-se o resultado abaixo, que reproduz o resultado encontrado no notebook corrigido pelo professor.