scalable FinRL

[Yonv1943]

1. 在中国A股上，训练交易智能体：我们将修缮 中国A股的demo：
   1.1 在Colab 上 运行jupyter notebook https://github.com/AI4Finance-Foundation/FinRL-Tutorials/blob/master/1-Introduction/China_A_share_market_tushare.ipynb
   1.2 在本地电脑运行 python程序 https://github.com/AI4Finance-Foundation/FinRL-Tutorials/blob/master/1-Introduction/China_A_share_market_tushare.py
   1.3 体验金融数据处理流程：下载，预处理，装入仿真环境
   1.4 体验对金融RL训练中，关键超参数的实际影响： batch_size, horizon_len, repeat_times
2. RL训练代码的并行化改造：我们将得到多GPU的金融强化学习训练代码
   2.1 将不支持多GPU的 stablebaselines3 更换成 自己的RL训练代码，可以参考 ELegantRL 的 singlefilePPO https://github.com/AI4Finance-Foundation/ElegantRL/blob/master/helloworld/helloworld_PPO_single_file.py
   2.2 尝试 multiple workers
   2.3 尝试 multiple learners
   2.3.1 DataParallel 参考这里的代码 ✨ DataParallel and DistributedDataParallel for speed up training. RLSolver#43
   2.3.2 有兴趣可以挑战其他并行方案，但时候再写
3. 仿真环境的并行化改造：我们将得到可以自由替换训练数据的金融强化学习训练代码
   3.1 单个仿真环境 StockTradingEnv

   ElegantRL/elegantrl/envs/StockTradingEnv.py

   Line 9 in 68bf0ea

   class StockTradingEnv:

   
   3.2 并行仿真环境 StockTradingVecEnv

   ElegantRL/elegantrl/envs/StockTradingEnv.py

   Line 155 in 68bf0ea

   class StockTradingVecEnv:

   
   3.3 对比训练的代码 train_ppo_a2c_for_stock_trading

   ElegantRL/examples/demo_A2C_PPO.py

   Line 325 in 68bf0ea

   def train_ppo_a2c_for_stock_trading():

   
   3.4 更换成自己的数据，训练并行仿真环境

RL训练代码每个必要模块的结构，包含每个函数的输入、输出、用法。我已经整理在：
https://github.com/AI4Finance-Foundation/ElegantRL/blob/master/helloworld/README.md

[JeffQuantFin]

现在有两个版本的vector env

1. StockTradingEnv.py 中的class StockTradingVecEnv
   2）StockTradingVmapEnv.py 中的StockTradingVmapEnv
   建议用哪个呢

[JeffQuantFin]

1、VecEnv() SubEnv() VecEnv 将会调用 SubEnv， 使用多进程通信的方法，将任意的 single env 包装成 vectorized env。这种包装方法，对任意single env 都是通用的。能并行开启 4~32 个 single env 获得线性加速。
2、StockTradingVecEnv 是使用 PyTorch的 Vmap函数，针对StockTradingEnv 这个仿真环境，特地写出来的 GPU并行版本，可以在A100 GPU 上，并行加速 5000个子环境，并保持线性加速。任何 标准的仿真环境，都可以使用单进程去训练，或使用多进程开启多个 env-actor pairs (即开启多个worker） 进行训练

【问题】VecEnv() SubEnv() 通过多进程方式的并行，是否可以弃用了。只用上述VecEnv 即可？ 还是 建议 搭配使用 多进程开启 多个VecEnv?