vae_mnist increasing runtime and memory usage after each epoch #383
Description
While training the vae_mnist example https://github.com/FluxML/model-zoo/blob/master/vision/vae_mnist/vae_mnist.jl, the runtime for each epoch is increasing from 4 minutes up to 1:22 hours, see the log. We expect a similar runtime for each epoch.
Tested with Flux 0.13.10, Windows 10 machine.
[ Info: Training on GPU
[ Info: Start Training, total 20 epochs
[ Info: Epoch 1
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:04:35
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_1.png
[ Info: Epoch 2
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:10:44
loss: 173.78094
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_2.png
[ Info: Epoch 3
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:15:41
loss: 185.91678
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_3.png
[ Info: Epoch 4
Progress: 30%|████████████████████████████████ | ETA: 0:13:08
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:21:34
loss: 186.1274
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_4.png
[ Info: Epoch 5
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:28:25
loss: 181.45102
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_5.png
[ Info: Epoch 6
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:36:31
loss: 179.04253
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_6.png
[ Info: Epoch 7
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:43:55
loss: 180.57823
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_7.png
[ Info: Epoch 8
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:52:03
loss: 173.47208
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_8.png
[ Info: Epoch 9
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 0:59:13
loss: 176.1585
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_9.png
[ Info: Epoch 10
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 1:02:29
loss: 168.37003
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_10.png
[ Info: Epoch 11
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 1:04:24
loss: 160.70734
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_11.png
[ Info: Epoch 12
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 1:10:29
loss: 161.37071
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_12.png
[ Info: Epoch 13
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 1:16:34
loss: 172.15349
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_13.png
[ Info: Epoch 14
Progress: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| Time: 1:22:42
loss: 175.96423
[ Info: Image saved: D:\z_installed_programs\julia-depot\datadeps\runs\vae_mnist\epoch_14.png
[ Info: Epoch 15