update: test cases

Author: kozistr

tests/constants.py

@@ -146,7 +146,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'graft_type': 1,
         },
         10,
@@ -157,7 +157,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'graft_type': 2,
         },
         10,
@@ -168,7 +168,7 @@
             'lr': 1e-2,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'graft_type': 3,
         },
         10,
@@ -179,7 +179,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'graft_type': 4,
         },
         10,
@@ -190,7 +190,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'pre_conditioner_type': 0,
         },
         10,
@@ -201,7 +201,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'pre_conditioner_type': 1,
         },
         10,
@@ -212,7 +212,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'pre_conditioner_type': 2,
         },
         10,
@@ -223,7 +223,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'inverse_exponent_override': 1,
         },
         10,
@@ -234,7 +234,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'nesterov': False,
         },
         10,
@@ -245,7 +245,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'decoupled_weight_decay': True,
         },
         10,
@@ -256,7 +256,7 @@
             'lr': 1e-0,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'decoupled_learning_rate': False,
         },
         10,
@@ -267,7 +267,7 @@
             'lr': 1e-1,
             'weight_decay': 1e-3,
             'start_preconditioning_step': 9,
-            'preconditioning_compute_steps': 9,
+            'preconditioning_compute_steps': 10,
             'moving_average_for_momentum': True,
         },
         10,