|
10 | 10 | parser.add_argument("-d", "--dataset", type=str, default="data.jsonl")
|
11 | 11 | parser.add_argument("-t", "--num-trainers", type=int, default=2)
|
12 | 12 | parser.add_argument("-i", "--num-inferencer", type=int, default=2)
|
13 |
| - parser.add_argument("-ibs", "--inference-batch-size", type=int, default=64) |
| 13 | + parser.add_argument("-ibs", "--inference-batch-size", type=int, default=32) |
14 | 14 | parser.add_argument("-imbs", "--inference-microbatch-size", type=int, default=16)
|
15 | 15 | parser.add_argument("-tbs", "--train-batch-size", type=int, default=16)
|
16 |
| - parser.add_argument("-tmbs", "--train-microbatch-size", type=int, default=2) |
| 16 | + parser.add_argument("-tmbs", "--train-microbatch-size", type=int, default=1) |
17 | 17 | parser.add_argument("-b", "--backend", type=str, default="transformers")
|
18 |
| - parser.add_argument("-a", "--algo", type=str, default="GRPO", choices=["Simple, GPRO"]) |
| 18 | + parser.add_argument("-a", "--algo", type=str, default="GRPO", choices=["Simple, GRPO"]) |
19 | 19 | args = parser.parse_args()
|
20 | 20 |
|
21 | 21 | ray.init(address="local", namespace="ray-example")
|
|
0 commit comments