关于Auto_Program项目

[AuroraH1]

关于这个项目，我也很想兴趣，请问该如何运行？

[lsdefine]

对应于lsrl的callpy example，只是外围生成做了修改，核心训练流程都一样的，算是就是grpo的一个应用 HHH ***@***.***> 于2025年10月29日周三 11:25写道：

…

*AuroraH1* created an issue (lsdefine/simple_GRPO#51) <#51> 关于这个项目，我也很想兴趣，请问该如何运行？ — Reply to this email directly, view it on GitHub <#51>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAZYVG4N3CBLAV2J3YJ4VQL32AXT7AVCNFSM6AAAAACKQFHNW6VHI2DSMVQWIX3LMV43ASLTON2WKOZTGU3DIMJXGIZTEMA> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[AuroraH1]

我拿gsm8k数据集训练，训练中会报错：

于是我在rl_call.py中的make_prompt_fn中把input长度截断了一下：

def make_prompt_fn(self, item):
full_prompt = self.tokenizer.apply_chat_template([
{"role": "system", "content": system_prompt},
{"role": "user", "content": item['question']}],
tokenize=False, add_generation_prompt=True)
max_gen_tokens = getattr(self, 'gen_max_tokens', 7500)
model_max_len = 12000
max_input_len = model_max_len - max_gen_tokens # e.g., 20000 - 7500 = 12500
input_ids = self.tokenizer.encode(full_prompt, add_special_tokens=False)
if len(input_ids) > max_input_len:
input_ids = input_ids[-max_input_len:]
full_prompt = self.tokenizer.decode(input_ids, skip_special_tokens=True)
return full_prompt

但训练时loss很奇怪，不是0就是-0.3533

[lsdefine]

gsm8k太简单了而且不需要工具也能做 你需要看看rollout生成结果 多半已经rollout崩了 HHH ***@***.***> 于2025年10月30日周四 15:58写道：

…

*AuroraH1* left a comment (lsdefine/simple_GRPO#51) <#51 (comment)> 我拿gsm8k数据集训练，训练中会报错： wechat_2025-10-30_155423_849.png (view on web) <https://github.com/user-attachments/assets/65756e1b-0dcc-4978-bf24-723d91c84f98> 于是我在rl_call.py中的make_prompt_fn中把input长度截断了一下： def make_prompt_fn(self, item): full_prompt = self.tokenizer.apply_chat_template([ {"role": "system", "content": system_prompt}, {"role": "user", "content": item['question']}], tokenize=False, add_generation_prompt=True) max_gen_tokens = getattr(self, 'gen_max_tokens', 7500) model_max_len = 12000 max_input_len = model_max_len - max_gen_tokens # e.g., 20000 - 7500 = 12500 input_ids = self.tokenizer.encode(full_prompt, add_special_tokens=False) if len(input_ids) > max_input_len: input_ids = input_ids[-max_input_len:] full_prompt = self.tokenizer.decode(input_ids, skip_special_tokens=True) return full_prompt 但训练时loss很奇怪，不是0就是-0.3533 — Reply to this email directly, view it on GitHub <#51 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAZYVGYQXJ3P6OS35FDWJ5L32HAIZAVCNFSM6AAAAACKQFHNW6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZTINRWGUZDMNJYGY> . You are receiving this because you commented.Message ID: ***@***.***>

[AuroraH1]

你好，我想问一下Readme中的单卡训练用的是什么模型和什么数据集？是Qwen-3B/7B-Instruct；gsm8k么？我在用Qwen-7B，gsm8k数据集训练的时候爆显存了，超参数也是默认的。