RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

[leosongwei]

运行finetune_demo/finetune_hf.py时遇到了这个RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn报错。（commit hash 9c875fb）

查到了这两个issue：

• gradient checkpointing disables requires_grad when freezing part of models (fix with use_reentrant=False) huggingface/transformers#21381
• [core] Refactor of gradient_checkpointing huggingface/transformers#27020

有人遇到这个情况的吗？

我的workaround是注释掉503行的model.gradient_checkpointing_enable() 。感觉不太对？不过的确finetune成功了。

[Artistzq]

我也遇到了这个情况。请问你finetune后的效果怎么样？

[leosongwei]

我这里finetune效果出乎意料地好

[baifachuan]

我也遇到一样的问题。。这样修改后，结果是不对的，完全finetune不出来，所以应该不是这个改法，但是问题的原因还不名。。

[youbingchenyoubing]

一样的问题: RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

[InfiniteInterest]

我也遇到了，有人解决了么？怎么处理的啊?

[InfiniteInterest]

这个问题，我把模型文件全部更新到最新的版本,使用lora微调执行成功了。但是使用ptuning_v2.yaml方式报错, 有没大佬帮看看啊
│ │
│ /home/liushuai/.conda/envs/chatglm3_env/lib/python3.10/site-packages/rouge_chinese/rouge.py:129 │
│ in _get_scores │
│ │
│ 126 │ │ │ │
│ 127 │ │ │ for m in self.metrics: │
│ 128 │ │ │ │ fn = Rouge.AVAILABLE_METRICS[m] │
│ ❱ 129 │ │ │ │ sc = fn( │
│ 130 │ │ │ │ │ hyp, │
│ 131 │ │ │ │ │ ref, │
│ 132 │ │ │ │ │ raw_results=self.raw_results, │
│ │
│ /home/liushuai/.conda/envs/chatglm3_env/lib/python3.10/site-packages/rouge_chinese/rouge.py:54 │
│ in │
│ │
│ 51 class Rouge: │
│ 52 │ DEFAULT_METRICS = ["rouge-1", "rouge-2", "rouge-l"] │
│ 53 │ AVAILABLE_METRICS = { │
│ ❱ 54 │ │ "rouge-1": lambda hyp, ref, **k: rouge_score.rouge_n(hyp, ref, 1, **k), │
│ 55 │ │ "rouge-2": lambda hyp, ref, **k: rouge_score.rouge_n(hyp, ref, 2, **k), │
│ 56 │ │ "rouge-3": lambda hyp, ref, **k: rouge_score.rouge_n(hyp, ref, 3, **k), │
│ 57 │ │ "rouge-4": lambda hyp, ref, **k: rouge_score.rouge_n(hyp, ref, 4, **k), │
│ │
│ /home/liushuai/.conda/envs/chatglm3_env/lib/python3.10/site-packages/rouge_chinese/rouge_score.p │
│ y:253 in rouge_n │
│ │
│ 250 │ ValueError: raises exception if a param has len <= 0 │
│ 251 │ """ │
│ 252 │ if len(evaluated_sentences) <= 0: │
│ ❱ 253 │ │ raise ValueError("Hypothesis is empty.") │
│ 254 │ if len(reference_sentences) <= 0: │
│ 255 │ │ raise ValueError("Reference is empty.") │
│ 256 │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
ValueError: Hypothesis is empty.

[misslxs]

一样遇到了

[youbingchenyoubing]

model.gradient_checkpointing_enable()的作用
这个函数调用启用了模型的梯度检查点。梯度检查点是一种优化技术，可用于减少训练时的内存消耗。通常，在反向传播期间，模型的中间激活值需要被保留以计算梯度。启用梯度检查点后，系统只需在需要时计算和保留一部分中间激活值，从而减少内存需求。这对于处理大型模型或限制内存的环境中的训练任务非常有用。从它的作用来看, 去掉应该是没影响,至于为什么加上这个不行,我设置了一些断点进行比较.发现是导致loss的梯度计算没有了

[longmans]

try this:
#846