(/home/bobren/local/a/pytorch-env) [15:08] devgpu035:/home/bobren/local/a/gpt-fast python eval.py --compile --checkpoint_path checkpoints/$MODEL_REPO/model.pth
Loading model ...
Time to load model: 6.96 seconds.
README.md: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.84k/6.84k [00:00<00:00, 49.2MB/s]
hellaswag.py: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.36k/4.36k [00:00<00:00, 34.4MB/s]
dataset_infos.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.53k/2.53k [00:00<00:00, 22.5MB/s]
The repository for hellaswag contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/hellaswag.
You can avoid this prompt in future by passing the argument `trust_remote_code=True`.
Do you wish to run the custom code? [y/N] y
Downloading data: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 47.5M/47.5M [00:00<00:00, 264MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11.8M/11.8M [00:00<00:00, 301MB/s]
Downloading data: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 12.2M/12.2M [00:00<00:00, 303MB/s]
Generating train split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 39905/39905 [00:03<00:00, 12001.33 examples/s]
Generating test split: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10003/10003 [00:00<00:00, 12027.76 examples/s]
Generating validation split: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10042/10042 [00:00<00:00, 12099.19 examples/s]
Running loglikelihood requests
0%| | 0/40145 [00:00<?, ?it/s]
Traceback (most recent call last):
File "/data/users/bobren/a/gpt-fast/eval.py", line 267, in <module>
main(
File "/data/users/bobren/a/gpt-fast/eval.py", line 243, in main
result = eval(
File "/data/users/bobren/a/pytorch/torch/utils/_contextlib.py", line 116, in decorate_context
return func(*args, **kwargs)
File "/data/users/bobren/a/gpt-fast/eval.py", line 190, in eval
eval_results = evaluate(
File "/home/bobren/local/a/pytorch-env/lib/python3.10/site-packages/lm_eval/utils.py", line 161, in _wrapper
return fn(*args, **kwargs)
File "/home/bobren/local/a/pytorch-env/lib/python3.10/site-packages/lm_eval/evaluator.py", line 247, in evaluate
resps = getattr(lm, reqtype)([req.args for req in reqs])
File "/home/bobren/local/a/pytorch-env/lib/python3.10/site-packages/lm_eval/base.py", line 185, in loglikelihood
return self._loglikelihood_tokens(new_reqs)
File "/home/bobren/local/a/pytorch-env/lib/python3.10/site-packages/lm_eval/base.py", line 295, in _loglikelihood_tokens
self._model_call(batched_inps), dim=-1
File "/data/users/bobren/a/gpt-fast/eval.py", line 146, in _model_call
logits = model_forward(self._model, x, input_pos)
File "/data/users/bobren/a/pytorch/torch/_dynamo/eval_frame.py", line 655, in _fn
return fn(*args, **kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 1429, in __call__
return self._torchdynamo_orig_callable(
File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 597, in __call__
return _compile(
File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 1107, in _compile
raise InternalTorchDynamoError(
File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 1056, in _compile
guarded_code = compile_inner(code, one_graph, hooks, transform)
File "/data/users/bobren/a/pytorch/torch/_utils_internal.py", line 97, in wrapper_function
return function(*args, **kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 758, in compile_inner
return _compile_inner(code, one_graph, hooks, transform)
File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 794, in _compile_inner
out_code = transform_code_object(code, transform)
File "/data/users/bobren/a/pytorch/torch/_dynamo/bytecode_transformation.py", line 1418, in transform_code_object
transformations(instructions, code_options)
File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 256, in _fn
return fn(*args, **kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 712, in transform
tracer.run()
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 3315, in run
super().run()
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1216, in run
while self.step():
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1126, in step
self.dispatch_table[inst.opcode](self, inst)
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 794, in wrapper
return inner_fn(self, inst)
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1988, in CALL_FUNCTION
self.call_function(fn, args, {})
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1050, in call_function
self.push(fn.call_function(self, args, kwargs)) # type: ignore[arg-type]
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/lazy.py", line 201, in realize_and_forward
return getattr(self.realize(), name)(*args, **kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/nn_module.py", line 952, in call_function
return variables.UserFunctionVariable(fn, source=source).call_function(
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/functions.py", line 405, in call_function
return super().call_function(tx, args, kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/functions.py", line 186, in call_function
return tx.inline_user_function_return(self, [*self.self_args(), *args], kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1067, in inline_user_function_return
return InliningInstructionTranslator.inline_call(self, fn, args, kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 3536, in inline_call
return tracer.inline_call_()
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 3715, in inline_call_
self.run()
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1216, in run
while self.step():
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1126, in step
self.dispatch_table[inst.opcode](self, inst)
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 2152, in LOAD_ATTR
self._load_attr(inst)
File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 2140, in _load_attr
result = BuiltinVariable(getattr).call_function(
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 1111, in call_function
return handler(tx, args, kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 789, in <lambda>
return lambda tx, args, kwargs: obj.call_function(
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 1111, in call_function
return handler(tx, args, kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 945, in builtin_dispatch
rv = fn(tx, args, kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 850, in call_self_handler
result = self_handler(tx, *args, **kwargs)
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 1867, in call_getattr
return obj.var_getattr(tx, name)
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/tensor.py", line 492, in var_getattr
result = self.dynamic_getattr(tx, name)
File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/tensor.py", line 308, in dynamic_getattr
real_value = getattr(_input_associated_real_value, name)
torch._dynamo.exc.InternalTorchDynamoError: AttributeError: 'Tensor' object has no attribute 'mask_mod'
from user code:
File "/data/users/bobren/a/gpt-fast/generate.py", line 101, in model_forward
return model(x, input_pos)
File "/data/users/bobren/a/gpt-fast/model.py", line 151, in forward
mask.mask_mod = self.get_mask_mod(mask.mask_mod, input_pos[0])
Set TORCHDYNAMO_VERBOSE=1 for the internal stack trace (please do this especially if you're reporting a bug to PyTorch). For even more developer context, set TORCH_LOGS="+dynamo"
