在机器剩余35g内存和20g显存的情况下， 无法完成TensorRT-LLM build

[smartmark-pro]

根据教程 https://github.com/THUDM/ChatGLM3/blob/main/tensorrt_llm_demo/README.md
执行

python3 build.py -m chatglm3_6b --output_dir trt_engines/chatglm3_6b/fp16/1-gpu

这是切到显卡上加载发生的，默认在内存上加上只能到第四个部分， 同样发生了killed

注意到已经有人提到类似问题
NVIDIA/TensorRT-LLM#743
NVIDIA/TensorRT-LLM#102

是否有人知道应该怎么办， 或者机器大概什么配置可以完成这个步骤

[smartmark-pro]

目前猜测必须要

这些显卡和较大的内存才有可能成功， 消费级显卡都不行

[zRzRzRzRzRzRzR]

你的内存不够啊，内存需要能够执行完整的一个fp32的模型推理你设定的token长度好像，也就是48G？