小模型如何在CPU环境下运行

[SunYusheng]

感谢提供了CPM-Ant压缩版模型,但我只知道加载模型要依赖cpm_live.models,但安装时报错OSError: CUDA_HOME environment variable is not set. Please set it to your CUDA install root.
但用小模型的场景多半也没显卡, 那怎么在只有cpu的环境下使用呢? 能给出示例吗
我的环境是torch1.10.0+cpu

[zh-zheng]

这里的text_generation.py可以使用CPU进行推理。