词表扩充

[ruio248]

请问我想基于chatglm3训练一个垂直领域的模型，应该怎样进行扩词呢?

[zRzRzRzRzRzRzR]

语言模型（LLM）在预训练阶段使用的词表是固定的，一旦模型训练完成，其词表就无法更改。
词表是模型架构的一部分，是在预训练阶段定义的，确定了模型可以理解和生成哪些词汇。