tokenizer.chat_template 中 special tokens 无法被 ChatGLMTokenizer 正确切分

[ShaneTian]

看到这里新增了对 tokenizer.chat_template 的支持
https://huggingface.co/THUDM/chatglm3-6b/blob/main/tokenizer_config.json#L6
https://github.com/THUDM/ChatGLM3/blob/fc2d7e9dae33c9a1abc8d1876fbbfd299301723a/basic_demo/web_demo_gradio.py#L83-L86
但得到的 model_inputs 中 special token 被切分开了

举例：

messages = [
    {
        "role": "user",
        "content": "用户1"
    },
    {
        "role": "assistant",
        "content": "助手1"
    },
    {
        "role": "user",
        "content": "用户2"
    }
]
model_inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True)
# [790, 30927, 30944, 2080, 30984, 30996, 30917, 404, 31002, 31007, 4865, 31007, 30994, 30910, 13, 30910, 32053, 30939, 31002, 31007, 530, 18971, 31007, 30994, 30910, 13, 30910, 42481, 30939, 31002, 31007, 4865, 31007, 30994, 30910, 13, 30910, 32053, 30943, 31002, 31007, 530, 18971, 31007, 30994]
model_input_tokens = tokenizer.convert_ids_to_tokens(model_inputs)
# ['▁[', 'g', 'M', 'AS', 'K', ']', 's', 'op', '<', '|', 'user', '|', '>', '▁', '<0x0A>', '▁', '用户', '1', '<', '|', 'ass', 'istant', '|', '>', '▁', '<0x0A>', '▁', '助手', '1', '<', '|', 'user', '|', '>', '▁', '<0x0A>', '▁', '用户', '2', '<', '|', 'ass', 'istant', '|', '>']

[zRzRzRzRzRzRzR]

你没有防注入

[zRzRzRzRzRzRzR]

查看 basic的中的gradio web demo吧

[ShaneTian]

https://github.com/THUDM/ChatGLM3/blob/main/basic_demo/web_demo_gradio.py#L87
只有这里涉及到了 skip_special_tokens，这里传入会直接用作 tokenizer 的 decode 阶段，是用于解码中跳过 special token 的（我理解就是你说的防注入？）
和我说的不是一个问题啊，问题中说的是 输入 阶段，送给模型去生成的 input_ids，也就是 输入 序列中添加的 special token 被切分成了多个普通 token
麻烦仔细看下问题？

[zRzRzRzRzRzRzR]

ok，我知道问题了，我下周回到公司看一下，这个好像是个问题

[zRzRzRzRzRzRzR]

尝试这么写

tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True,encode_special_tokens=True)
model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").eval()

messages = []
messages.append({"role": "user", "content": "你爱吃苹果吗"})
model_inputs = tokenizer.apply_chat_template(messages,
                                                 add_generation_prompt=True,
                                                 tokenize=True,
                                                 return_tensors="pt").to(next(model.parameters()).device)
model_input_tokens = tokenizer.convert_ids_to_tokens(model_inputs[0])

对应的huggingface代码会进行更新
正常运行你将会得到这个反馈

['[gMASK]', 'sop', '<|user|>', '▁▁', '<0x0A>', '▁你', '爱吃', '苹果', '吗', '<|assistant|>']

[ShaneTian]

It works, thanks~