中英文混合输出，输出会带英语单词

[tiwentichat]

昨天正好截了张图，另一个出现长段英文的没截图，改天再出现就在这儿补充（或者另外单开一个讨论？

[zRzRzRzRzRzRzR]

这确实是一个问题

[zRzRzRzRzRzRzR]

使用fschat调用也能复现，mark

[leavegee]

怎么办呢?

[zRzRzRzRzRzRzR]

暂时没有办法，这是一个badcase，模型之后会改进

[leavegee]

模型什么时候更新解决这个严重的问题呢?

[zRzRzRzRzRzRzR]

内容已经上报，但是没有收到计划

[li-dongxu]

po主的例子至少是单个词输出英文, 我觉得我今天跑的这个更离谱
(属于是学混了)

[zRzRzRzRzRzRzR]

真实，这个问题一直存在

[catmeowjiao]

我问他鲁迅是谁，他说鲁迅never是周树人的pen名

[gitker]

n("李明在一个小岛上享受一个美好的 ")
假期
夜晚
时光
夏日
下午
春节
日子
vacation
早晨
夏天
夕阳
晚年

以上是一个例子
不知道是不是训练方式的原因，在全中文的提示词下，chatglm3的每次预测结果的下一个token的前20个候选里，有很大概率同时出现中文和英文，而且英文的权重还挺高，其他模型上没有发现类似问题。似乎模型对语境的理解不够？

[gitker]

import torch
def print_tokens(new_tokens):
for k in new_tokens.tolist()[0]:
print(tokenizer.decode([k]))

def next_char(s):
inputs = tokenizer(s, return_tensors="pt").input_ids.to('cuda')
out=model(inputs)
next_token_logits = out.logits[:, -1, :]
probs = torch.nn.functional.softmax(next_token_logits, dim=-1)
_,next_tokens = torch.topk(probs, 20)
print_tokens(next_tokens)

next_char("李明在一个小岛上享受一个美好的 ")

[Zacgod]

这是我直接部署的情况，不只是中英文混用，还会出现繁体字。

用自己的数据微调后也会有这种情况（默认的微调参数）。

[1014670860]

请问现在修复了吗

[PoisonousBromineChan]

肯定没修复，这是刚测试的

[sisuad]

没有，update 20230105

[zRzRzRzRzRzRzR]

权重没有更新， 这代模型估计不会在修复这个问题

[dfengpo]

那怎么办啊，这么严重的问题，直接放弃使用，把大家都劝退了