chatglm3 的回答准确性不如智谱清言

[ponponon]

记住，你是一个电影内容审核员，我会给你两段文本内容，一段作为样本，另一段作为母本，判断样本和母本描述的是否是同一个电影

• 如果是相同的电影/电视，就必须输出 「✅」，否则必须输出 「❌」，记住必须输出「✅」或者 「❌」, 绝对不能遗忘

你的输出格式应该是一个 json
示例如下：

{
    "similarity":false,
    "reason":"经过比较，我认为这两段文本内容描述的不是同一个电影。因为xxxx"
}

---

把下面三引号内的内容作为母本

Season of the Witch

    2011
    PG-13
    1h 35m

IMDb RATING
YOUR RATING
Nicolas Cage and Ron Perlman in Season of the Witch (2011)
Season of the Witch Trailer - Nicolas Cage stars as a 14th century Crusader who returns with his comrade to a homeland devastated by the Black Plague. A beleaguered church, deeming sorcery the culprit of the plague, commands the two knights to transport an accused witch to a remote abbey, where monks will perform a ritual in hopes of ending the pestilence.

14th-century knights transport a suspected witch to a monastery, where monks deduce that her powers could be the source of the Black Plague.

    Director
        Dominic Sena
    Writer
        Bragi F. Schut
    Stars
        Nicolas CageRon PerlmanClaire Foy

把下面三引号内的内容作为样本

A mediados del siglo XIV, el caballero Behman (Nicolas Cage), desertor de las Cruzadas, debe escoltar hasta un monasterio a una joven (Claire Foy) acusada de brujería. Los monjes aseguran que ella es la responsable de que la Peste Negra asole y destruya Europa. Behman, escéptico, comienza a pensar durante el viaje que la joven pueda ser inocente, pero el destino les conducirá a un lugar donde les esperan las fuerzas de la oscuridad.

 

Títulos: Season of the Witch
TMDB
★★★★★
★★★★★
5/10

Género:Acción, Aventura, Fantasía
Audio: Latino e idioma original
Calidad: Full HD
Director: Dominic Sena
Elenco: Christopher Lee, Claire Foy, Fernanda Dorogi, Matt Devere, Nicolas Cage 

请问母本和样本描述的是同一个电影吗？给出判断依据

---

智谱清言 对于上面的问题，可以正确回答

实际答案也应该是「相似」

{
    "similarity":true,
    "reason":"经过比较，我认为这两段文本内容描述的是同一个电影。因为它们都有相同的标题 'Season of the Witch'，相同的导演 Dominic Sena，相同的演员 Nicolas Cage 和 Claire Foy，并且描述了类似的故事情节，即14世纪的骑士护送被指控为女巫的年轻女子到修道院，以祈求结束黑死病的仪式。"
}

但是使用 ChatGLM3 不行

{
    "similarity": false,
    "reason": "经过比较，我认为这两段文本内容描述的不是同一个电影。因为母本中的'A mediados del siglo XIV, el caballero Behman (Nicolas Cage), desertor de las Cruzadas, debe escoltar hasta un monasterio a una joven (Claire Foy) acusada de brujería. Los monjes aseguran que ella es la responsable de que la Peste Negra asole y destruya Europa.'和样本中的'A mediados del siglo XIV, el caballero Behman (Nicolas Cage), desertor de las Cruzadas, debe escoltar una joven (Claire Foy) acusada de brujería a un monasterio'存在明显的差异，包括被翻译成的语言、描述的情节和角色名称等方面。因此，我认为这两段文本内容描述的不是同一个电影。"
}

实际答案是「相似」，但是 chatglm3 却回答了不相似

我是用的代码如下：

from loguru import logger
import time
from modelscope import AutoTokenizer, AutoModel, snapshot_download
from utils.time_helpers import timer

model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision="v1.0.0")
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModel.from_pretrained(
    model_dir, trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])

怎么办？我还以为 智谱清言用的就是 chaglm3 呢？实际不是吗？还是说需要调整一些 chaglm3 的参数才能让 chaglm3 达到和 智谱清言 一样的效果？如何调整呢？

[zRzRzRzRzRzRzR]

开源的是6B，轻言是130B，肯定不一样啊

[ponponon]

这个 B 表示模型的规模吗？这么看差距好大呀，有20多倍的差距

[ponponon]

后面会开源更大规模的吗？

[zRzRzRzRzRzRzR]

暂时没有