Replies: 5 comments 3 replies
-
|
扩充词表并不是赋予大模型多语言能力的必要条件。 |
Beta Was this translation helpful? Give feedback.
-
|
那请问在不扩充词表的基础上可以让大模型具备翻译新语言的能力嘛？需要的微调数据集是{}input：新语言句子 ，output：对应的中文翻译}这种类型的么？大概需要多少句翻译能实现较好地对话效果呢？我翻看了您的第一期合并词表的项目，但是那个代码是直接从hf直接拿原版Llma的tokenzier和预训练好的中文词表合并的，我已经做好了新语言的词表，但是好像没法拿您的Llama2中文合并过的词表再和新语言词表合并。 |
Beta Was this translation helpful? Give feedback.
-
|
好吧，我成功地合并了您的中文预训练后的词表和新语言产生的词表，但是不知道需要大概多少条翻译数据（或者是对话数据？）来进行微调才能使其掌握这门新语言。 |
Beta Was this translation helpful? Give feedback.
-
|
请问能解释一下如何合并词表吗?比如我要对llama2扩充词表，是不可能通过微调实习吗？ |
Beta Was this translation helpful? Give feedback.
-
|
您发送的邮件已经收到
|
Beta Was this translation helpful? Give feedback.
-
|
您发送的邮件已经收到
|
Beta Was this translation helpful? Give feedback.
-
|
如果是训练垂域大模型，是同一种语言，应该不用为垂域专门扩充词表吧 |
Beta Was this translation helpful? Give feedback.
-
|
您发送的邮件已经收到
|
Beta Was this translation helpful? Give feedback.
Uh oh!
There was an error while loading. Please reload this page.
-
请问是不是基于新语言训练出词表然后合并进大模型原有的词表后，大模型就具有识别新语言的能力了呢？还是需要合并词表后继续进行预训练或者指令精调才能让大模型识别新的语言？
Beta Was this translation helpful? Give feedback.
All reactions