llama : the WPM vocabs use the CLS token as BOS

ggerganov · ggerganov · commit 9d5c7115879f · 2024-12-21T10:22:04.000+02:00
ggml-ci
diff --git a/src/llama-vocab.cpp b/src/llama-vocab.cpp
@@ -1657,7 +1657,7 @@ bool llama_token_is_control_impl(const struct llama_vocab & vocab, llama_token t
 }
 
 llama_token llama_token_bos_impl(const struct llama_vocab & vocab) {
-    return vocab.special_bos_id;
+    return vocab.type != LLAMA_VOCAB_TYPE_WPM ? vocab.special_bos_id : vocab.special_cls_id;
 }
 
 llama_token llama_token_eos_impl(const struct llama_vocab & vocab) {

Original file line number	Diff line number	Diff line change
`@@ -1657,7 +1657,7 @@ bool llama_token_is_control_impl(const struct llama_vocab & vocab, llama_token t`
`1657`	`1657`	`}`
`1658`	`1658`
`1659`	`1659`	`llama_token llama_token_bos_impl(const struct llama_vocab & vocab) {`
`1660`		`- return vocab.special_bos_id;`
	`1660`	`+ return vocab.type != LLAMA_VOCAB_TYPE_WPM ? vocab.special_bos_id : vocab.special_cls_id;`
`1661`	`1661`	`}`
`1662`	`1662`
`1663`	`1663`	`llama_token llama_token_eos_impl(const struct llama_vocab & vocab) {`