squash! llama : add remove_space_prefix to llama_detokenize

danbev · danbev · commit 456dabf38631 · 2025-02-10T10:20:27.000+01:00
Add remove_space_prefix to llama_detokenize in llguidance.cpp.
diff --git a/common/llguidance.cpp b/common/llguidance.cpp
@@ -176,12 +176,12 @@ static LlgTokenizer * llama_sampler_llg_new_tokenizer(const llama_vocab * vocab)
 
         llama_token token = i;
         auto        dp    = (char *) token_bytes + offset;
-        auto        size  = llama_detokenize(vocab, &token, 1, dp, max_token, false, false);
+        auto        size  = llama_detokenize(vocab, &token, 1, dp, max_token, false, false, true);
         if (size < 0) {
             GGML_ABORT("llama_detokenize failed\n");
         }
         if (size == 0) {
-            size = llama_detokenize(vocab, &token, 1, dp + 1, max_token - 1, false, true);
+            size = llama_detokenize(vocab, &token, 1, dp + 1, max_token - 1, false, true, true);
             if (size < 0) {
                 GGML_ABORT("llama_detokenize failed\n");
             }

Original file line number	Diff line number	Diff line change
`@@ -176,12 +176,12 @@ static LlgTokenizer * llama_sampler_llg_new_tokenizer(const llama_vocab * vocab)`
`176`	`176`
`177`	`177`	`llama_token token = i;`
`178`	`178`	`auto dp = (char *) token_bytes + offset;`
`179`		`- auto size = llama_detokenize(vocab, &token, 1, dp, max_token, false, false);`
	`179`	`+ auto size = llama_detokenize(vocab, &token, 1, dp, max_token, false, false, true);`
`180`	`180`	`if (size < 0) {`
`181`	`181`	`GGML_ABORT("llama_detokenize failed\n");`
`182`	`182`	`}`
`183`	`183`	`if (size == 0) {`
`184`		`- size = llama_detokenize(vocab, &token, 1, dp + 1, max_token - 1, false, true);`
	`184`	`+ size = llama_detokenize(vocab, &token, 1, dp + 1, max_token - 1, false, true, true);`
`185`	`185`	`if (size < 0) {`
`186`	`186`	`GGML_ABORT("llama_detokenize failed\n");`
`187`	`187`	`}`