fix llava segfault

LostRuins · LostRuins · commit bfa118ee45e4 · 2024-11-14T14:16:39.000+08:00
diff --git a/gpttype_adapter.cpp b/gpttype_adapter.cpp
@@ -3547,8 +3547,7 @@ generation_outputs gpttype_generate(const generation_inputs inputs)
                             if(i>0 && sepsize>0)
                             {
                                 //add a separator between each image
-                                kcpp_embd_batch batch = kcpp_embd_batch(embd, n_past);
-                                auto evr = llama_decode(llama_ctx_v4, batch.batch);
+                                auto evr = llama_decode(llama_ctx_v4, llama_batch_get_one(llava_sep.data(), sepsize));
                                 if(evr!=0)
                                 {
                                     printf("\nError when appending llava separator: %d\n",evr);

Original file line number	Diff line number	Diff line change
`@@ -3547,8 +3547,7 @@ generation_outputs gpttype_generate(const generation_inputs inputs)`
`3547`	`3547`	`if(i>0 && sepsize>0)`
`3548`	`3548`	`{`
`3549`	`3549`	`//add a separator between each image`
`3550`		`- kcpp_embd_batch batch = kcpp_embd_batch(embd, n_past);`
`3551`		`- auto evr = llama_decode(llama_ctx_v4, batch.batch);`
	`3550`	`+ auto evr = llama_decode(llama_ctx_v4, llama_batch_get_one(llava_sep.data(), sepsize));`
`3552`	`3551`	`if(evr!=0)`
`3553`	`3552`	`{`
`3554`	`3553`	`printf("\nError when appending llava separator: %d\n",evr);`