llama : fix llama_decode return code when could not find KV slot

ggml-ci

Author: ggerganov

examples/parallel/parallel.cpp

@@ -106,6 +106,8 @@ int main(int argc, char ** argv) {
 
     common_params params;
 
+    params.n_predict = 128;
+
     if (!common_params_parse(argc, argv, params, LLAMA_EXAMPLE_PARALLEL)) {
         return 1;
     }

src/llama-context.cpp

@@ -1298,7 +1298,7 @@ int llama_context::decode(llama_batch & inp_batch) {
         {
             if (!kv_self->find_slot(ubatch)) {
                 LLAMA_LOG_ERROR("%s: failed to prepare ubatch\n", __func__);
-                return -3;
+                return 1;
             }
 
             if (!kv_self->recurrent) {

src/llama-kv-cache.cpp

@@ -204,6 +204,8 @@ bool llama_kv_cache_unified::seq_rm(llama_seq_id seq_id, llama_pos p0, llama_pos
                 return false;
             }
         }
+
+        return true;
     }
 
     for (uint32_t i = 0; i < size; ++i) {