kv-cache : fix the logic for iSWA pos_max

Author: ggerganov

include/llama.h

@@ -733,7 +733,7 @@ extern "C" {
     // Returns the largest position present in the KV cache for the specified sequence
     LLAMA_API llama_pos llama_kv_self_seq_pos_max(
             struct llama_context * ctx,
-                     llama_seq_id   seq_id);
+                    llama_seq_id   seq_id);
 
     // Defragment the KV cache
     // This will be applied:

src/llama-kv-cache.cpp

@@ -1689,7 +1689,8 @@ void llama_kv_cache_unified_iswa::seq_div(llama_seq_id seq_id, llama_pos p0, lla
 }
 
 llama_pos llama_kv_cache_unified_iswa::seq_pos_max(llama_seq_id seq_id) const {
-    return kv_base->seq_pos_max(seq_id);
+    // for a position to be considered present in the iSWA cache, it has to be present in both the base and the SWA caches
+    return std::min(kv_base->seq_pos_max(seq_id), kv_swa->seq_pos_max(seq_id));
 }
 
 void llama_kv_cache_unified_iswa::restore() {