Added

Author: dev-nid

include/llama.h

@@ -1404,6 +1404,14 @@ extern "C" {
             ggml_opt_epoch_callback   callback_eval,
             int64_t                   resume_from_batch);
 
+    // Optimizer state persistence
+    LLAMA_API bool llama_opt_save_state(struct llama_context * lctx, const char* filename);
+    LLAMA_API bool llama_opt_load_state(struct llama_context * lctx, const char* filename);
+    
+    // Clean up optimizer context to free memory and allow reinitialization
+    // Call this before calling llama_opt_init() again on the same context
+    LLAMA_API void llama_opt_cleanup(struct llama_context * lctx);
+    
     // LoRA training parameters
     enum llama_lora_target_module {
         LLAMA_LORA_TARGET_ATTN_Q    = 1 << 0,

src/llama-context.cpp

@@ -2327,6 +2327,9 @@ void llama_context::opt_epoch(
 }
 
 int64_t llama_context::opt_get_iter() {
+    if (!opt_ctx) {
+        return 0;  // Return 0 if optimizer not initialized
+    }
     return ggml_opt_get_iter(opt_ctx);
 }
 
@@ -2344,6 +2347,16 @@ bool llama_context::opt_load_state(const char* filename) {
     return ggml_opt_load_state(opt_ctx, filename);
 }
 
+void llama_context::opt_cleanup() {
+    if (opt_ctx) {
+        ggml_opt_free(opt_ctx);
+        opt_ctx = nullptr;
+        should_load_optimizer_tensors = false;
+        optimizer_tensors_loaded = false;
+        pending_optimizer_checkpoint_path.clear();
+    }
+}
+
 //
 // interface implementation
 //
@@ -2903,3 +2916,15 @@ void llama_opt_epoch(
 int64_t llama_opt_get_iter(struct llama_context * ctx) {
     return ctx->opt_get_iter();
 }
+
+bool llama_opt_save_state(struct llama_context * ctx, const char* filename) {
+    return ctx->opt_save_state(filename);
+}
+
+bool llama_opt_load_state(struct llama_context * ctx, const char* filename) {
+    return ctx->opt_load_state(filename);
+}
+
+void llama_opt_cleanup(struct llama_context * ctx) {
+    ctx->opt_cleanup();
+}

src/llama-context.h

@@ -166,6 +166,9 @@ struct llama_context {
     // Optimizer state persistence
     bool opt_save_state(const char* filename);
     bool opt_load_state(const char* filename);
+    
+    // Clean up optimizer context to free memory and allow reinitialization
+    void opt_cleanup();
 
     void opt_epoch_iter(
             ggml_opt_dataset_t               dataset,