Skip to content

Commit af43dc7

Browse files
ggerganovggerganov
committed
examples : fix
ggml-ci
1 parent dcbfda1 commit af43dc7

File tree

21 files changed

+87
-174
lines changed

21 files changed

+87
-174
lines changed

‎common/common.cpp‎

Lines changed: 5 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -922,14 +922,14 @@ struct common_init_result common_init_from_params(common_params & params) {
922922
common_lora_adapter_container loaded_la;
923923
loaded_la.path = la.path;
924924
loaded_la.scale = la.scale;
925-
loaded_la.adapter = llama_lora_adapter_init(model, la.path.c_str());
925+
loaded_la.adapter.reset(llama_lora_adapter_init(model, la.path.c_str()));
926926
if (loaded_la.adapter == nullptr) {
927927
LOG_ERR("%s: failed to apply lora adapter '%s'\n", __func__, la.path.c_str());
928928
llama_free(lctx);
929929
llama_free_model(model);
930930
return iparams;
931931
}
932-
iparams.lora_adapters.push_back(loaded_la); // copy to list of loaded adapters
932+
iparams.lora_adapters.emplace_back(std::move(loaded_la)); // copy to list of loaded adapters
933933
}
934934
if (!params.lora_init_without_apply) {
935935
common_lora_adapters_apply(lctx, iparams.lora_adapters);
@@ -993,8 +993,8 @@ struct common_init_result common_init_from_params(common_params & params) {
993993
llama_perf_context_reset(lctx);
994994
}
995995

996-
iparams.model = model;
997-
iparams.context = lctx;
996+
iparams.model.reset(model);
997+
iparams.context.reset(lctx);
998998

999999
return iparams;
10001000
}
@@ -1003,7 +1003,7 @@ void common_lora_adapters_apply(struct llama_context * ctx, std::vector<common_l
10031003
llama_lora_adapter_clear(ctx);
10041004
for (auto & la : lora_adapters) {
10051005
if (la.scale != 0.0f) {
1006-
llama_lora_adapter_set(ctx, la.adapter, la.scale);
1006+
llama_lora_adapter_set(ctx, la.adapter.get(), la.scale);
10071007
}
10081008
}
10091009
}

‎common/common.h‎

Lines changed: 4 additions & 13 deletions
Original file line numberDiff line numberDiff line change
@@ -2,7 +2,7 @@
22

33
#pragma once
44

5-
#include "llama.h"
5+
#include "llama-cpp.h"
66

77
#include <string>
88
#include <vector>
@@ -30,7 +30,7 @@ struct common_lora_adapter_info {
3030
};
3131

3232
struct common_lora_adapter_container : common_lora_adapter_info {
33-
struct llama_lora_adapter * adapter;
33+
llama_lora_adapter_ptr adapter;
3434
};
3535

3636
using llama_tokens = std::vector<llama_token>;
@@ -479,19 +479,10 @@ std::string fs_get_cache_file(const std::string & filename);
479479
//
480480

481481
struct common_init_result {
482-
struct llama_model * model = nullptr;
483-
struct llama_context * context = nullptr;
482+
llama_model_ptr model;
483+
llama_context_ptr context;
484484

485485
std::vector<common_lora_adapter_container> lora_adapters;
486-
487-
~common_init_result() {
488-
llama_free(context);
489-
llama_free_model(model);
490-
491-
for (auto & lora_adapter : lora_adapters) {
492-
llama_lora_adapter_free(lora_adapter.adapter);
493-
}
494-
}
495486
};
496487

497488
struct common_init_result common_init_from_params(common_params & params);

‎examples/cvector-generator/cvector-generator.cpp‎

Lines changed: 3 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -415,12 +415,13 @@ int main(int argc, char ** argv) {
415415
// load the model to get hparams
416416
common_init_result llama_init = common_init_from_params(params);
417417

418-
llama_model * model = llama_init.model;
419-
llama_context * ctx = llama_init.context;
418+
llama_model * model = llama_init.model.get();
419+
llama_context * ctx = llama_init.context.get();
420420

421421
// int n_ctx = llama_n_ctx(ctx);
422422
int n_layers = llama_n_layer(model);
423423
int n_embd = llama_n_embd(model);
424+
424425
// get model hint param (a.k.a model arch name)
425426
char model_hint[128];
426427
llama_model_meta_val_str(model, "general.architecture", model_hint, 128);
@@ -474,8 +475,6 @@ int main(int argc, char ** argv) {
474475

475476
// done with the model, we can now free it to make gain some memory
476477
printf("Done evaluate prompts, unload model...\n");
477-
llama_free(ctx);
478-
llama_free_model(model);
479478

480479
bool use_pca = params.cvector_dimre_method == DIMRE_METHOD_PCA;
481480

‎examples/embedding/embedding.cpp‎

Lines changed: 3 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -97,8 +97,9 @@ int main(int argc, char ** argv) {
9797
// load the model
9898
common_init_result llama_init = common_init_from_params(params);
9999

100-
llama_model * model = llama_init.model;
101-
llama_context * ctx = llama_init.context;
100+
llama_model * model = llama_init.model.get();
101+
llama_context * ctx = llama_init.context.get();
102+
102103
if (model == NULL) {
103104
LOG_ERR("%s: unable to load model\n", __func__);
104105
return 1;
@@ -316,8 +317,6 @@ int main(int argc, char ** argv) {
316317

317318
// clean up
318319
llama_batch_free(batch);
319-
llama_free(ctx);
320-
llama_free_model(model);
321320
llama_backend_free();
322321

323322
return 0;

‎examples/eval-callback/eval-callback.cpp‎

Lines changed: 3 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -162,8 +162,9 @@ int main(int argc, char ** argv) {
162162
// init
163163
common_init_result llama_init = common_init_from_params(params);
164164

165-
llama_model * model = llama_init.model;
166-
llama_context * ctx = llama_init.context;
165+
llama_model * model = llama_init.model.get();
166+
llama_context * ctx = llama_init.context.get();
167+
167168
if (model == nullptr || ctx == nullptr) {
168169
LOG_ERR("%s : failed to init\n", __func__);
169170
return 1;
@@ -184,9 +185,6 @@ int main(int argc, char ** argv) {
184185
LOG("\n");
185186
llama_perf_context_print(ctx);
186187

187-
llama_free(ctx);
188-
llama_free_model(model);
189-
190188
llama_backend_free();
191189

192190
return 0;

‎examples/imatrix/imatrix.cpp‎

Lines changed: 5 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -430,9 +430,10 @@ static void process_logits(
430430

431431
static bool compute_imatrix(llama_context * ctx, const common_params & params) {
432432
const bool add_bos = llama_add_bos_token(llama_get_model(ctx));
433-
GGML_ASSERT(!llama_add_eos_token(llama_get_model(ctx)));
434433
const int n_ctx = llama_n_ctx(ctx);
435434

435+
GGML_ASSERT(!llama_add_eos_token(llama_get_model(ctx)));
436+
436437
auto tim1 = std::chrono::high_resolution_clock::now();
437438
LOG_INF("%s: tokenizing the input ..\n", __func__);
438439

@@ -618,8 +619,9 @@ int main(int argc, char ** argv) {
618619
// init
619620
common_init_result llama_init = common_init_from_params(params);
620621

621-
llama_model * model = llama_init.model;
622-
llama_context * ctx = llama_init.context;
622+
llama_model * model = llama_init.model.get();
623+
llama_context * ctx = llama_init.context.get();
624+
623625
if (model == nullptr || ctx == nullptr) {
624626
LOG_ERR("%s : failed to init\n", __func__);
625627
return 1;
@@ -655,9 +657,6 @@ int main(int argc, char ** argv) {
655657
LOG("\n");
656658
llama_perf_context_print(ctx);
657659

658-
llama_free(ctx);
659-
llama_free_model(model);
660-
661660
llama_backend_free();
662661

663662
return 0;

‎examples/infill/infill.cpp‎

Lines changed: 2 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -131,8 +131,8 @@ int main(int argc, char ** argv) {
131131
LOG_INF("%s: load the model and apply lora adapter, if any\n", __func__);
132132
common_init_result llama_init = common_init_from_params(params);
133133

134-
model = llama_init.model;
135-
ctx = llama_init.context;
134+
model = llama_init.model.get();
135+
ctx = llama_init.context.get();
136136

137137
if (model == NULL) {
138138
LOG_ERR("%s: unable to load model\n", __func__);
@@ -581,9 +581,6 @@ int main(int argc, char ** argv) {
581581
LOG("\n");
582582
common_perf_print(ctx, smpl);
583583

584-
llama_free(ctx);
585-
llama_free_model(model);
586-
587584
common_sampler_free(smpl);
588585
llama_backend_free();
589586

‎examples/lookahead/lookahead.cpp‎

Lines changed: 2 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -58,8 +58,8 @@ int main(int argc, char ** argv) {
5858
// load the target model
5959
common_init_result llama_init = common_init_from_params(params);
6060

61-
llama_model * model = llama_init.model;
62-
llama_context * ctx = llama_init.context;
61+
llama_model * model = llama_init.model.get();
62+
llama_context * ctx = llama_init.context.get();
6363

6464
// Tokenize the prompt
6565
std::vector<llama_token> inp;
@@ -474,9 +474,6 @@ int main(int argc, char ** argv) {
474474

475475
llama_batch_free(batch);
476476

477-
llama_free(ctx);
478-
llama_free_model(model);
479-
480477
llama_backend_free();
481478

482479
LOG("\n\n");

‎examples/lookup/lookup-create.cpp‎

Lines changed: 4 additions & 9 deletions
Original file line numberDiff line numberDiff line change
@@ -1,14 +1,9 @@
11
#include "arg.h"
22
#include "common.h"
33
#include "ngram-cache.h"
4-
#include "ggml.h"
54
#include "llama.h"
65

7-
#include <cstdint>
8-
#include <fstream>
9-
#include <iostream>
106
#include <string>
11-
#include <unordered_map>
127
#include <vector>
138

149
int main(int argc, char ** argv){
@@ -25,16 +20,16 @@ int main(int argc, char ** argv){
2520
// load the model
2621
common_init_result llama_init = common_init_from_params(params);
2722

28-
llama_model * model = llama_init.model;
29-
llama_context * ctx = llama_init.context;
23+
llama_model_ptr & model = llama_init.model;
24+
llama_context_ptr & ctx = llama_init.context;
25+
3026
GGML_ASSERT(model != nullptr);
3127

3228
// tokenize the prompt
3329
std::vector<llama_token> inp;
34-
inp = common_tokenize(ctx, params.prompt, true, true);
30+
inp = common_tokenize(ctx.get(), params.prompt, true, true);
3531
fprintf(stderr, "%s: tokenization done\n", __func__);
3632

37-
3833
common_ngram_cache ngram_cache;
3934
common_ngram_cache_update(ngram_cache, LLAMA_NGRAM_STATIC, LLAMA_NGRAM_STATIC, inp, inp.size(), true);
4035
fprintf(stderr, "%s: hashing done, writing file to %s\n", __func__, params.lookup_cache_static.c_str());

‎examples/lookup/lookup-stats.cpp‎

Lines changed: 3 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -30,12 +30,11 @@ int main(int argc, char ** argv){
3030
// load the model
3131
common_init_result llama_init = common_init_from_params(params);
3232

33-
llama_model * model = llama_init.model;
34-
llama_context * ctx = llama_init.context;
33+
llama_context_ptr & ctx = llama_init.context;
3534

3635
// tokenize the prompt
3736
std::vector<llama_token> inp;
38-
inp = common_tokenize(ctx, params.prompt, true, true);
37+
inp = common_tokenize(ctx.get(), params.prompt, true, true);
3938

4039
common_ngram_cache ngram_cache_context;
4140
common_ngram_cache ngram_cache_dynamic;
@@ -66,7 +65,7 @@ int main(int argc, char ** argv){
6665
}
6766

6867
const int n_input = inp.size();
69-
const int n_ctx = llama_n_ctx(ctx);
68+
const int n_ctx = llama_n_ctx(ctx.get());
7069

7170
int n_drafted = 0;
7271
int n_accept = 0;
@@ -150,9 +149,6 @@ int main(int argc, char ** argv){
150149
LOG_INF("n_accept = %d\n", n_accept);
151150
LOG_INF("accept = %.3f%%\n", 100.0f * n_accept / n_drafted);
152151

153-
llama_free(ctx);
154-
llama_free_model(model);
155-
156152
llama_backend_free();
157153

158154
LOG("\n\n");

0 commit comments

Comments
 (0)