prompt functions

Author: danemadsen

examples/simple-tts/simple-tts.cpp

@@ -118,6 +118,27 @@ static std::string audio_data_from_speaker(json speaker, const outetts_version t
     return audio_data;
 }
 
+static void prompt_add(std::vector<llama_token> & prompt, llama_token token) {
+    prompt.push_back(token);
+}
+
+static void prompt_add(std::vector<llama_token> & prompt, const std::vector<llama_token> & tokens) {
+    prompt.insert(prompt.end(), tokens.begin(), tokens.end());
+}
+
+static void prompt_add(std::vector<llama_token> & prompt, const llama_vocab * vocab, const std::string & txt, bool add_special, bool parse_special) {
+    std::vector<llama_token> tmp(txt.size());
+    auto n_tmp = llama_tokenize(vocab, txt.c_str(), txt.size(), tmp.data(), tmp.size(), add_special, parse_special);
+    tmp.resize(n_tmp);
+    prompt_add(prompt, tmp);
+}
+
+static void prompt_init(std::vector<llama_token> & prompt, const llama_vocab * vocab) {
+    prompt.clear();
+
+    prompt_add(prompt, vocab, "<|im_start|>\n", true, true);
+}
+
 static void print_usage(int, char ** argv) {
     printf("\nexample usage:\n");
     printf("\n    %s -m model.gguf -mv vocoder.gguf -v en_male_1.json -p \"Hello!\"\n", argv[0]);