Remove new APIs

Author: ishaangandhi

common/common.cpp

@@ -1748,11 +1748,6 @@ std::string common_token_to_piece(const struct llama_vocab * vocab, llama_token
     return piece;
 }
 
-bool can_be_detokenized(const struct llama_context * ctx, const std::vector<llama_token> & tokens) {
-    const llama_model * model = llama_get_model(ctx);
-    const llama_vocab * vocab = llama_model_get_vocab(model);
-    return can_detokenize(vocab, tokens.data(), (int32_t) tokens.size());
-}
 
 std::string common_detokenize(const struct llama_context * ctx, const std::vector<llama_token> & tokens, bool special) {
     const llama_model * model = llama_get_model(ctx);

common/common.h

@@ -593,10 +593,6 @@ size_t common_lcs(const llama_tokens & a, const llama_tokens & b);
 // Vocab utils
 //
 
-bool can_be_detokenized(
-    const struct llama_context * ctx,
-    const std::vector<llama_token> & tokens);
-
 // tokenizes a string into a vector of tokens
 // should work similar to Python's `tokenizer.encode`
 std::vector<llama_token> common_tokenize(

examples/server/server.cpp

@@ -2040,6 +2040,18 @@ struct server_context {
         return ret;
     }
 
+    bool can_be_detokenized(const struct llama_context * ctx, const std::vector<llama_token> & tokens) {
+        const llama_model * model = llama_get_model(ctx);
+        const llama_vocab * vocab = llama_model_get_vocab(model);
+        const int32_t n_vocab = llama_vocab_n_tokens(vocab);
+        for (const auto& token : tokens) {
+            if (token < 0 || token >= n_vocab) {
+                return false;
+            }
+        }
+        return true;
+    }
+
     bool launch_slot_with_task(server_slot & slot, const server_task & task) {
         slot.reset();
         slot.id_task       = task.id;

src/llama-vocab.cpp

@@ -1279,7 +1279,6 @@ struct llama_vocab::impl {
 
     std::string type_name() const;
 
-    bool is_valid       (llama_token id) const;
     bool is_normal      (llama_token id) const;
     bool is_unknown     (llama_token id) const;
     bool is_control     (llama_token id) const;
@@ -2069,11 +2068,6 @@ std::string llama_vocab::impl::type_name() const{
     }
 }
 
-bool llama_vocab::impl::is_valid(llama_token id) const {
-    GGML_ASSERT(type != LLAMA_VOCAB_TYPE_NONE);
-    return 0 <= id && id < (int32_t) id_to_token.size();
-}
-
 bool llama_vocab::impl::is_normal(llama_token id) const {
     GGML_ASSERT(type != LLAMA_VOCAB_TYPE_NONE);
     return id_to_token[id].attr & LLAMA_TOKEN_ATTR_NORMAL;
@@ -2766,10 +2760,6 @@ std::string llama_vocab::type_name() const{
     return pimpl->type_name();
 }
 
-bool llama_vocab::is_valid(llama_token id) const {
-    return pimpl->is_valid(id);
-}
-
 bool llama_vocab::is_normal(llama_token id) const {
     return pimpl->is_normal(id);
 }
@@ -3271,12 +3261,3 @@ int32_t llama_detokenize(
                         bool   unparse_special) {
     return vocab->detokenize(tokens, n_tokens, text, text_len_max, remove_special, unparse_special);
 }
-
-bool can_detokenize(const struct llama_vocab * vocab, const llama_token * tokens, int32_t n_tokens) {
-    for (int32_t i = 0; i < n_tokens; ++i) {
-        if (!vocab->is_valid(tokens[i])) {
-            return false;
-        }
-    }
-    return true;
-}

src/llama-vocab.h

@@ -29,7 +29,6 @@ struct llama_vocab {
 
     std::string type_name() const;
 
-    bool is_valid       (llama_token id) const;
     bool is_normal      (llama_token id) const;
     bool is_unknown     (llama_token id) const;
     bool is_control     (llama_token id) const;