reintroduce LlamaTokenDataArray::new and ::from_iter

Author: AsbjornOlling

llama-cpp-2/src/token/data_array.rs

@@ -10,3 +10,41 @@ pub struct LlamaTokenDataArray {
     /// is the data sorted?
     pub sorted: bool,
 }
+
+impl LlamaTokenDataArray {
+    /// Create a new `LlamaTokenDataArray` from a vector and weather or not the data is sorted.
+    ///
+    /// ```
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::data_array::LlamaTokenDataArray;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// let array = LlamaTokenDataArray::new(vec![
+    ///         LlamaTokenData::new(LlamaToken(0), 0.0, 0.0),
+    ///         LlamaTokenData::new(LlamaToken(1), 0.1, 0.1)
+    ///    ], false);
+    /// assert_eq!(array.data.len(), 2);
+    /// assert_eq!(array.sorted, false);
+    /// ```
+    #[must_use]
+    pub fn new(data: Vec<LlamaTokenData>, sorted: bool) -> Self {
+        Self { data, sorted }
+    }
+
+    /// Create a new `LlamaTokenDataArray` from an iterator and weather or not the data is sorted.
+    /// ```
+    /// # use llama_cpp_2::token::data::LlamaTokenData;
+    /// # use llama_cpp_2::token::data_array::LlamaTokenDataArray;
+    /// # use llama_cpp_2::token::LlamaToken;
+    /// let array = LlamaTokenDataArray::from_iter([
+    ///     LlamaTokenData::new(LlamaToken(0), 0.0, 0.0),
+    ///     LlamaTokenData::new(LlamaToken(1), 0.1, 0.1)
+    /// ], false);
+    /// assert_eq!(array.data.len(), 2);
+    /// assert_eq!(array.sorted, false);
+    pub fn from_iter<T>(data: T, sorted: bool) -> LlamaTokenDataArray
+    where
+        T: IntoIterator<Item = LlamaTokenData>,
+    {
+        Self::new(data.into_iter().collect(), sorted)
+    }
+}