ci: fix latest ragstack-ai tests (#405)

Author: nicoloboschi

libs/e2e-tests/e2e_tests/langchain_llamaindex/test_astra.py

@@ -8,32 +8,15 @@
 from langchain.chains import ConversationalRetrievalChain
 from langchain_astradb import AstraDBVectorStore as LangChainAstraDBVectorStore
 
-try:
-    # llamaindex 0.9.x
-    from llama_index import (
-        Document,
-        OpenAIEmbedding,
-        ServiceContext,
-        StorageContext,
-        VectorStoreIndex,
-    )
-    from llama_index.llms import OpenAI
-    from llama_index.vector_stores import (
-        AstraDBVectorStore,
-        MetadataFilters,
-        ExactMatchFilter,
-    )
-except ImportError:
-    # llamaindex 0.10.x
-    from llama_index.core import ServiceContext, StorageContext, VectorStoreIndex
-    from llama_index.core.schema import Document
-    from llama_index.core.vector_stores import (
-        MetadataFilters,
-        ExactMatchFilter,
-    )
-    from llama_index.vector_stores.astra_db import AstraDBVectorStore
-    from llama_index.embeddings.openai import OpenAIEmbedding
-    from llama_index.llms.openai import OpenAI
+from llama_index.core import ServiceContext, StorageContext, VectorStoreIndex
+from llama_index.core.schema import Document
+from llama_index.core.vector_stores import (
+    MetadataFilters,
+    ExactMatchFilter,
+)
+from llama_index.vector_stores.astra_db import AstraDBVectorStore
+from llama_index.embeddings.openai import OpenAIEmbedding
+from llama_index.llms.openai import OpenAI
 
 
 from e2e_tests.test_utils import skip_test_due_to_implementation_not_supported

libs/e2e-tests/e2e_tests/llama_index/test_astra.py

@@ -9,36 +9,17 @@
     is_astra,
 )
 
-try:
-    # llamaindex 0.9.x
-    from llama_index import (
-        ServiceContext,
-        StorageContext,
-        VectorStoreIndex,
-        Document,
-    )
-    from llama_index.embeddings import BaseEmbedding
-    from llama_index.llms import OpenAI, LLM
-    from llama_index.node_parser import SimpleNodeParser
-    from llama_index.schema import NodeWithScore
-    from llama_index.vector_stores import (
-        AstraDBVectorStore,
-        MetadataFilters,
-        ExactMatchFilter,
-    )
-except ImportError:
-    # llamaindex 0.10.x
-    from llama_index.core import ServiceContext, StorageContext, VectorStoreIndex
-    from llama_index.core.embeddings import BaseEmbedding
-    from llama_index.core.llms import LLM
-    from llama_index.core.node_parser import SimpleNodeParser
-    from llama_index.core.schema import NodeWithScore, Document
-    from llama_index.core.vector_stores import (
-        MetadataFilters,
-        ExactMatchFilter,
-    )
-    from llama_index.vector_stores.astra_db import AstraDBVectorStore
-    from llama_index.llms.openai import OpenAI
+from llama_index.core import ServiceContext, StorageContext, VectorStoreIndex
+from llama_index.core.embeddings import BaseEmbedding
+from llama_index.core.llms import LLM
+from llama_index.core.node_parser import SimpleNodeParser
+from llama_index.core.schema import NodeWithScore, Document
+from llama_index.core.vector_stores import (
+    MetadataFilters,
+    ExactMatchFilter,
+)
+from llama_index.vector_stores.astra_db import AstraDBVectorStore
+from llama_index.llms.openai import OpenAI
 
 
 from e2e_tests.test_utils import skip_test_due_to_implementation_not_supported

libs/e2e-tests/e2e_tests/llama_index/test_compatibility_rag.py

@@ -4,45 +4,24 @@
 from langchain.embeddings import HuggingFaceInferenceAPIEmbeddings
 from langchain_google_vertexai import VertexAIEmbeddings
 
-try:
-    # llamaindex 0.9.x
-    from llama_index import ServiceContext, StorageContext, VectorStoreIndex, Document
-    from llama_index.embeddings import (
-        OpenAIEmbedding,
-        AzureOpenAIEmbedding,
-        BedrockEmbedding,
-    )
-    from llama_index.llms import (
-        OpenAI,
-        AzureOpenAI,
-        Vertex,
-        Bedrock,
-        HuggingFaceInferenceAPI,
-        ChatMessage,
-        Gemini,
-    )
-    from llama_index.multi_modal_llms import GeminiMultiModal
-    from llama_index.schema import ImageNode
-except ImportError:
-    # llamaindex 0.10.x
-    from llama_index.core import (
-        ServiceContext,
-        StorageContext,
-        VectorStoreIndex,
-        Document,
-    )
-    from llama_index.core.base.llms.types import ChatMessage
-    from llama_index.core.schema import ImageNode
-    from llama_index.llms.openai import OpenAI
-    from llama_index.llms.azure_openai import AzureOpenAI
-    from llama_index.embeddings.openai import OpenAIEmbedding
-    from llama_index.embeddings.azure_openai import AzureOpenAIEmbedding
-    from llama_index.embeddings.bedrock import BedrockEmbedding
-    from llama_index.llms.vertex import Vertex
-    from llama_index.llms.bedrock import Bedrock
-    from llama_index.llms.huggingface import HuggingFaceInferenceAPI
-    from llama_index.llms.gemini import Gemini
-    from llama_index.multi_modal_llms.gemini import GeminiMultiModal
+from llama_index.core import (
+    ServiceContext,
+    StorageContext,
+    VectorStoreIndex,
+    Document,
+)
+from llama_index.core.base.llms.types import ChatMessage
+from llama_index.core.schema import ImageNode
+from llama_index.llms.openai import OpenAI
+from llama_index.llms.azure_openai import AzureOpenAI
+from llama_index.embeddings.openai import OpenAIEmbedding
+from llama_index.embeddings.azure_openai import AzureOpenAIEmbedding
+from llama_index.embeddings.bedrock import BedrockEmbedding
+from llama_index.llms.vertex import Vertex
+from llama_index.llms.bedrock import Bedrock
+from llama_index.llms.huggingface import HuggingFaceInferenceAPI
+from llama_index.llms.gemini import Gemini
+from llama_index.multi_modal_llms.gemini import GeminiMultiModal
 
 from e2e_tests.conftest import (
     set_current_test_info,

libs/e2e-tests/e2e_tests/llama_index/test_llama_parse.py

@@ -6,16 +6,9 @@
     pytest.skip("llama_parse is not supported, skipping tests", allow_module_level=True)
 
 
-try:
-    # llamaindex 0.9.x
-    from llama_index import ServiceContext, StorageContext, VectorStoreIndex
-    from llama_index.embeddings import OpenAIEmbedding
-    from llama_index.llms import OpenAI
-except ImportError:
-    # llamaindex 0.10.x
-    from llama_index.core import ServiceContext, StorageContext, VectorStoreIndex
-    from llama_index.llms.openai import OpenAI
-    from llama_index.embeddings.openai import OpenAIEmbedding
+from llama_index.core import ServiceContext, StorageContext, VectorStoreIndex
+from llama_index.llms.openai import OpenAI
+from llama_index.embeddings.openai import OpenAIEmbedding
 
 
 from e2e_tests.conftest import (

libs/e2e-tests/e2e_tests/test_utils/cassandra_vector_store_handler.py

@@ -12,20 +12,11 @@
 from langchain_community.vectorstores.cassandra import Cassandra
 from langchain_core.chat_history import BaseChatMessageHistory
 
-try:
-    # llamaindex 0.9.x
-    from llama_index.schema import TextNode
-    from llama_index.vector_stores import CassandraVectorStore
-    from llama_index.vector_stores.types import (
-        VectorStoreQuery,
-    )
-except ImportError:
-    # llamaindex 0.10.x
-    from llama_index.core.schema import TextNode
-    from llama_index.vector_stores.cassandra import CassandraVectorStore
-    from llama_index.core.vector_stores.types import (
-        VectorStoreQuery,
-    )
+from llama_index.core.schema import TextNode
+from llama_index.vector_stores.cassandra import CassandraVectorStore
+from llama_index.core.vector_stores.types import (
+    VectorStoreQuery,
+)
 
 
 from e2e_tests.test_utils import (

libs/e2e-tests/pyproject.ragstack-ai.toml

@@ -12,9 +12,9 @@ python = ">=3.9,<3.12,!=3.9.7"
 ragstack-ai-tests-utils = { path = "../tests-utils", develop = true }
 black = "*"
 ruff = "*"
-google-cloud-aiplatform = "^1.36.4"
+llama-index-embeddings-huggingface = "^0.1.0"
+llama-index-llms-huggingface = "^0.1.0"
 boto3 = "^1.29.6"
-huggingface-hub = "^0.20.3"
 azure-storage-blob = "^12.19.0"
 pillow = "^10.2.0"
 python-dotenv = "^1.0.1"

libs/e2e-tests/tox.ini

@@ -57,7 +57,7 @@ envdir = {toxworkdir}/.ragstack-ai-latest
 allowlist_externals = cp
 commands =
     cp pyproject.ragstack-ai.toml pyproject.toml
-    poetry add "ragstack-ai@latest" -E langchain-google -E langchain-nvidia
+    poetry add "ragstack-ai@latest"
     poetry lock
     poetry install --no-root
     poetry run pytest --disable-warnings --junit-xml=results.xml {posargs:e2e_tests}