added in categorisation form upstream

Author: bnodir

.vscode/tasks.json

@@ -32,4 +32,4 @@
             "command": "azure-dev.commands.getDotEnvFilePath"
         }
     ]
-}
+}

SECURITY.md

@@ -38,4 +38,4 @@ We prefer all communications to be in English.
 
 Microsoft follows the principle of [Coordinated Vulnerability Disclosure](https://www.microsoft.com/msrc/cvd).
 
-<!-- END MICROSOFT SECURITY.MD BLOCK -->
+<!-- END MICROSOFT SECURITY.MD BLOCK -->

app/backend/approaches/approach.py

@@ -119,9 +119,12 @@ def __init__(
         self.vision_token_provider = vision_token_provider
 
     def build_filter(self, overrides: dict[str, Any], auth_claims: dict[str, Any]) -> Optional[str]:
+        include_category = overrides.get("include_category")
         exclude_category = overrides.get("exclude_category")
         security_filter = self.auth_helper.build_security_filters(overrides, auth_claims)
         filters = []
+        if include_category:
+            filters.append("category eq '{}'".format(include_category.replace("'", "''")))
         if exclude_category:
             filters.append("category ne '{}'".format(exclude_category.replace("'", "''")))
         if security_filter:

app/frontend/src/api/models.ts

@@ -20,6 +20,7 @@ export type ChatAppRequestOverrides = {
     retrieval_mode?: RetrievalMode;
     semantic_ranker?: boolean;
     semantic_captions?: boolean;
+    include_category?: string;
     exclude_category?: string;
     seed?: number;
     top?: number;

app/frontend/src/locales/en/translation.json

@@ -0,0 +1,156 @@
+
+{
+    "pageTitle": "Azure OpenAI + AI Search",
+    "headerTitle": "Azure OpenAI + AI Search",
+    "chat": "Chat",
+    "qa": "Haz una pregunta",
+    "login": "Iniciar sesión",
+    "logout": "Cerrar sesión",
+    "clearChat": "Borrar chat",
+    "history": {
+        "chatHistory": "Historial de chat",
+        "openChatHistory": "Abrir historial de chat",
+        "noHistory": "No hay historial de chat",
+        "deleteModalTitle": "Eliminar historial de chat",
+        "deleteModalDescription": "Esta acción no se puede deshacer. ¿Eliminar este historial de chat?",
+        "deleteLabel": "Eliminar",
+        "cancelLabel": "Cancelar",
+        "today": "Hoy",
+        "yesterday": "Ayer",
+        "last7days": "Últimos 7 días",
+        "last30days": "Últimos 30 días"
+    },
+    "upload": {
+        "fileLabel": "Subir archivo:",
+        "uploadedFilesLabel": "Archivos subidos previamente:",
+        "noFilesUploaded": "No se han subido archivos todavía",
+        "loading": "Cargando...",
+        "manageFileUploads": "Administrar subidas de archivos",
+        "uploadingFiles": "Subiendo archivos...",
+        "uploadedFileError": "Error al subir el archivo - por favor, inténtalo de nuevo o contacta con el administrador.",
+        "deleteFile": "Eliminar archivo",
+        "deletingFile": "Eliminando archivo...",
+        "errorDeleting": "Error eliminando.",
+        "fileDeleted": "Archivo eliminado"
+    },
+    "developerSettings": "Configuración del desarrollador",
+
+    "chatEmptyStateTitle": "Chatea con tus datos",
+    "chatEmptyStateSubtitle": "Pregunta cualquier cosa o prueba un ejemplo",
+    "defaultExamples": {
+        "1": "¿Qué está incluido en mi plan Northwind Health Plus que no está en el estándar?",
+        "2": "¿Qué sucede en una revisión de rendimiento?",
+        "3": "¿Qué hace un Gerente de producto?",
+        "placeholder": "Escribe una nueva pregunta (por ejemplo, ¿mi plan cubre exámenes anuales de la vista?)"
+    },
+    "askTitle": "Pregunta a tus datos",
+    "gpt4vExamples": {
+        "1": "Compara el impacto de las tasas de interés y el PIB en los mercados financieros.",
+        "2": "¿Cuál es la tendencia esperada para el índice S&P 500 en los próximos cinco años? Compáralo con el rendimiento pasado del S&P 500",
+        "3": "¿Puedes identificar alguna correlación entre los precios del petróleo y las tendencias del mercado de valores?",
+        "placeholder": "Ejemplo: ¿Mi plan cubre exámenes anuales de la vista?"
+    },
+    "generatingAnswer": "Generando respuesta",
+    "citationWithColon": "Cita:",
+    "followupQuestions": "Preguntas de seguimiento:",
+
+    "tooltips": {
+        "submitQuestion": "Enviar pregunta",
+        "askWithVoice": "Realizar pregunta con voz",
+        "stopRecording": "Detener la grabación de la pregunta",
+        "showThoughtProcess": "Mostrar proceso de pensamiento",
+        "showSupportingContent": "Mostrar contenido de soporte",
+        "speakAnswer": "Hablar respuesta",
+        "info": "Información",
+        "save": "Guardar"
+    },
+
+    "headerTexts":{
+        "thoughtProcess": "Proceso de Pensamiento",
+        "supportingContent": "Contenido de apoyo",
+        "citation": "Cita"
+    },
+
+    "labels": {
+        "toggleMenu": "Alternar menú",
+        "languagePicker": "Seleccione su idioma",
+        "headerText": "Configurar la generación de respuestas",
+        "closeButton": "Cerrar",
+        "promptTemplate": "Sobrescribir plantilla de aviso",
+        "temperature": "Temperatura",
+        "seed": "Seed",
+        "minimumSearchScore": "Puntaje mínimo de búsqueda",
+        "minimumRerankerScore": "Puntaje mínimo de re-clasificación",
+        "retrieveCount": "Obtén éste número de resultados de la búsqueda:",
+        "includeCategory": "Incluir categoría",
+        "includeCategoryOptions": {
+            "all": "Todas"
+        },
+        "excludeCategory": "Excluir categoría",
+        "useSemanticRanker": "Usar clasificador semántico para la recuperación",
+        "useSemanticCaptions": "Usar subtítulos semánticos",
+        "useSuggestFollowupQuestions": "Sugerir preguntas de seguimiento",
+        "useGPT4V": "Usar modelo de visión GPT",
+        "gpt4VInput": {
+            "label": "Entradas del modelo de visión GPT",
+            "options": {
+                "textAndImages": "Imágenes y texto",
+                "images": "Imágenes",
+                "texts": "Texto"
+            }
+        },
+        "retrievalMode": {
+            "label": "Modo de recuperación",
+            "options": {
+                "hybrid": "Vectores + Texto (Híbrido)",
+                "vectors": "Vectores",
+                "texts": "Texto"
+            }
+        },
+        "vector": {
+            "label": "Campos de vector (Búsqueda de vector de múltiples consultas)",
+            "options": {
+                "embedding": "Incrustaciones de texto",
+                "imageEmbedding": "Incrustaciones de imagen",
+                "both": "Incrustaciones de texto e imagen"
+            }
+        },
+        "useOidSecurityFilter": "Usar filtro de seguridad oid",
+        "useGroupsSecurityFilter": "Usar filtro de seguridad degrupos",
+        "shouldStream": "Transmitir respuestas de finalización de chat en tiempo real"
+    },
+
+    "helpTexts": {
+        "promptTemplate":
+            "Sobrescribe el aviso utilizado para generar la respuesta basada en la pregunta y los resultados de la búsqueda. Para agregar al aviso existente en lugar de reemplazar todo el aviso, comienza tu aviso con '>>>'.",
+        "temperature":
+            "Establece la temperatura de la solicitud al LLM que genera la respuesta. Temperaturas más altas dan como resultado respuestas más creativas, pero pueden ser menos realistas.",
+        "seed":
+            "Define un número entero para mejorar la reproducibilidad de las respuestas del modelo. El número de semilla se utiliza para generar respuestas más consistentes. El número de semilla puede ser cualquier número.",
+        "searchScore":
+            "Establece una puntuación mínima para los resultados de búsqueda que vuelven de Azure AI search. El rango de puntuaciones depende de si estás utilizando híbrido (predeterminado), solo vectores o solo texto.",
+        "rerankerScore":
+            "Establece una puntuación mínima para los resultados de búsqueda que vuelven del re-clasificador semántico. La puntuación siempre varía entre 0-4. Cuanto mayor es la puntuación, más relevante es semánticamente el resultado a la pregunta.",
+        "retrieveNumber":
+            "Establece el número de resultados de búsqueda para recuperar de Azure AI search. Más resultados pueden aumentar la probabilidad de encontrar la respuesta correcta, pero pueden provocar que el modelo se 'pierda en el medio'.",
+        "includeCategory":
+            "Especifica una categoría para incluir en los resultados de la búsqueda. No se utilizan categorías en el conjunto de datos predeterminado.",
+        "excludeCategory":
+            "Especifica una categoría para excluir de los resultados de búsqueda. No se utilizan categorías en el conjunto de datos predeterminado.",
+        "useSemanticReranker":
+            "Habilita el re-clasificador semántico de Azure AI Search, un modelo que re-clasifica los resultados de búsqueda basándose en la similitud semántica con la consulta del usuario.",
+        "useSemanticCaptions":
+            "Envía subtítulos semánticos al LLM en lugar del resultado de búsqueda completo. Un subtítulo semántico se extrae de un resultado de búsqueda durante el proceso de clasificación semántica.",
+        "suggestFollowupQuestions": "Pide al LLM que sugiera preguntas de seguimiento basándose en la consulta del usuario.",
+        "useGPT4Vision": "Utiliza GPT-4-Turbo con Visión para generar respuestas basándose en imágenes y texto del índice.",
+        "vectorFields":
+            "Especifica qué campos de incrustación en el índice de búsqueda de Azure AI se buscarán, tanto las incrustaciones de 'Imágenes y texto', solo 'Imagenes', o solo 'Texto'.",
+        "gpt4VisionInputs":
+            "Establece lo que se enviará al modelo de visión. 'Imágenes y texto' envía tanto imágenes como texto al modelo, 'Imágenes' solo envía imágenes y 'Texto' solo envía texto.",
+        "retrievalMode":
+            "Establece el modo de recuperación para la consulta de búsqueda de Azure AI. Vectores + Texto (Híbrido) utiliza una combinación de búsqueda vectorial y búsqueda de texto completo, Vectores utiliza solo la búsqueda vectorial y Texto utiliza solo la búsqueda de texto completo. Generalmente, el modo híbrido es óptimo.",
+        "streamChat": "Transmite continuamente la respuesta a la interfaz de usuario del chat mientras se genera.",
+        "useOidSecurityFilter": "Filtra los resultados de búsqueda en función del OID del usuario autenticado.",
+        "useGroupsSecurityFilter": "Filtra los resultados de búsqueda en función de los grupos del usuario autenticado."
+    }
+}

app/frontend/src/locales/es/translation.json

@@ -0,0 +1,156 @@
+
+{
+    "pageTitle": "Azure OpenAI + AI Search",
+    "headerTitle": "Azure OpenAI + AI Search",
+    "chat": "Chat",
+    "qa": "Posez une question",
+    "login": "Connexion",
+    "logout": "Déconnexion",
+    "clearChat": "Effacer le chat",
+    "history": {
+        "chatHistory": "Historique du chat",
+        "openChatHistory": "Ouvrir l'historique du chat",
+        "noHistory": "Pas d'historique dans ce chat",
+        "deleteModalTitle": "Supprimer l'historique du chat",
+        "deleteModalDescription": "Cette action est irréversible. Supprimer l'historique de ce chat ?",
+        "deleteLabel": "Supprimer",
+        "cancelLabel": "Annuler",
+        "today": "Aujourd'hui",
+        "yesterday": "Hier",
+        "last7days": "7 derniers jours",
+        "last30days": "30 derniers jours"
+    },
+    "upload": {
+        "fileLabel": "Télécharger le fichier:",
+        "uploadedFilesLabel": "Fichiers précédemment téléchargés:",
+        "noFilesUploaded": "Aucun fichier téléchargé pour le moment",
+        "loading": "Chargement...",
+        "manageFileUploads": "Gérer les téléchargements de fichiers",
+        "uploadingFiles": "Téléchargement de fichiers...",
+        "uploadedFileError": "Erreur lors du téléchargement du fichier - veuillez réessayer ou contacter l'administrateur.",
+        "deleteFile": "Supprimer le fichier",
+        "deletingFile": "Suppression du fichier...",
+        "errorDeleting": "Erreur lors de la suppression.",
+        "fileDeleted": "Fichier supprimé"
+    },
+    "developerSettings": "Paramètres développeur",
+
+    "chatEmptyStateTitle": "Discutez avec vos données",
+    "chatEmptyStateSubtitle": "Demandez n'importe quoi ou essayez un exemple",
+    "defaultExamples": {
+        "1": "Qu'est-ce qui est inclus dans mon plan Northwind Health Plus qui n'est pas dans le standard?",
+        "2": "Qu'arrive-t-il lors d'un examen de performance?",
+        "3": "Qu'est-ce qu'un Product Manager fait?",
+        "placeholder": "Tapez une nouvelle question (par exemple, mon plan couvre-t-il les examens oculaires annuels?)"
+    },
+    "askTitle": "Demandez à vos données",
+    "gpt4vExamples": {
+        "1": "Comparez l'impact des taux d'intérêt et du PIB sur les marchés financiers.",
+        "2": "Quelle est la tendance prévue pour l'indice S&P 500 au cours des cinq prochaines années? Comparez-le aux performances passées de l'S&P 500",
+        "3": "Pouvez-vous identifier une corrélation entre les prix du pétrole et les tendances du marché boursier?",
+        "placeholder": "Exemple: Mon plan couvre-t-il les examens oculaires annuels?"
+    },
+    "generatingAnswer": "Génération de la réponse",
+    "citationWithColon": "Citation:",
+    "followupQuestions": "Questions de suivi:",
+
+    "tooltips": {
+        "submitQuestion": "Soumettre une question",
+        "askWithVoice": "Poser une question à l'aide de la voix",
+        "stopRecording": "Arrêter l'enregistrement de la question",
+        "showThoughtProcess": "Montrer le processus de réflexion",
+        "showSupportingContent": "Montrer le contenu de soutien",
+        "speakAnswer": "Parler réponse",
+        "info": "Info",
+        "save": "Sauvegarder"
+    },
+
+    "headerTexts":{
+        "thoughtProcess": "Processus de Réflexion",
+        "supportingContent": "Contenu d'Appui",
+        "citation": "Citation"
+    },
+
+    "labels": {
+        "toggleMenu": "Basculer le menu",
+        "languagePicker": "Sélectionnez votre langue",
+        "headerText": "Configurer la génération de réponses",
+        "closeButton": "Fermer",
+        "promptTemplate": "Modèle de l'invitation",
+        "temperature": "Température",
+        "seed": "Seed",
+        "minimumSearchScore": "Score de recherche minimum",
+        "minimumRerankerScore": "Score minimum du reclasseur sémantique",
+        "retrieveCount": "Récupérer ce nombre de résultats de recherche :",
+        "includeCategory": "Inclure la catégorie",
+        "includeCategoryOptions": {
+            "all": "Toutes"
+        },
+        "excludeCategory": "Exclure la catégorie",
+        "useSemanticRanker": "Utiliser le reclasseur sémantique",
+        "useSemanticCaptions": "Utiliser les titres sémantiques",
+        "useSuggestFollowupQuestions": "Suggérer des questions de suivi",
+        "useGPT4V": "Utiliser le modèle GPT Vision",
+        "gpt4VInput": {
+            "label": "Entrées du modèle GPT Vision",
+            "options": {
+                "textAndImages": "Images et texte",
+                "images": "Images",
+                "texts": "Texte"
+            }
+        },
+        "retrievalMode": {
+            "label": "Mode de récupération",
+            "options": {
+                "hybrid": "Vecteurs + Texte (Hybride)",
+                "vectors": "Vecteurs",
+                "texts": "Texte"
+            }
+        },
+        "vector": {
+            "label": "Champs de vecteur (recherche de vecteur multi-requête)",
+            "options": {
+                "embedding": "Incorporations de texte",
+                "imageEmbedding": "Incorporations d'images",
+                "both": "Incorporations de texte et d'images"
+            }
+        },
+        "useOidSecurityFilter": "Utiliser le filtre de sécurité oid",
+        "useGroupsSecurityFilter": "Utiliser le filtre de sécurité de groupe",
+        "shouldStream": "Diffuser en continu les réponses"
+    },
+
+    "helpTexts": {
+        "promptTemplate":
+            "Remplace le prompt utilisé pour générer la réponse en fonction de la question et des résultats de la recherche. Pour ajouter à l'invite existante au lieu de remplacer l'invite entière, commencez votre invite par '>>>'.",
+        "temperature":
+            "Définit la température de la requête à le Grand modèle de langage (LLM) qui génère la réponse. Des températures plus élevées donnent lieu à des réponses plus créatives, mais elles peuvent être moins ancrées.",
+        "seed":
+            "Détermine un numéro premier qui servira à améliorer la répétabilité des réponses du modèle. Le numéro premier doit être un entier quelconque.",
+        "searchScore":
+            "Définit un score minimum pour les résultats de recherche provenant d'Azure AI Search. La plage de scores dépend si vous utilisez l'hybride (par défaut), uniquement les vecteurs, ou uniquement le texte.",
+        "rerankerScore":
+            "Définit un score minimum pour les résultats de recherche provenant du reranker sémantique. Le score varie toujours entre 0 et 4. Plus le score est élevé, plus le résultat est sémantiquement pertinent par rapport à la question.",
+        "retrieveNumber":
+            "Définit le nombre de résultats de recherche à récupérer d'Azure AI Search. Plus de résultats peuvent augmenter la probabilité de trouver la bonne réponse, mais peuvent amener le modèle à se 'perdre au milieu'.",
+        "includeCategory":
+            "Spécifie une catégorie à inclure dans les résultats de recherche. Il n'y a aucune catégorie utilisée dans l'ensemble de données par défaut.",
+        "excludeCategory":
+            "Spécifie une catégorie à exclure des résultats de recherche. Il n'y a aucune catégorie utilisée dans l'ensemble de données par défaut.",
+        "useSemanticReranker":
+            "Active le classement sémantique d'Azure AI Search, un modèle qui réorganise les résultats de recherche en fonction de la similarité sémantique avec la requête de l'utilisateur.",
+        "useSemanticCaptions":
+            "Envoie des légendes sémantiques à l'LLM au lieu du résultat de recherche complet. Une légende sémantique est extraite d'un résultat de recherche lors du processus de classement sémantique.",
+        "suggestFollowupQuestions": "Demande à l'LLM de suggérer des questions de suivi en fonction de la requête de l'utilisateur.",
+        "useGPT4Vision": "Utilise GPT-4-Turbo avec Vision pour générer des réponses basées sur des images et du texte de l'index.",
+        "vectorFields":
+            "Spécifie quels champs d'incorporation dans l'index de recherche Azure AI seront recherchés, à la fois les incorporations 'Images et texte', 'Images' seulement, ou 'Texte' seulement.",
+        "gpt4VisionInputs":
+            "Définit ce qui sera envoyé au modèle de vision. 'Images et texte' envoie à la fois des images et du texte au modèle, 'Images' envoie seulement des images, et 'Texte' envoie seulement du texte.",
+        "retrievalMode":
+            "Définit le mode de récupération pour la requête Azure AI Search. Vecteurs + Texte (Hybride) utilise une combinaison de recherche vectorielle et de recherche en texte intégral, Vecteurs utilise uniquement la recherche vectorielle, et Texte utilise uniquement la recherche en texte intégral. Hybride est généralement optimal.",
+        "streamChat": "Diffuse en continu la réponse à l'interface utilisateur du chat au fur et à mesure de sa génération.",
+        "useOidSecurityFilter":"Filtrez les résultats de recherche en fonction de l'OID de l'utilisateur authentifié.",
+        "useGroupsSecurityFilter": "Filtrez les résultats de recherche en fonction des groupes de l'utilisateur authentifié."
+    }
+}