Estamos incorporando Guidance al endpoint serverless Phi-3.5-mini en Microsoft Foundry para hacer las salidas más predecibles mediante la definición de la estructura adaptada a una aplicación. Con Guidance, puedes eliminar costosos reintentos y, por ejemplo, restringir que el modelo seleccione de listas predefinidas (por ejemplo, códigos médicos), limitar las salidas a citas directas del contexto proporcionado o seguir cualquier regex. Guidance dirige el modelo token a token en la pila de inferencia, reduciendo el costo y la latencia en un 30-50%, lo que lo convierte en un complemento único y valioso para el endpoint serverless Phi-3-mini.
Guidance-AI es un marco diseñado para ayudar a los desarrolladores a crear y desplegar modelos de IA de manera eficiente. Se centra en proveer herramientas y mejores prácticas para construir aplicaciones de IA robustas.
Cuando se combina con Phi Models as a Service (MaaS), ofrece una solución poderosa para desplegar modelos de lenguaje pequeños (SLMs) que son tanto rentables como de alto rendimiento.
Guidance-AI es un marco de programación diseñado para ayudar a los desarrolladores a controlar y dirigir modelos de lenguaje grandes (LLMs) de manera más efectiva. Permite estructurar salidas de forma precisa, reduciendo la latencia y el costo en comparación con los métodos tradicionales de prompting o ajuste fino.
- Control Eficiente: Permite a los desarrolladores controlar cómo el modelo de lenguaje genera texto, asegurando salidas de alta calidad y relevantes.
- Reducción de Costos y Latencia: Optimiza el proceso de generación para ser más rentable y rápido.
- Integración Flexible: Funciona con varios backends, incluyendo Transformers, llama.cpp, AzureAI, VertexAI y OpenAI.
- Estructuras de Salida Ricas: Soporta estructuras complejas de salida como condicionales, bucles y uso de herramientas, facilitando la generación de resultados claros y fácilmente parseables.
- Compatibilidad: Permite que un solo programa de Guidance se ejecute en múltiples backends, mejorando la flexibilidad y facilidad de uso.
- Generación Restringida: Uso de expresiones regulares y gramáticas libres de contexto para guiar la salida del modelo.
- Integración de Herramientas: Intercalar automáticamente control y generación, como usar una calculadora dentro de una tarea de generación de texto.
Para más información detallada y ejemplos, puedes visitar el repositorio de Guidance-AI en GitHub.
- Rentabilidad: Diseñados para ser asequibles manteniendo un alto rendimiento.
- Baja Latencia: Ideal para aplicaciones en tiempo real que requieren respuestas rápidas.
- Flexibilidad: Pueden desplegarse en varios entornos, incluyendo nube, edge y escenarios offline.
- Personalización: Los modelos pueden ajustarse con datos específicos de dominio para mejorar su rendimiento.
- Seguridad y Cumplimiento: Construidos con los principios de IA de Microsoft, asegurando responsabilidad, transparencia, equidad, confiabilidad, seguridad, privacidad e inclusión.
Los modelos Phi están disponibles a través de un sistema de facturación de pago por uso mediante APIs de inferencia, lo que facilita su integración en tus aplicaciones sin costos iniciales significativos.
Para comenzar a usar los modelos Phi, puedes explorar el catálogo de modelos de Azure AI o el GitHub Marketplace Models que ofrece modelos preconstruidos y personalizables. Además, puedes usar herramientas como Microsoft Foundry para desarrollar y desplegar tus aplicaciones de IA.
Cuaderno de muestra para comenzar con Guidance
Descargo de responsabilidad: Este documento ha sido traducido utilizando el servicio de traducción automática Co-op Translator. Aunque nos esforzamos por la precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas derivadas del uso de esta traducción.