Introducción
Este manual está diseñado para guiar a los desarrolladores y administradores de sistemas en el uso del API de Batch de OpenAI a través de Azure. Abarca desde la preparación de archivos hasta la recuperación de resultados, y proporciona ejemplos tanto en Python como en cURL. La implementación de GlobalBatch permite procesar grupos de solicitudes de manera asíncrona, lo que resulta en una reducción del 50% en costos, límites de tasa significativamente más altos y un tiempo de respuesta claro de 24 horas.
¿Qué es el API Batch de OpenAI?
El API Batch de OpenAI permite enviar solicitudes asíncronas en grupos, lo que es ideal para trabajos que no requieren respuestas inmediatas. Algunos casos de uso incluyen:
- Evaluaciones de modelos.
- Clasificación de grandes conjuntos de datos.
- Integración de contenido en repositorios.
Ventajas del API Batch
- Eficiencia de costos: Descuento del 50% en comparación con las APIs sincrónicas.
- Límites de tasa más altos: Más capacidad en comparación con las APIs sincrónicas.
- Tiempos de finalización rápidos: Cada lote se completa en un plazo de 24 horas, a menudo más rápidamente.