Simulador de combinación de modelos
La mayoría de las solicitudes son sencillas. Envíalas a un modelo barato, deja un modelo de primer nivel para las difíciles y paga solo una parte de la factura.
| Modelo | Índice generali | La combinación | Ahorras |
|---|
Modelos evaluados que cuestan como máximo un tercio del modelo de primer nivel por solicitud, del mejor índice general al peor. El ahorro usa la proporción de solicitudes sencillas de arriba. por millón de tokens · USD, 30 días por mes.
Cómo repartir el trabajo
La mayoría de las aplicaciones envían muchas solicitudes sencillas y unas pocas difíciles. Sencillas: clasificar un mensaje, extraer datos de un documento, responder a partir de unas preguntas frecuentes, redactar una respuesta corta. Difíciles: razonamiento en varios pasos, cambios en el código, análisis largos, todo lo que sale caro si hay un error.
Tres formas de repartir las solicitudes
- Por tarea: tu aplicación ya sabe qué está haciendo (un ticket de soporte o la revisión de un contrato) y elige el modelo.
- Con un clasificador: un modelo barato lee primero cada solicitud y la marca como sencilla o difícil.
- Por escalado: el modelo para el día a día responde primero; si duda o falla una comprobación, la solicitud pasa al modelo de primer nivel.
Antes de cambiar, prueba el modelo para el día a día con una muestra de tus solicitudes reales: el índice general mide la capacidad general, no tu tarea.