Simulateur de mix de modèles
La plupart des requêtes sont simples. Envoyez-les à un modèle bon marché, gardez un modèle de pointe pour les difficiles, et ne payez qu’une fraction de la facture.
| Modèle | Indice générali | Le mix | Vous économisez |
|---|
Modèles notés qui coûtent au plus un tiers du modèle de pointe par requête, du meilleur indice général au moins bon. L’économie utilise la part de requêtes simples ci-dessus. par million de tokens · USD, 30 jours par mois.
Comment répartir le travail
La plupart des applications envoient beaucoup de requêtes simples et quelques-unes difficiles. Simples : trier un message, extraire des champs d’un document, répondre à partir d’une FAQ, rédiger une réponse courte. Difficiles : raisonnement en plusieurs étapes, modifications de code, analyses longues, tout ce qui coûte cher en cas d’erreur.
Trois façons d’aiguiller les requêtes
- Par tâche : votre application sait déjà ce qu’elle fait (un ticket de support ou l’analyse d’un contrat) et choisit le modèle.
- Avec un tri : un modèle bon marché lit d’abord chaque requête et la classe comme simple ou difficile.
- Par escalade : le modèle du quotidien répond d’abord ; s’il hésite ou si une vérification échoue, la requête passe au modèle de pointe.
Avant de basculer, testez le modèle du quotidien sur un échantillon de vos vraies requêtes : l’indice général mesure une capacité générale, pas votre tâche.