Les classements disent quels modèles sont forts en général. Ils ne peuvent pas dire lequel est le meilleur pour votre travail : répondre à vos clients, dans votre langue, avec vos documents. Pour cela, il vous faut un petit test à vous. Il prend un après-midi, et il évite de choisir sur la seule réputation.
1. Réunir 30 exemples réels
Prenez des entrées réelles de votre produit ou de votre travail : des e-mails de clients, des documents, des questions vraiment posées. Trente suffisent pour voir des différences nettes ; en dessous, le hasard pèse trop. Incluez quelques cas difficiles et quelques cas inhabituels, car c’est là que les modèles diffèrent le plus.
2. Écrire ce qu’est une bonne réponse
Avant de lancer quoi que ce soit, décidez de ce que vous vérifiez. La réponse est-elle juste ? Dans la bonne langue et le bon ton ? Respecte-t-elle le format ? Invente-t-elle quelque chose ? Une liste de trois ou quatre points oblige à juger avec rigueur quand deux réponses semblent correctes au premier coup d’œil.
3. Choisir trois candidats
Prenez un modèle puissant, un modèle de prix moyen et un modèle bon marché, à l’aide des classements ou de l’outil trouver un modèle. Trois suffisent : au-delà, la comparaison devient fastidieuse et moins attentive.
4. Lancer le même prompt sur chacun
Utilisez exactement les mêmes instructions et les mêmes réglages pour chaque modèle, et enregistrez chaque réponse en masquant le nom du modèle. La plupart des fournisseurs ont un espace d’essai où l’on peut le faire à la main, et un petit script fait aussi l’affaire.
5. Noter à l’aveugle
Lisez les réponses sans savoir quel modèle les a écrites, et notez chacune selon votre liste. La notation à l’aveugle compte plus qu’il n’y paraît : on a tendance à mieux noter le modèle célèbre. Si un collègue peut noter aussi, c’est encore mieux.
6. Mettre la qualité face au coût
Additionnez les notes, puis mettez-les en regard du coût mensuel de chaque modèle pour votre volume ; le calculateur de coût fait les calculs. Souvent, le modèle moins cher est assez proche, voire meilleur sur votre tâche. Parfois, l’écart est réel et vaut son prix. Dans les deux cas, vous savez au lieu de deviner.
7. Garder le test
Conservez les exemples, la liste de critères et les notes. Quand un nouveau modèle ou une baisse de prix arrive, vous pouvez relancer le test en une heure et décider avec la même mesure.