Las clasificaciones dicen qué modelos son fuertes en general. No pueden decir cuál es el mejor para tu trabajo: responder a tus clientes, en tu idioma, con tus documentos. Para eso necesitas una pequeña prueba propia. Lleva una tarde y evita elegir solo por la fama.
1. Reúne 30 ejemplos reales
Toma entradas reales de tu producto o de tu trabajo: correos de clientes, documentos, preguntas que la gente hizo de verdad. Treinta bastan para ver diferencias claras; con menos, la suerte pesa demasiado. Incluye algunos casos difíciles y algunos raros, porque ahí es donde más se diferencian los modelos.
2. Escribe cómo es una buena respuesta
Antes de ejecutar nada, decide qué vas a comprobar. ¿La respuesta es correcta? ¿Está en el idioma y el tono adecuados? ¿Respeta el formato? ¿Se inventa algo? Una lista de tres o cuatro puntos obliga a evaluar con rigor cuando dos respuestas parecen buenas a primera vista.
3. Elige tres candidatos
Escoge un modelo potente, uno de precio medio y uno barato, con ayuda de las clasificaciones o del buscador de modelos. Con tres basta; con más, la comparación se vuelve pesada y menos cuidadosa.
4. Ejecuta el mismo prompt en todos
Usa exactamente las mismas instrucciones y los mismos ajustes en cada modelo, y guarda cada respuesta ocultando el nombre del modelo. La mayoría de los proveedores tienen un espacio de pruebas donde hacerlo a mano, y un pequeño script también sirve.
5. Puntúa a ciegas
Lee las respuestas sin saber qué modelo las escribió y puntúa cada una según tu lista. Puntuar a ciegas importa más de lo que parece: tendemos a valorar mejor al modelo famoso. Si un compañero puede puntuar también, mejor aún.
6. Pon la calidad junto al costo
Suma las puntuaciones y colócalas junto al costo mensual de cada modelo con tu volumen; la calculadora de costos hace las cuentas. A menudo el modelo más barato se queda cerca, o incluso gana en tu tarea. A veces la diferencia es real y vale lo que cuesta. En cualquier caso, ahora lo sabes en lugar de suponerlo.
7. Guarda la prueba
Conserva los ejemplos, la lista de criterios y las puntuaciones. Cuando salga un modelo nuevo o baje un precio, podrás repetir la prueba en una hora y decidir con la misma vara de medir.