Cómo evaluar un chatbot o asistente basado en LLM

Los sistemas basados en modelos de lenguaje no son deterministas, pero eso no significa que no se puedan probar. Significa que hay que probarlos con otras técnicas.

1. Construye un dataset dorado

   Entre 100 y 300 preguntas reales del dominio con la respuesta esperada o los hechos que debe contener, revisadas por expertos.

2. Define métricas por dimensión

   Exactitud, fidelidad a la fuente, relevancia, completitud, tono y cumplimiento de políticas. No todas pesan igual en cada caso de uso.

3. Combina evaluadores

   Verificaciones exactas (formato, datos), evaluadores basados en modelos con rúbricas claras y una muestra con revisión humana para calibrarlos.

4. Prueba lo adversarial

   Prompt injection directa e indirecta, extracción del prompt de sistema, solicitudes fuera de alcance y abuso de herramientas.

5. Automatiza en CI

   Cada cambio de prompt, modelo, índice o herramienta debe correr la evaluación y compararse con la línea base.