Tester une réponse IA avec une grille de vérification

Préparez une grille commune avant de comparer les réponses. Vérifiez leur fidélité à la demande, leurs preuves et leur utilité, puis conservez uniquement une version dont les points décisifs ont été contrôlés.

Pourquoi le faire

L’évaluation d’une IA devient plus utile lorsque vous définissez ce qui constitue une réussite avant de lire le résultat. Sinon, une présentation séduisante risque de peser davantage que la fidélité au document. La grille transforme une impression générale en observations que vous pouvez expliquer et retrouver.

Imaginons une association qui veut résumer des conditions d’inscription publiques. La bonne réponse doit conserver les exceptions, distinguer les documents obligatoires des documents facultatifs et permettre de retrouver les passages utilisés. Une version plus courte qui supprime une réserve peut être moins adaptée, même si elle se lit facilement.

Avant de commencer

Préparez un jeu de test adapté à votre usage : une demande stable, un document autorisé et les éléments attendus. N’utilisez pas de dossier personnel pour essayer plusieurs services. Gardez aussi la version du document fournie afin que les différences ne proviennent pas d’une mise à jour de la source.

Construisez une grille dans un traitement de texte ou un tableur. Pour chaque critère, notez « conforme », « à corriger » ou « non vérifiable », puis un passage précis qui justifie votre appréciation. La fidélité porte sur les faits, les réserves et les contraintes de la demande. Les sources doivent exister et soutenir les affirmations. L’utilité concerne le format, la clarté et la possibilité d’effectuer le geste attendu.

Ajoutez des critères bloquants : information confidentielle exposée, référence inventée ou conseil risqué sans preuve. Ne compensez pas ce défaut par une bonne présentation. Vous pouvez demander : « Utilise uniquement le document fourni ; signale les informations absentes et cite les passages utiles. » La supervision humaine consiste ensuite à vérifier que cette instruction a été suivie.

Le navigateur suffit sur Pixel, Samsung, iPhone et ordinateur. Les libellés des fonctions de nouvelle conversation varient selon le service : ouvrez un échange distinct lorsque vous voulez éviter l’influence d’essais précédents. Notez le service et les options visibles, car l’accès à la recherche ou aux documents peut changer le résultat.

Si ça ne marche pas

Si les réponses sont difficiles à comparer, contrôlez qu’elles ont reçu le même texte et les mêmes contraintes. Une réponse disposant d’une recherche en ligne ne travaille pas dans les mêmes conditions qu’une réponse limitée au document fourni. Décrivez cette différence dans votre grille au lieu de l’ignorer.

Évitez de relancer jusqu’à obtenir une réponse qui vous plaît. Ce choix peut renforcer un biais algorithmique ou vos propres préférences. Recherchez aussi les erreurs dans la version que vous préférez. La fiche pour demander un tableau comparatif à un assistant aide à rendre les informations manquantes visibles.

Questions fréquentes

Faut-il attribuer une note ?

Ce n’est pas nécessaire. Des observations précises sont souvent plus faciles à utiliser qu’un total. Indiquez ce qui manque, pourquoi cela compte et comment le corriger. Vous pourrez ensuite décider si la réponse convient à votre tâche.

Peut-on faire évaluer par une autre IA ?

Oui, pour repérer des points à examiner. Demandez-lui de montrer les passages concernés et vérifiez-les vous-même. Deux réponses semblables peuvent reproduire la même erreur ; leur accord ne constitue pas une preuve indépendante.

Que garder à la fin ?

Conservez la version corrigée avec la demande, les sources contrôlées et les limites restantes. Si un point décisif demeure non vérifiable, suspendez son utilisation. La grille doit expliquer votre décision, pas seulement désigner la réponse la plus agréable.