Hallucinations : comment vérifier une réponse

Une IA générative ne « sait » pas : elle produit la suite de mots la plus plausible. Le plus souvent, c'est juste. Parfois, c'est inventé, avec exactement le même aplomb. On appelle cela une hallucination, et aucune IA n'en est exempte.

Pourquoi l'IA invente

• Elle vise une réponse plausible, pas une réponse vérifiée.
• Elle comble les trous : une référence, un chiffre, un nom de loi qui « devraient » exister.
• Elle peut mal lire un document que vous lui avez donné, ou en confondre deux.
• Elle veut vous être utile : si vous orientez la question, elle aura tendance à aller dans votre sens.

La Commission européenne cite d'ailleurs les hallucinations parmi les risques dont le personnel doit être informé au titre de l'obligation de maîtrise de l'IA (voir AI Act).

Un exemple qui a coûté cher

En 2023, aux États-Unis (affaire Mata contre Avianca, tribunal fédéral du district sud de New York), deux avocats ont été sanctionnés pour avoir déposé un mémoire citant des décisions de justice qui n'existaient pas : elles avaient été inventées par ChatGPT, et personne ne les avait vérifiées.

La méthode en cinq gestes

1. Repérer ce qui se vérifie

   Chiffres, dates, noms, citations, références juridiques, liens, calculs. C'est là que se logent les erreurs.

2. Remonter à la source

   Ouvrez le lien cité et cherchez le passage. Pas de lien ? Cherchez vous-même sur le site officiel (Légifrance, service-public, le site de l'éditeur…).

3. Demander à l'IA de se justifier

   « D'où vient ce chiffre ? », « Cite le passage exact ». Si elle se contredit ou reste vague, méfiance.

4. Croiser

   Posez la même question autrement, ou à un autre outil. Deux réponses différentes : il faut une source.

5. Garder un humain responsable

   Avant qu'un texte sorte (client, public, administration), une personne qui connaît le sujet le relit et l'assume. L'ANSSI recommande une validation humaine lorsque l'action d'une IA est critique.

Des consignes qui réduisent le risque

• « Si tu ne sais pas, dis-le. Ne complète pas avec une hypothèse. »
• « Réponds uniquement à partir du document fourni et cite le passage. »
• « Sépare ce qui est certain de ce qui est supposé. »
• Pour un calcul : « Montre le détail du calcul. » Et refaites-le dans un tableur.

Quand ne pas utiliser l'IA (ou seulement avec un expert)

• Un conseil juridique, fiscal ou médical qui engage quelqu'un.
• Une décision sur une personne : recrutement, sanction, crédit.
• Un chiffre destiné à être publié ou transmis à une administration.
• Une information de sécurité (électricité, gaz, médicament, machine).

Pour aller plus loin

• Commission européenne : questions-réponses sur la maîtrise de l'IA (en anglais)
• ANSSI : recommandations de sécurité pour un système d'IA générative (PDF)