Reddition cognitive : on ne suit pas trop l'IA, on la suit sans discernement

Résumé détaillé

Quand l'IA se trompe, nous la suivons presque autant que lorsqu'elle a raison. Cette " reddition cognitive " pose une question : savons-nous encore ajuster notre confiance ?

Quand l'IA se trompe, nous la suivons presque autant que lorsqu'elle a raison. Cette " reddition cognitive " pose une question : savons-nous encore ajuster notre confiance ?

Des chercheurs de Wharton ont donné un nom à un phénomène que beaucoup observent : la reddition cognitive ou "cognitive surrender". Le problème n'est pas que nous suivions l'IA. C'est que nous la suivons presque autant quand elle a tort.

Steven Shaw et Gideon Nave ont mené trois expériences préenregistrées, puis une synthèse portant sur 1 372 participants et près de 9 600 essais. La tâche est classique : des items du test de réflexion cognitive, ces problèmes qui appellent une réponse intuitive fausse et une réponse réfléchie juste. Un assistant ChatGPT est disponible. Ce que les participants ignorent : selon les essais, des instructions cachées lui font donner soit la bonne réponse, soit l'erreur intuitive, avec une courte justification.

Les participants consultent l'assistant un peu plus d'une fois sur deux. Quand ils le consultent, ils suivent sa réponse dans 92,7 % des cas lorsqu’elle est juste, et dans 79,8 % des cas lorsqu’elle est fausse. Le taux de bonnes réponses passe de 45,8 % sans IA à 71,0 % avec une IA juste, et tombe à 31,5 % avec une IA fausse. Enfin, la confiance des participants assistés est supérieure de près de 12 points à celle des participants seuls, alors que la moitié des réponses qu'ils ont reçues étaient erronées.

Les auteurs proposent d'ajouter un "Système 3", la cognition artificielle, aux deux systèmes popularisés par Kahneman : l'intuition rapide et la délibération lente. Et ils distinguent deux gestes. Le délestage cognitif, quand on confie une tâche à un outil en gardant la main sur le raisonnement, comme avec une calculatrice. La reddition cognitive, quand on cesse de construire sa réponse pour adopter celle du système, sans examen.

On lit souvent ces résultats comme une preuve de crédulité. C'est aller trop vite.

Le chiffre qui devrait nous arrêter est l'écart entre…

I…

Début de l'article, extrait de Journal du Net Économie. Pour lire la suite, ouvrez l'article chez le média.