Apprendre avec l'IA : le vrai test commence sans l'assistant

Un ordinateur portable ouvert et un livre fermé côte à côte sur une table.

Ordinateur et livre, photographie de 2019. Photo : Dejan Krsmanovic / Flickr, CC BY 2.0.

Réussir un exercice avec un chatbot ne prouve pas que l'on saura le refaire seul. Des expériences sur les fractions et la compréhension écrite montrent même une moins bonne performance juste après le retrait de l'aide. Pour évaluer l'apprentissage, il faut regarder au-delà de la réponse obtenue.

Vous révisez un calcul de fractions. Le chatbot explique les étapes, le résultat tombe juste et vous passez à la suite. Mais qui saurait recommencer avec d'autres nombres ? Cette question change ce que l'on attend de l'outil. Pour finir un exercice, une solution correcte suffit. Pour apprendre, il faut aussi pouvoir retrouver le chemin qui y mène.

Une étude menée par Grace Liu et ses collègues remet cette distinction au centre du débat. Berkeley News l'a présentée le 9 octobre, à l'occasion de sa présentation à la conférence COLM, consacrée aux modèles de langage. Le travail circulait déjà depuis avril, avec une nouvelle version déposée le 3 octobre. Son intérêt tient à un choix simple : observer les participants quand l'assistant disparaît.

Le moment où l'aide s'arrête

Les chercheurs ont recruté 1 222 personnes aux États-Unis, via la plateforme Prolific, pour trois expériences en ligne. Répartis au hasard, les participants travaillent avec ou sans accès à GPT-5, puis tous terminent sans IA. Les exercices portent sur les fractions et la compréhension écrite. Dans le protocole de fractions, l'assistant connaît déjà le problème et sa solution. Obtenir directement la bonne réponse demande donc très peu d'effort.

Dans la deuxième expérience, qui conserve 585 participants après exclusions, le groupe auparavant assisté réussit en moyenne 71% des problèmes du test final, contre 77% pour le groupe sans IA. Cet écart est statistiquement significatif. Les problèmes passés sans réponse représentent 10% contre 7%, mais cette seconde différence n'est pas statistiquement concluante. Le résultat sur la persévérance est donc moins net ici que celui sur la réussite. Ces chiffres figurent dans les résultats détaillés de l'étude.

La comparaison importante n'est pas seulement celle d'une personne qui réussit moins bien une fois privée d'un outil. Les chercheurs la comparent aussi à des personnes qui ont effectué la séance sans cet outil. Autrement dit, l'avantage pendant l'exercice assisté ne se transforme pas automatiquement en avantage quand chacun doit se débrouiller seul.

Dix minutes ne racontent pas une année d'apprentissage

Le titre de Berkeley insiste sur les effets observés après une dizaine de minutes. Ce délai décrit une exposition brève, pas le temps nécessaire pour endommager durablement une capacité. Le test arrive immédiatement après le retrait de l'assistant. Les auteurs reconnaissent ne pas savoir si les écarts persistent quelques heures ou quelques jours plus tard.

C'est une limite qui change la lecture du résultat. On observe une performance dans une situation donnée, pas le devenir intellectuel des participants. Ces essais ne permettent pas davantage de décrire ce qui se passe pendant une année scolaire chez des enfants. Ils posent en revanche une exigence très concrète : une promesse d'apprentissage doit être évaluée par ce que la personne sait faire ensuite, dans les conditions où cette compétence lui sera demandée.

Le problème n'est donc pas résolu en vérifiant uniquement que le chatbot donne des réponses justes. Une explication peut être correcte sans que son destinataire sache encore l'utiliser. Dans notre exemple de fractions, lire une mise au même dénominateur et décider soi-même quand l'effectuer sont deux tâches différentes.

Donner un indice n'est pas livrer la solution

Dans la deuxième expérience, les participants qui déclarent avoir surtout demandé des réponses directes obtiennent de moins bons résultats ensuite que ceux ayant demandé des indices. Mais ils ont choisi eux-mêmes leur manière d'utiliser l'outil. Cette comparaison entre usages ne démontre donc pas qu'imposer des indices aurait, à lui seul, produit un meilleur apprentissage.

Un essai antérieur permet d'aller plus loin sur cette question. Publié dans les PNAS en juin 2025, le travail de Hamsa Bastani et de ses collègues porte sur près d'un millier de lycéens dans un établissement turc. Les classes sont réparties entre trois groupes : ressources habituelles, chatbot fondé sur GPT-4 ou tuteur utilisant le même modèle avec des consignes pédagogiques et des éléments fournis par les enseignants.

Le tuteur doit guider par des indices au lieu de donner la réponse. Lors de l'évaluation sans aide, le groupe utilisant le chatbot ordinaire obtient des notes inférieures à celles du groupe témoin. Avec le tuteur guidé, ce déficit est largement atténué, sans amélioration statistiquement démontrée par rapport au témoin. Ce résultat concerne ce dispositif précis, pas tous les produits qui se présentent comme des tuteurs.

La différence mérite pourtant d'être prise au sérieux : configurer un outil pour terminer la tâche ou pour accompagner celui qui l'accomplit ne revient pas au même. Le travail des enseignants sur les exercices, les erreurs possibles et les indices fait ici partie du dispositif. Le simple mot « pédagogique » sur une interface n'en tient pas lieu.

Pour celui qui révise, une vérification reste à portée de main : fermer l'échange, prendre un exercice voisin et expliciter son raisonnement sans recopier la solution. Cela ne mesure pas toute la solidité d'un apprentissage, mais révèle ce que la réponse impeccable du chatbot laisse invisible. Si l'on bloque, on sait au moins quelle étape demander à retravailler. Le critère utile n'est plus seulement « mon exercice est juste », mais « je peux expliquer et refaire cette étape sans aide ».