Par Maledh Marrakchi – Avec le développement spectaculaire, depuis fin 2022, de l’IA Générative et particulièrement les LLMs (Large Language Models; IA génératives qui génèrent du contenu, essentiellement du texte comme ChatGPT, Claude, Gemini, DeepSeek, ..), les utilisateurs humains sont bluffés par la performance de ces systèmes dans la génération de textes intelligibles (pour certains avec d’autres modalités telle que l’image, la voix et les vidéos) et dans leur capacité à tenir un échange tout aussi intelligible.
Durant ces échanges, l’utilisateur peut avoir l’illusion, par moment, que son vis-à-vis est un humain. L’échange peut alors évoluer vers une forme d’amitié assumée où on se fait des confidences, des discussions passionnées et parfois passionnantes sur un sujet particulier, voire une discussion plus professionnelle avec un assistant ou un conseiller. Mais alors, ces IA, reposant sur des modèles essentiellement statistiques basés sur des milliers de milliards de paramètres, comprennent-elles vraiment ce qu’elles génèrent et ce que l’utilisateur humain leur demande de faire?
Lors d’une conférence devant des jeunes chercheurs et des collègues universitaires qui s’est tenue dernièrement à l’Université de Tunis, j’ai affirmé, par «raccourci», une position qui manquait de nuance, que «l’IA ne comprenait ni ce qu’on lui demandait, ni le texte qu’elle produisait». Un participant m’a alors posé une question aussi simple que redoutable: «Qu’est-ce que la compréhension pour l’humain, et qu’est-ce que la compréhension pour l’IA?»
Sa question m’obligeait à revenir sur une évidence que j’avais formulée trop vite. Pour affirmer qu’une machine ne comprend pas, encore faut-il savoir ce que l’on entend par comprendre, et disposer de critères permettant de reconnaître cette capacité, ou son absence.
Le problème n’est pas seulement technique. Il touche à notre conception du langage, de la connaissance et de l’esprit. Il invite surtout à éviter deux raccourcis: attribuer une vie intérieure à une machine parce qu’elle s’exprime avec aisance; lui refuser toute forme de compréhension parce que son fonctionnement diffère du nôtre.
Comprendre n’est pas seulement répondre correctement!
Imaginons un élève capable de réciter une démonstration sans savoir pourquoi elle fonctionne. Puis un autre, moins éloquent, mais capable de l’expliquer avec ses mots, de repérer une erreur et d’utiliser le même raisonnement dans un problème différent. Nous dirions volontiers que le second a mieux compris.
Cet exemple permet de proposer une définition de travail: comprendre, c’est saisir des relations et pouvoir s’en servir de manière pertinente. Ce peut être relier une cause à une conséquence, un mot à une situation, une règle à ses conditions d’application. La compréhension ne se manifeste alors, pas uniquement par une bonne réponse, mais aussi par la capacité à expliquer, à transférer une connaissance et à reconnaître les limites de son application.
Cette définition est fonctionnelle: elle s’intéresse à ce qu’une capacité permet de faire. Elle ne prétend pas épuiser tout ce que nous appelons comprendre.
Car une autre dimension intervient lorsque nous parlons de compréhension humaine: l’expérience vécue. Comprendre une explication sur la douleur n’est pas éprouver une douleur. Savoir décrire le deuil n’est pas traverser un deuil. Ces différences ne rendent pas le savoir descriptif inutile; elles montrent que connaissance, compétence et expérience ne se confondent pas.
Avant de demander si une IA comprend, il faut donc préciser quelle dimension nous examinons.
Le langage suffit-il à donner accès au sens?
Une objection importante est formulée par les linguistes Emily Bender et Alexander Koller dans un article publié en 2020. Leur thèse: un système entraîné exclusivement sur la forme du langage ne dispose pas, par ce seul apprentissage, de ce qui lui permettrait d’accéder au sens. Ils invitent ainsi à distinguer la maîtrise des régularités linguistiques de la compréhension de ce que les énoncés signifient dans une situation de communication.[1]
L’enjeu peut se comprendre à partir d’une phrase ordinaire: «Il fait froid ici». Elle peut exprimer un constat, une plainte ou une demande indirecte de fermer la fenêtre. Comprendre cet énoncé, ce n’est pas seulement connaître le sens des mots; c’est déterminer ce qu’une personne fait en les prononçant dans une situation donnée.
Un modèle peut-il reconstruire cette dimension à partir des innombrables descriptions d’interactions humaines présentes dans ses données? Dans quelle mesure lui faut-il aussi participer à de telles interactions? L’argument de Bender et Koller donne une raison de ne pas confondre les deux, mais il doit être présenté pour ce qu’il est: une position théorique sur le rapport entre forme et sens, non une mesure expérimentale de toute compréhension possible.[1]
La chambre chinoise: une objection célèbre, pas un verdict définitif
Cette difficulté prolonge un débat plus ancien. En 1980, le philosophe John Searle propose l’expérience de pensée de la «chambre chinoise». Une personne qui ne connaît pas le chinois reçoit des messages dans cette langue. Elle dispose d’instructions lui permettant de manipuler les signes et de produire des réponses appropriées, sans en connaître la signification. Vue de l’extérieur, elle paraît comprendre. De l’intérieur, elle ne fait qu’appliquer des règles.[2]
Searle en tire une conclusion : manipuler correctement la forme des symboles ne suffit pas à en comprendre le sens. C’est la différence entre syntaxe — les règles de combinaison des signes — et sémantique — leur signification.[2] Searle distingue ainsi: Syntaxe (règles formelles de manipulation de symboles), Sémantique (le fait que les symboles signifient quelque chose pour le système), Intentionnalité (la propriété des états mentaux d’être «à propos de» quelque chose).
Sa thèse centrale est qu’un programme fournit seulement la syntaxe; la sémantique et l’intentionnalité exigent, selon lui, des causes biologiques propres au cerveau. Il ne nie donc pas que l’IA puisse simuler la compréhension, mais soutient qu’elle ne la possède pas intrinsèquement.[4][3]
L’argument est puissant, mais il ne clôt pas la discussion. Ses critiques répondent notamment que la personne enfermée dans la chambre n’est pas le système entier. Peut-être l’ensemble constitué par les instructions, la mémoire et les opérations, possède-t-il une capacité qu’aucun de ses éléments isolés ne possède. Cette «réponse du système» déplace la question: à quel niveau faut-il chercher la compréhension?[3]
Il serait donc imprudent d’invoquer Searle comme si la philosophie avait démontré une fois pour toutes que les machines ne peuvent rien comprendre. Son expérience de pensée met à l’épreuve nos intuitions; elle ne fait pas disparaître le désaccord. Les nombreuses questions soulevées par l’expérience de la chambre chinoise ne seront peut-être pas résolues tant qu’un consensus n’aura pas été établi sur la nature du sens, son lien avec la syntaxe et la nature de la conscience. Des désaccords importants persistent quant aux processus à l’origine du sens, de la compréhension et de la conscience, ainsi que sur ce qui peut être prouvé à priori par des expériences de pensée.
«Prédire la suite» ne dit pas tout de ce qui est appris
À l’autre extrême, faut-il conclure que les modèles comprennent parce qu’ils réagissent bien à nos prompts ? Non plus. Mais une expérience éclaire les limites de la formule selon laquelle ils ne feraient «que prédire la suite».
Kenneth Li et ses collègues ont étudié un modèle entraîné à prédire des coups légaux au jeu d’Othello, à partir de séquences de parties, sans connaissance préalable explicite du jeu ou de ses règles. Ils ont trouvé des indices d’une représentation interne de l’état du plateau. En intervenant sur cette représentation, ils ont pu modifier les prédictions du modèle. Ces travaux ont été présentés à la conférence ICLR en 2023.[4]
Le résultat est limité, mais important. Pour prédire des séquences, un modèle peut apprendre quelque chose de la structure qui les produit. Il ne se contente donc pas nécessairement de mémoriser des associations superficielles.
Cela ne signifie pas que Othello comprend comme un joueur humain, encore moins qu’il comprend le monde dans son ensemble. L’expérience concerne un environnement restreint et bien défini. Elle montre toutefois que l’objectif d’apprentissage — prédire la suite — ne suffit pas à décrire la richesse de toutes les représentations acquises pour y parvenir.[4]
Dire «ce n’est que de la statistique» ne règle donc pas la question. Il reste à examiner ce que ces calculs permettent effectivement de représenter et d’utiliser.
Comprendre quelque chose n’est pas nécessairement l’éprouver
Une autre confusion menace le débat : celle entre compréhension et conscience.
Demander si une machine peut utiliser un concept de façon pertinente n’est pas la même chose que demander si elle éprouve quelque chose en le faisant. Une explication correcte de la peur ne démontre pas la présence d’une peur ressentie. De même, une phrase telle que «je suis triste» ne constitue pas, à elle seule, une preuve de tristesse.
En 2023, Patrick Butlin et un groupe de chercheurs ont proposé d’examiner la conscience artificielle à partir d’indicateurs tirés de plusieurs théories scientifiques de la conscience. Leur analyse ne suggérait pas que les systèmes étudiés étaient conscients. Elle n’identifiait cependant pas non plus de barrière technique évidente à la construction de systèmes satisfaisant ces indicateurs.[5]
La portée de cette conclusion doit rester précise: il s’agit d’une évaluation fondée sur certaines théories et portant sur les systèmes examinés à l’époque, non d’une preuve définitive concernant toute IA présente ou future.
La prudence ne consiste donc ni à annoncer l’éveil des machines, ni à proclamer l’impossibilité de toute conscience artificielle. Elle consiste à ne pas tirer de la fluidité d’un dialogue, une conclusion sur l’existence d’une vie intérieure.
Poser des questions plus précises
Plutôt que de demander seulement «l’IA comprend-elle?», il serait plus approprié de décomposer cette interrogation en ce qu’elle pourrait sous-entendre: l’IA, comprend-elle quelle consigne est pertinente dans un contexte donné ? peut-elle expliquer une réponse autrement qu’en la répétant/reformulant? sait-elle appliquer une relation à une situation réellement nouvelle? distingue-t-elle une cause d’une simple association? reconnaît-elle les conditions dans lesquelles sa réponse cesse d’être valable? et, question différente, existe-t-il une expérience subjective associée à ces opérations?
Ces questions ne demandent pas toutes les mêmes preuves. Une évaluation des performances peut éclairer les premières. L’étude des mécanismes internes peut aider à déterminer quelles représentations interviennent dans les réponses, comme l’illustre l’expérience sur Othello. L’examen de la conscience exige d’autres cadres encore.[5][4]
Cette manière de procéder permet de remplacer une alternative trop massive — comprendre ou ne rien comprendre — par une investigation sur des capacités précises, leurs conditions et leurs limites.
L’IA n’est ni un interlocuteur humain, ni un outil insignifiant
Pour les grands modèles de langage (LLMs), le débat sur la compréhension peut se résumer ainsi:
• Selon la pensée de Searl, un LLM manipule des distributions statistiques sur des tokens; il peut produire des réponses appropriées sans avoir d’intentionnalité ni de référence au monde,
• Selon la pensée fonctionnaliste modérée: si un modèle intègre perception, mémoire, raisonnement causal, action et apprentissage dans une architecture suffisamment riche, la distinction entre «comprendre» et «simuler la compréhension» devient difficile à justifier,
• Une position intermédiaire: les LLM actuels présentent des capacités fonctionnelles partielles de compréhension, sans que cela implique une compréhension humaine, une conscience ou une intentionnalité pleine.
Par ailleurs, pour l’usage quotidien, l’intégration d’une de ces postures engendre une conséquence: nous ne devrions pas régler notre confiance sur le seul sentiment d’avoir affaire à quelqu’un qui comprend.
Dans une classe, une rédaction, ou une administration, la question pertinente qui s’impose en premier lieu n’est pas de savoir si la machine possède un esprit semblable au nôtre. Elle est de déterminer ce qu’elle peut faire de manière suffisamment fiable, comment vérifier son travail et qui est responsable des conséquences de son utilisation.
Ainsi, le comportement d’un utilisateur averti serait de: ne pas déduire la fiabilité de l’apparence d’intelligence, ni l’innocuité de l’absence de conscience établie. Ce sont des questions bien différentes.
Une IA n’a pas besoin d’éprouver ce qu’elle écrit pour que ses productions soient prises au sérieux par leurs lecteurs. C’est précisément pourquoi notre responsabilité ne peut pas être abandonnée au langage de la machine.
Au collègue universitaire qui m’interrogeait, je répondrais désormais:
«Mon affirmation était trop catégorique. Si comprendre signifie faire une expérience vécue comparable à la nôtre, les performances de l’IA ne suffisent pas à établir qu’elle comprend. Si comprendre, signifie utiliser des représentations pour relier des informations et accomplir certaines tâches, il faut examiner ses capacités plutôt que les exclure par définition. Des expériences montrent que des modèles peuvent acquérir des représentations structurées ; elles ne démontrent ni une compréhension humaine générale ni une conscience.»[4][5]
Le changement de perspective est essentiel. Nous n’avons pas à choisir entre une machine secrètement humaine et une machine qui ne ferait absolument rien avec le sens. Nous avons à apprendre à décrire, avec précision, ce qu’elle réussit, ce qui lui manque et ce que nous ignorons encore.
Références
1. https://aclanthology.org/2020.acl-main.463/
2. https://plato.stanford.edu/archives/sum2026/entries/chinese-room/
3. https://plato.stanford.edu/archives/spr2010/entries/chinese-room/
4. https://arxiv.org/abs/2210.13382
5. https://arxiv.org/abs/2308.08708
Auteur:
Cliquez ici pour lire l’article depuis sa source.