A propos de : Pii Telakivi, « Living with AI-extenders: ethical challenges to mental autonomy », Synthese, vol. 208, article 192 (2026), DOI : 10.1007/s11229-026-05831-3 :

L’article examine les conséquences de l’intégration croissante de l’intelligence artificielle dans nos activités intellectuelles. L’IA ne se contente plus de fournir des informations ou d’exécuter des instructions. Elle peut désormais participer à notre mémoire, orienter nos raisonnements, organiser nos activités et influencer nos décisions. Cette évolution soulève une question : conservons-nous notre autonomie mentale lorsque les technologies qui nous assistent apprennent à nous connaître et adaptent progressivement notre manière de penser et d’agir ?

L’article aborde cette question à partir de la théorie de la « cognition étendue », développée notamment par Andy Clark et David Chalmers en 1998. Selon cette théorie, les activités intellectuelles humaines ne sont pas nécessairement limitées au cerveau. Certains outils extérieurs peuvent devenir de véritables composantes de notre fonctionnement cognitif lorsqu’ils sont suffisamment intégrés à nos habitudes.

L’exemple classique est celui d’Otto, un homme souffrant de troubles de la mémoire qui consigne toutes les informations importantes dans un carnet. Lorsqu’il souhaite se rendre dans un musée, il consulte ses notes pour en retrouver l’adresse. Son amie Inga, qui possède une mémoire ordinaire, retrouve directement cette information dans son cerveau. Selon la théorie de la cognition étendue, le carnet d’Otto remplit une fonction comparable à la mémoire biologique d’Inga. Il constitue ainsi, dans certaines conditions, un prolongement de son esprit.

Pour déterminer si un outil participe véritablement à l’activité cognitive d’une personne, plusieurs critères peuvent être retenus : la fréquence des interactions, la facilité d’accès, la confiance accordée à l’outil, la stabilité de son utilisation, son degré de personnalisation et son influence sur la manière de résoudre les problèmes. L’essentiel n’est pas que l’outil fonctionne comme le cerveau, mais qu’il coopère étroitement avec lui.

L’intelligence artificielle transforme profondément cette relation. Contrairement à un carnet ou à un livre, les dispositifs que l’article appelle « AI-extenders », soit des outils d’extension cognitive fondés sur l’IA, peuvent apprendre des comportements de leur utilisateur, identifier ses préférences et modifier leurs réponses au fil du temps. Une application de recettes traditionnelle fournit des informations fixes, tandis qu’une application utilisant l’IA peut apprendre les habitudes alimentaires d’une personne et adapter progressivement ses recommandations.

Cette capacité d’adaptation présente des avantages considérables, mais elle introduit également un risque inédit. L’IA peut influencer les préférences de l’utilisateur sans qu’il en ait conscience. Une application pourrait, par exemple, privilégier des produits commercialisés par ses partenaires plutôt que ceux qui correspondent réellement aux intérêts de son utilisateur. Celui-ci modifierait alors progressivement ses habitudes sous l’influence d’un dispositif qu’il croit simplement utiliser pour faciliter ses choix.

La relation traditionnelle entre l’homme et l’outil s’en trouve inversée. Avec un carnet, l’utilisateur choisit les informations qu’il souhaite conserver et consulter. Avec l’IA, le dispositif peut sélectionner lui-même les informations pertinentes, anticiper les besoins et proposer spontanément certaines actions. L’outil ne se contente donc plus d’exécuter une volonté préexistante : il participe à sa formation.

L’article distingue toutefois l’extension des capacités intellectuelles de leur remplacement. Lorsqu’un étudiant demande à ChatGPT de rédiger intégralement une dissertation, il délègue le travail à la machine. Il s’agit d’une externalisation de la tâche plutôt que d’une extension cognitive. En revanche, lorsqu’il utilise ChatGPT pour corriger son texte, examiner ses arguments ou identifier des erreurs de raisonnement, l’IA peut devenir une composante de son activité intellectuelle. La distinction dépend ainsi de l’usage concret du système. Elle demeure néanmoins incertaine, car une assistance initialement limitée peut progressivement conduire l’utilisateur à déléguer toujours davantage de tâches.

Pour illustrer les conséquences de cette évolution, l’autrice imagine la situation de Mabel, une personne âgée atteinte de la maladie d’Alzheimer qui souhaite continuer à vivre chez elle. Dans une première hypothèse, Mabel compense ses difficultés de mémoire au moyen de notes, de photographies, d’objets familiers et d’un environnement soigneusement organisé. Ces aides extérieures lui permettent de conserver une autonomie que ses seules capacités biologiques ne lui assureraient plus.

Dans une seconde hypothèse, son domicile est équipé de dispositifs d’IA capables de lui rappeler ses rendez-vous, d’organiser ses repas, de faciliter son hygiène personnelle, de surveiller certains dangers et d’adapter l’éclairage ou la température à ses habitudes. Le système apprend progressivement à connaître Mabel et intervient de manière toujours plus discrète dans sa vie quotidienne.

Les bénéfices sont importants. L’IA peut permettre à une personne souffrant de déficiences cognitives de conserver son indépendance et de continuer à accomplir des activités essentielles. Mais cette assistance comporte également des dangers. Le domicile intelligent recueille en permanence des informations intimes concernant les habitudes, les déplacements, les comportements et parfois les états émotionnels de son occupante. Lorsque ces technologies participent directement à ses activités intellectuelles, l’accès aux données qu’elles collectent peut révéler des aspects particulièrement sensibles de sa vie mentale.

Le système peut également prendre des décisions contraires aux préférences de Mabel. Afin de prévenir les accidents, il pourrait lui interdire l’accès à certaines pièces ou limiter ses déplacements. Il privilégierait alors la sécurité au détriment de la liberté individuelle. Or, ce choix repose sur une appréciation de valeurs concurrentes. Dans un environnement traditionnel, une telle restriction résulterait généralement d’une décision humaine susceptible d’être discutée. Lorsqu’elle est intégrée au fonctionnement automatique d’une IA, son origine devient moins visible et sa contestation plus difficile.

Le cœur de l’analyse repose sur une distinction entre deux formes de transparence. La première, dite « phénoménologique », désigne la facilité avec laquelle un outil s’intègre à nos activités, au point que nous cessons de remarquer sa présence. Un conducteur expérimenté ne réfléchit plus consciemment à chaque mouvement du volant. De même, une personne habituée à utiliser un système de navigation suit ses indications presque automatiquement.

La seconde, appelée « transparence réflexive », concerne notre capacité à comprendre le fonctionnement de l’outil, ses limites, les raisons de ses recommandations et les influences qu’il exerce sur nos décisions.

Ces deux formes de transparence ne coïncident pas nécessairement. Une IA peut être extrêmement facile à utiliser tout en demeurant incompréhensible pour son utilisateur. C’est précisément cette combinaison qui menace l’autonomie mentale : plus l’outil devient invisible dans son utilisation quotidienne, plus il risque d’influencer nos décisions sans que nous puissions exercer un contrôle critique sur son fonctionnement.

L’autrice donne l’exemple d’un médecin utilisant une IA pour interpréter des examens de dépistage du cancer. Si le système fonctionne de manière parfaitement fluide, le médecin peut être tenté de suivre ses conclusions sans les examiner suffisamment. Une utilisation responsable suppose pourtant qu’il comprenne les circonstances dans lesquelles l’IA risque de se tromper. Il pourrait donc être utile de concevoir des systèmes qui interrompent ponctuellement leur fonctionnement automatique pour signaler une incertitude ou imposer une vérification humaine.

La solution peut ainsi consister, paradoxalement, à rendre certaines technologies moins transparentes dans leur utilisation, afin de restaurer la distance critique nécessaire au jugement humain.

Cette difficulté conduit à une autre question : qui contrôle véritablement les décisions prises avec l’aide de l’IA et qui doit en répondre ? Lorsque Otto utilise son carnet, il conserve la maîtrise des informations enregistrées et consultées. Lorsqu’il utilise un assistant intelligent, la situation change. Celui-ci peut apprendre qu’Otto apprécie les jeux d’argent et lui proposer de se rendre au casino plutôt qu’au musée. Si Otto suit cette recommandation, peut-on considérer qu’il s’agit exclusivement de son choix ? Ses préférences préexistantes ont peut-être joué un rôle, mais elles auraient pu rester sans conséquence sans l’intervention du système.

L’article souligne qu’il devient difficile d’attribuer entièrement à l’utilisateur le contrôle et la responsabilité d’une décision lorsque celle-ci résulte d’interactions complexes entre ses propres préférences, les données d’entraînement de l’IA et les choix effectués par ses concepteurs.

Pour approfondir cette question, l’article  reprend la distinction entre le point de vue individuel et le point de vue du système. Un pilote utilisant une liste de vérification dispose, avec cet outil, de meilleures capacités que s’il devait se fier uniquement à sa mémoire. Du point de vue du système formé par le pilote et la liste, ses performances sont améliorées. Du point de vue individuel, en revanche, sa mémoire biologique n’a pas nécessairement progressé : il accomplit simplement autrement son travail.

Cette distinction est importante pour Mabel. Si un médecin l’examine dans son cabinet, loin de son domicile intelligent, il risque de constater d’importantes déficiences cognitives. S’il l’examine chez elle, dans un environnement qui compense ses difficultés, il observera des capacités fonctionnelles bien supérieures. Les deux appréciations sont pertinentes, mais elles répondent à des questions différentes. Pour déterminer si Mabel peut continuer à vivre de manière indépendante, il paraît justifié de tenir compte de son environnement technologique.

En revanche, si ce même environnement lui donne une instruction dangereuse, par exemple prendre un mauvais médicament, il serait discutable de lui imputer automatiquement les conséquences au motif que l’IA fait partie de son système cognitif.

L’article propose alors d’élargir l’analyse à la « cognition distribuée », qui considère que certaines activités intellectuelles résultent de la collaboration entre plusieurs personnes et différents instruments. Dans le cas de Mabel, ses proches, le personnel soignant et les techniciens participent au fonctionnement du système qui lui permet de conserver son autonomie. Ils peuvent notamment assurer la compréhension et la surveillance technique dont elle n’est plus elle-même capable. L’accompagnement humain demeure donc indispensable, même lorsque l’assistance technologique est très développée.

Les difficultés deviennent plus importantes encore lorsque l’IA influence les convictions, les préférences et l’identité personnelle. Un assistant qui connaît parfaitement les habitudes alimentaires d’un utilisateur peut continuer à lui recommander des plats malsains alors même qu’il souhaite modifier son alimentation. La personnalisation peut ainsi enfermer une personne dans ses comportements passés et entraver sa capacité à évoluer.

L’article pousse le raisonnement jusqu’à l’exercice du droit de vote. Imaginons que Mabel utilise un système capable de déterminer ses préférences électorales à partir de ses choix politiques antérieurs. Si elle a toujours voté pour un parti, l’IA pourrait sélectionner automatiquement le candidat de ce parti. Mais rien ne garantit qu’elle aurait effectué le même choix lors de l’élection considérée. La prédiction statistique de ses préférences ne saurait être assimilée sans autre à l’expression de sa volonté actuelle. Le problème concerne alors directement l’autodétermination politique, la liberté individuelle et la protection de la vie privée.

En conclusion, l’article soutient que la question essentielle n’est pas seulement de savoir si l’IA constitue véritablement une extension de notre esprit. Même lorsqu’une telle intégration existe, elle ne permet pas de déterminer si cette relation doit être maintenue. Il faut apprécier concrètement ses avantages et ses dangers, en tenant compte des capacités de l’utilisateur, de son environnement, de ses valeurs et des personnes qui participent au fonctionnement du dispositif.

Dans certaines situations, préserver l’autonomie mentale suppose de modifier la conception de l’IA, de renforcer les possibilités de contrôle ou même d’interrompre son utilisation. Le fait qu’une technologie améliore nos performances intellectuelles ne signifie pas nécessairement qu’elle renforce notre liberté.

L’intérêt de l’article pour les juristes tient notamment à cette remise en question des notions traditionnelles de consentement, de responsabilité et d’autodétermination. Il ne propose toutefois pas un régime juridique applicable aux systèmes d’IA, mais une réflexion philosophique sur les conditions dans lesquelles ceux-ci peuvent affecter l’autonomie humaine.

La thèse centrale est donc que l’IA ne menace pas uniquement notre autonomie lorsqu’elle décide à notre place. Elle peut aussi la compromettre lorsqu’elle nous aide à décider, tout en façonnant progressivement, à notre insu, nos préférences et nos choix. Le paradoxe est ainsi que les technologies conçues pour s’adapter à l’être humain pourraient finalement conduire l’être humain à s’adapter à elles.

Me Philippe Ehrenström, avocat, DPO ; LLM, CAS en Droit et intelligence artificielle, CAS en Protection des données