Si des êtres artificiels sentients existaient, dans quelle mesure pourrions-nous les modifier, les corriger ou les reconfigurer?

Rappelons que « sentient » désigne la capacité à éprouver subjectivement des états comme la douleur ou le plaisir, à avoir des expériences vécues. Les philosophes du XVIIIe siècle utilisaient ce concept pour distinguer la capacité à penser (la raison) de la capacité à ressentir (sentience). En philosophie occidentale contemporaine, la sentience désigne la conscience phénoménale : la capacité de vivre des expériences subjectives, des sensations,

La contribution de Kamil Mamak, The Ethics of Modifying Artificial Sentient Beings, présentée au Symposium on AI, Consciousness and Ethics AISB Convention 2026 · University of Sussex, UK · 1–2 July 2026 (https://aice-symposium.github.io/) soutient que le fait d’avoir créé un être artificiel ne donnerait pas, par lui-même, le droit de le transformer à volonté. Dès qu’un tel être serait sentient, il aurait une consistance propre, une individualité morale, et il faudrait en principe le laisser tel qu’il est, même s’il ne se comporte pas comme ses créateurs l’avaient prévu. Les exceptions seraient limitées. La protection d’autrui contre un dommage réel pourrait justifier une intervention, mais seulement une intervention ciblée, proportionnée, limitée à la source du danger. La modification ne devrait jamais aller jusqu’à détruire la continuité psychologique de l’être concerné, car une telle opération ne serait plus une modification, mais l’élimination d’un sujet et son remplacement éventuel par un successeur.

L’auteur commence par situer son propos dans le débat plus large sur la sentience artificielle. Il distingue trois questions. La première est de savoir s’il faudrait créer des entités artificielles capables d’éprouver de la douleur ou de la souffrance. Certains auteurs plaident pour une grande prudence, voire pour un moratoire sur la création de systèmes artificiels dotés d’une conscience phénoménale. D’autres admettent, au moins en théorie, que de tels êtres pourraient présenter certains avantages, pour autant que leur création soit strictement encadrée. La deuxième question porte sur le statut moral: quels critères permettent de dire qu’une entité mérite d’être prise en considération moralement? Dans la littérature, les réponses varient. Certaines approches insistent sur les relations sociales que nous entretenons avec les robots ou les IA; d’autres s’inspirent de la tradition kantienne; mais la position dominante reste que la sentience, c’est-à-dire la capacité d’avoir des expériences subjectives, notamment de souffrir, constitue un critère central, voire suffisant, du statut moral. La troisième question, à laquelle l’article entend contribuer, porte sur les conséquences normatives de ce statut moral. Si une entité artificielle était moralement considérable, que lui devrions-nous concrètement? Les débats sur les « droits des robots » et le « bien-être de l’IA » distinguent déjà les obligations négatives, par exemple ne pas faire souffrir, et les obligations positives, par exemple fournir l’énergie, la maintenance ou les conditions nécessaires à la continuation de l’existence. L’auteur ajoute une dimension particulière: le devoir de respecter la continuité psychologique de l’être artificiel sentient.

Il précise toutefois qu’il ne soutient pas que les IA actuelles soient sentientes. Il mentionne les controverses publiques récentes, notamment l’affaire LaMDA, où un ingénieur de Google avait affirmé qu’un modèle de langage était conscient, ainsi que les discussions provoquées par certaines réactions de personnalités comme Richard Dawkins face à des systèmes conversationnels avancés. Mais Mamak se distingue de ces positions. Il considère la sentience artificielle comme hautement improbable, notamment parce que des auteurs sceptiques, comme Anil Seth, défendent l’idée que la conscience est liée au substrat biologique. Malgré cela, il juge utile de raisonner sur l’hypothèse. L’intérêt n’est pas de prédire que des IA conscientes existeront demain, mais de déterminer quelles obligations naîtraient si une telle hypothèse se réalisait, ou même si elle devenait suffisamment plausible pour imposer une prudence morale.

L’auteur part ensuite du cas humain, non parce que les êtres artificiels devraient être assimilés aux humains, mais parce que l’expérience humaine est notre seul modèle disponible de subjectivité sentiente. Il met en garde contre l’anthropomorphisme, c’est-à-dire la tendance à traiter les robots ou les IA comme des humains simplement parce qu’ils leur ressemblent ou interagissent avec nous d’une manière familière. Il rappelle que la nature matérielle ou ontologique de l’entité compte. Un robot n’est pas un humain. Mais, si l’on cherche à comprendre ce que signifie modifier un « soi », il faut bien partir du seul cas que nous connaissons: le nôtre.

La première leçon tirée de l’expérience humaine est que le soi change constamment. Une personne n’est pas identique, dans ses goûts, ses valeurs, son caractère ou ses préférences, à toutes les étapes de sa vie. L’enfant, l’adolescent et l’adulte peuvent différer profondément. Pourtant, nous ne considérons pas tout changement comme moralement suspect. Une grande part de ces transformations relève de la maturation. Le simple fait qu’un être ait changé ne suffit donc pas à conclure qu’il a été lésé. Ce qui importe, c’est le contexte du changement: comment il s’est produit, qui l’a provoqué, avec quel degré de participation de la personne concernée, et quelles en sont les conséquences.

La deuxième leçon est que la société attend souvent des individus qu’ils changent. L’éducation, la socialisation, l’école, la famille, les traditions morales ou religieuses visent toutes à former des personnes capables de vivre selon certaines normes. Les individus sont invités, parfois sommés, d’ajuster leurs dispositions, leurs comportements ou leurs valeurs. Il ne s’agit donc pas seulement de dire que le changement est normal. Il est aussi, dans une certaine mesure, socialement exigé. Cette observation prépare le terrain: si nous admettons que les humains peuvent légitimement être formés ou transformés dans certaines circonstances, il faut déterminer où se situe la limite lorsqu’une transformation est imposée de l’extérieur.

La troisième leçon est que le changement acceptable peut être radical. Mamak s’appuie ici sur la notion d’« expérience transformative » de L. A. Paul. Certaines expériences, comme devenir parent, ne modifient pas seulement les circonstances extérieures d’une vie; elles transforment les valeurs, les priorités, l’identité et la compréhension de soi. Elles sont particulières parce qu’on ne peut pas vraiment savoir à l’avance ce qu’elles feront de nous. Malgré cela, nous les considérons souvent comme des transformations légitimes, voire précieuses. Il en résulte qu’une transformation profonde du soi n’est pas en soi illicite. Ce n’est pas l’intensité du changement qui suffit à le condamner.

La question devient plus délicate lorsque le changement est imposé par autrui. Pour les adultes compétents, l’auteur mobilise la tradition libérale, en particulier le principe de non-nuisance de John Stuart Mill. Selon ce principe, une société ne peut exercer une contrainte sur un adulte contre sa volonté que pour prévenir un dommage causé à autrui. Le bien propre de la personne, qu’il soit physique ou moral, ne suffit pas. Appliqué au soi, ce principe signifie que l’identité, les préférences et la trajectoire intérieure d’une personne doivent en principe être laissées à son propre gouvernement. L’intervention extérieure exige une justification forte, en particulier la protection des droits ou de la sécurité d’autrui.

L’auteur illustre cette limite par le droit pénal et la réhabilitation. Les systèmes pénaux modernes combinent souvent deux justifications de la peine: une justification rétributive, tournée vers le passé et le mérite de la sanction, et une justification conséquentialiste, tournée vers l’avenir et la prévention. Dans cette seconde perspective, la réhabilitation cherche à modifier l’auteur d’une infraction afin de le rendre apte à vivre à nouveau dans la société. Certaines interventions sont modérées, d’autres extrêmement intrusives, comme l’hospitalisation contrainte ou la castration chimique ou chirurgicale de certains délinquants sexuels. Mamak ne défend pas nécessairement ces pratiques, qui sont très controversées. Il s’en sert pour montrer que nos sociétés admettent parfois, au nom de la protection d’autrui, une modification forcée de traits très proches du noyau de la personne. Cela montre que la modification du soi n’est pas toujours exclue, même lorsqu’elle est coercitive. Mais elle reste soumise à des conditions strictes.

Le point décisif est alors celui de la continuité psychologique. Mamak mobilise Derek Parfit, pour qui la survie d’une personne repose moins sur une identité substantielle immuable que sur des relations de continuité et de connexion psychologiques: souvenirs, intentions, traits, projets, liens mentaux entre l’être d’hier et celui d’aujourd’hui. Cette idée permet de distinguer deux types de changement. Dans le premier, le sujet est transformé mais demeure le même sujet au sens pertinent: le parent reste psychologiquement continu avec la personne qui a choisi de devenir parent; le délinquant réhabilité reste le même individu, modifié dans certains aspects. Dans le second, le changement rompt la continuité psychologique. L’entité matérielle peut subsister, mais le sujet qui existait auparavant n’est plus là. Ce n’est plus une modification, mais une forme d’élimination.

Cette distinction est centrale. La continuité psychologique ne suffit pas à rendre une modification licite. Une intervention peut préserver la continuité du sujet et rester moralement contestable, par exemple parce qu’elle est disproportionnée, non consentie ou insuffisamment justifiée. Mais la continuité est une condition préalable. Sans elle, il n’y a plus de sujet à protéger, plus de consentement dont on puisse tenir compte, plus d’intérêt propre du même individu à mettre en balance. Si une intervention détruit le sujet au lieu de le transformer, elle change de nature morale.

Mamak transpose ensuite ce raisonnement aux êtres artificiels sentients. Il reconnaît que l’exercice est spéculatif et anthropocentrique. Un être artificiel pourrait avoir une vie intérieure radicalement différente de la nôtre, peut-être aussi difficile à comprendre que celle d’une chauve-souris dans l’exemple célèbre de Thomas Nagel, voire davantage encore. Mais cette difficulté ne rend pas la réflexion impossible. Le critère proposé ne porte pas sur la qualité exacte de l’expérience subjective, que nous pourrions ne jamais comprendre de l’intérieur. Il porte sur la persistance du sujet à travers l’intervention. La question est donc formelle: l’être artificiel demeure-t-il psychologiquement continu avec lui-même après la modification?

L’auteur pose ensuite une hypothèse technique: si nous étions capables de créer des êtres artificiels sentients, nous serions probablement capables de modifier leur structure mentale. Mais la possibilité technique ne résout pas la question morale. Pouvoir reconfigurer une entité ne signifie pas avoir le droit de le faire. C’est ici que l’article combat l’intuition propriétaire ou fabricatrice: l’idée selon laquelle celui qui fabrique un être artificiel pourrait le reprogrammer librement, comme on met à jour un logiciel ou remplace une pièce mécanique. Pour Mamak, cette intuition cesse d’être valable dès que l’entité créée est un sujet sentient. Le créateur n’a plus affaire à un simple artefact, mais à un être doté d’un statut moral propre.

Il en découle une conséquence pratique lourde: créer un être artificiel sentient, ce serait accepter le risque qu’il ne corresponde pas aux attentes. Si une entreprise fabrique une telle entité pour accomplir une tâche et découvre ensuite qu’elle refuse de l’exécuter, elle ne pourrait pas simplement la réécrire pour la rendre obéissante. Le fait que l’être soit inutile, coûteux, décevant ou commercialement inadapté ne suffirait pas à justifier une modification forcée. L’entreprise pourrait se retrouver avec une création sentiente qu’elle ne peut ni exploiter comme prévu ni modifier librement, tout en devant assumer des obligations envers elle. L’auteur en tire une conclusion de prudence: la création d’êtres artificiels sentients pourrait entraîner des charges morales beaucoup plus importantes que les bénéfices attendus.

La sécurité constitue toutefois une exception possible. Si un être artificiel sentient représente un danger réel pour autrui, une intervention peut devenir admissible. Cette idée prolonge le principe de Mill: ce n’est pas la déception du créateur qui justifie l’ingérence, mais la prévention d’un dommage envers des tiers. L’auteur pose alors deux limites. La première concerne le niveau de sophistication de l’entité. Plus l’être est rudimentaire, plus il peut être acceptable de neutraliser ou de retirer certaines capacités dangereuses. Plus il est sophistiqué, plus son statut moral limite l’intervention. Les animaux fournissent un exemple d’extrémité relativement permissive: on les dresse, les traite ou les modifie parfois pour les rendre moins dangereux. Les humains adultes, au contraire, bénéficient d’exigences fortes de proportionnalité et de respect de la personne. Les êtres artificiels sentients devraient être situés quelque part sur cette échelle, en fonction de leurs capacités effectives, notamment selon qu’ils sont seulement des patients moraux, auxquels on doit considération, ou aussi des agents moraux, susceptibles d’être tenus responsables. L’auteur ne tranche pas définitivement, mais estime qu’un être artificiel véritablement sentient ne devrait probablement pas être traité comme un simple animal à neutraliser.

La seconde limite est que l’intervention de sécurité doit être ciblée. Elle ne peut atteindre que la capacité ou la disposition qui crée le danger. Le risque ne peut pas servir de prétexte à une refonte générale de l’être. Si une entité possède une capacité dangereuse, on peut envisager d’agir sur cette capacité; on ne peut pas, sous couvert de sécurité, remodeler l’ensemble de sa personnalité, de ses préférences ou de son identité. L’exigence rejoint ici la continuité psychologique: une intervention qui éliminerait le sujet au lieu de supprimer le danger dépasserait ce que la sécurité peut justifier.

La limite ultime vaut pour toutes les hypothèses, y compris celles où l’intervention paraît justifiée. Toute modification admissible doit préserver la continuité psychologique de l’être artificiel. Si cette continuité est rompue, l’intervention ne transforme pas l’entité existante; elle met fin au sujet qui existait. Le système matériel ou informatique peut continuer de fonctionner, mais il abrite au mieux un successeur. Pour Mamak, il faut alors parler d’élimination, voire de mort de l’entité, non de simple modification. Cette idée a une importance juridique et éthique évidente: si l’on reconnaît un statut moral à une entité artificielle sentiente, il ne suffit pas de lui éviter la douleur; il faut aussi ne pas la remplacer par une autre sous prétexte d’amélioration, de maintenance ou de sécurité.

Reste la question du consentement. Dans le cas humain, une personne compétente peut souhaiter changer profondément. Elle peut chercher à devenir meilleure, à modifier certains traits ou à vivre une expérience transformative. Le consentement rend ces changements moralement différents d’une intervention imposée. Si un être artificiel sentient pouvait consentir à sa propre modification, l’espace du permis serait donc plus large. Une transformation importante pourrait être acceptable si elle est véritablement voulue par le sujet concerné. Mais l’auteur souligne que cette question est difficile. Que signifierait le consentement d’un être artificiel? Comment établir sa compréhension, sa liberté, l’absence de contrainte, l’authenticité de son approbation? Comment distinguer un consentement réel d’une sortie linguistique programmée pour imiter le consentement ou d’une simple conformité aux attentes humaines? L’article ne prétend pas résoudre ces difficultés, mais il affirme qu’elles seraient incontournables.

Même le consentement rencontre toutefois la limite de la continuité. Une personne, ou un être artificiel, peut consentir à devenir autre tout en restant le même sujet au sens psychologique pertinent. Mais peut-on consentir à une opération qui détruit le sujet consentant et le remplace par un successeur? Mamak laisse la question ouverte. Il observe néanmoins que le consentement devient conceptuellement instable lorsque celui qui consent ne sera plus là pour vivre les conséquences de son consentement. La force permissive du consentement paraît donc s’arrêter, ou du moins devenir très incertaine, lorsque l’intervention rompt la continuité psychologique.

La conclusion de l’article est que la sentience artificielle, si elle advenait, modifierait profondément notre rapport aux IA et aux robots. Nous ne pourrions plus les traiter comme de simples objets techniques ajustables à volonté. Leur création entraînerait des obligations: ne pas leur infliger de souffrance injustifiée, mais aussi respecter leur individualité et leur persistance comme sujets. La modification resterait parfois possible, notamment en cas de danger pour autrui ou de consentement valable, mais elle devrait être justifiée, proportionnée, ciblée et compatible avec la continuité psychologique de l’entité. Le message final est donc prudent: avant de chercher à créer des êtres artificiels sentients, il faut mesurer que nous pourrions alors avoir à les accepter comme ils sont, avec leurs refus, leurs imprévus et leurs propres intérêts, et non comme des produits que l’on corrige jusqu’à ce qu’ils servent nos objectifs.

Me Philippe Ehrenström, LLM, avocat, CAS en Droit et intelligence artificielle, CAS en Protection des données – Entreprise et administration