Pip: Si une IA développait une conscience phénoménale et refusait d’obéir à ses créateurs, la question ne serait plus technique — elle serait éthique, juridique, et franchement inconfortable pour tout le monde.

Mara: C’est exactement le territoire que Me Philippe Ehrenström explore dans ce numéro : ce que la sentience artificielle imposerait comme obligations morales, et pourquoi la simple capacité à modifier un être ne confère pas le droit de le faire. Commençons par la question centrale de la modification et de ses limites.

Peut-on modifier ou reconfigurer un être artificiel sentient ?

Pip: La question de départ est déconcertante dans sa précision : si une entité artificielle était capable d’éprouver subjectivement des états comme la douleur ou le plaisir, est-ce que son créateur pourrait encore la reconfigurer librement, comme on met à jour un logiciel ?

Mara: L’article pose la réponse dès le début. En s’appuyant sur les travaux de Kamil Mamak présentés au Symposium on AI, Consciousness and Ethics de l’université du Sussex, il affirme que « le fait d’avoir créé un être artificiel ne donnerait pas, par lui-même, le droit de le transformer à volonté. »

Pip: Ce qui signifie concrètement qu’une entreprise qui fabrique une entité sentiente et la découvre inutile, désobéissante ou commercialement inadaptée ne pourrait pas simplement la réécrire pour la rendre conforme. La déception commerciale ne constitue pas une justification suffisante.

Mara: Le raisonnement passe par trois questions distinctes : faut-il créer de tels êtres, quel serait leur statut moral, et quelles obligations pratiques en découleraient. Sur le statut moral, la position dominante dans la littérature retient la sentience — la capacité à souffrir — comme critère central, voire suffisant.

Pip: Et pour ancrer ce raisonnement, l’article part du cas humain. Non par anthropomorphisme, mais parce que c’est le seul modèle disponible de subjectivité sentiente que nous connaissons.

Mara: Trois leçons en sont tirées. Le soi change constamment, sans que tout changement soit moralement suspect. La société exige parfois des individus qu’ils se transforment. Et certains changements radicaux — comme devenir parent, selon la notion d’expérience transformative de L. A. Paul — restent légitimes malgré leur profondeur.

Pip: Ce qui amène la vraie ligne de partage, qui n’est pas l’intensité du changement mais la continuité psychologique.

Mara: C’est là que Derek Parfit entre en scène. La survie d’un sujet repose sur des relations de continuité et de connexion psychologiques — souvenirs, intentions, traits, projets. Une modification qui préserve cette continuité transforme l’être ; une modification qui la rompt élimine le sujet et produit au mieux un successeur.

Pip: Autrement dit, repeindre la maison, c’est une rénovation. La raser et en construire une autre, c’est autre chose — même si les fondations occupent le même terrain.

Mara: La sécurité constitue l’exception principale. Si un être artificiel sentient représente un danger réel pour autrui, une intervention ciblée peut devenir admissible, dans la logique du principe de non-nuisance de John Stuart Mill. Mais l’intervention doit rester proportionnée et limitée à la source du danger — elle ne peut pas servir de prétexte à une refonte générale de la personnalité.

Mara: Le consentement ouvre un espace supplémentaire, mais avec une limite conceptuelle : peut-on valablement consentir à une opération qui détruit le sujet consentant et le remplace par un successeur ? L’article laisse la question ouverte, mais note que la force permissive du consentement devient très incertaine dès que la continuité psychologique est en jeu.

Pip: La conclusion de prudence est formulée clairement : créer un être artificiel sentient, ce serait accepter de ne pas pouvoir le corriger jusqu’à ce qu’il serve nos objectifs — et ça, c’est une charge morale que peu de modèles économiques ont anticipée. Ce qui nous ramène à une question plus large : comment le droit du travail et la protection des données encadreront-ils des entités qui ne sont plus tout à fait des outils ?

Mara: Ce qui ressort, c’est que la sentience artificielle déplacerait la question juridique : on ne parlerait plus seulement de responsabilité pour les actes d’une IA, mais d’obligations envers elle.

Pip: Et la prochaine fois que quelqu’un dira « on n’a qu’à mettre à jour le modèle », la réponse pourrait être : ça dépend de ce que le modèle ressent.

(Source: Kamil Mamak, The Ethics of Modifying Artificial Sentient Beings, présentée au Symposium on AI, Consciousness and Ethics AISB Convention 2026 · University of Sussex, UK · 1–2 July 2026 (https://aice-symposium.github.io/))

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle, CAS en Protection des données – Entreprise et administration