Pip: Vous pensez être difficile à trouver sur Internet ? Bonne nouvelle : vous avez peut-être tort, et Me Philippe Ehrenström a consacré un article entier à vous expliquer pourquoi c’est un problème juridique sérieux.
Mara: Aujourd’hui on explore un concept qui remet en question notre rapport à la visibilité numérique : le droit à l’obscurité. On va voir ce que ça signifie concrètement, pourquoi les victimes de harcèlement en ont besoin, et comment le droit devrait répondre. Commençons par la question centrale.
Vers un droit à l’obscurité ?
Pip: La question posée ici est fondamentale : et si le droit protégeait non pas le secret absolu, mais simplement le fait d’être difficile à trouver ? C’est la thèse que défendent les juristes américains Woodrow Hartzog et Evan Selinger dans un article de la California Law Review, et elle mérite qu’on s’y arrête.
Mara: Le texte définit précisément ce qu’on entend par obscurité : « l’état dans lequel une information personnelle existe peut-être quelque part, mais reste difficile à trouver, à agréger ou à interpréter. »
Pip: Autrement dit, ce n’est pas l’invisibilité totale qu’on réclame — c’est juste que retrouver quelqu’un demande un effort. Or aujourd’hui, cet effort a quasiment disparu.
Mara: C’est exactement le constat de départ. Autrefois, suivre les déplacements d’une personne ou reconstituer son passé exigeait du temps. Aujourd’hui, des bases de données commerciales, des mandats géolocalisés et des outils algorithmiques rendent cette opération rapide, peu coûteuse, parfois automatisée.
Pip: L’article s’appuie sur un cas concret, celui d’une femme désignée sous le pseudonyme d’Ella, victime de harcèlement par un ancien partenaire. Elle a eu recours à la police, aux tribunaux, a quitté Internet, changé de nom, déménagé, changé de carrière — et son harceleur l’a quand même retrouvée.
Mara: Parce que des courtiers en données vendaient des dossiers contenant ses adresses, lieux de travail et habitudes de déplacement. La conclusion juridique est nette : le droit laisse des entreprises monétiser des informations qui peuvent mettre en danger des personnes vulnérables.
Pip: Et le modèle actuel aggrave les choses. On demande aux victimes de repérer elles-mêmes les courtiers en données, de demander la suppression, de vérifier, de recommencer. C’est un épuisement ajouté au préjudice principal.
Mara: Hartzog et Selinger approuvent la proposition de leurs collègues Sharma, Kadri et Adler : une seule demande centralisée suffirait à déclencher une obligation continue de suppression à la charge des courtiers, pas des victimes.
Pip: Il y a aussi la question de la reconnaissance faciale, traitée différemment — non pas par une régulation ciblée, mais par une interdiction pure et simple, parce qu’elle transforme tout espace public en espace lisible et traçable.
Mara: Les auteurs distinguent trois critères pour guider le droit : le pouvoir — qui contrôle la visibilité d’autrui —, la dignité — notamment la capacité concrète de vivre librement —, et la réallocation de la responsabilité vers ceux qui disposent des moyens de surveillance, pas vers les individus isolés.
Pip: Ce qui est peut-être le point le plus important : l’obscurité ne doit plus dépendre du hasard ou de l’inefficacité technique. Elle doit devenir une condition juridiquement protégée.
Mara: Et ça touche directement à la question de ce qu’on autorise les technologies à faire à grande échelle — une question qui dépasse largement le droit américain.
Pip: Ce qui reste, c’est une idée simple mais exigeante : être difficile à trouver est une condition de la liberté, pas un privilège technique.
Mara: Et tant que le droit ne prend pas en charge cette protection, c’est aux individus les plus vulnérables d’en payer le coût. La prochaine fois, on verra quelles autres dimensions du droit numérique sont en train de bouger.
L’article de Woodrow Hartzog et Evan Selinger défend l’idée qu’il faut reconnaître, en droit américain, un véritable droit à l’obscurité. Par « obscurité », les auteurs ne visent pas le secret absolu, mais une protection pratique : l’état dans lequel une information personnelle existe peut-être quelque part, mais reste difficile à trouver, à agréger ou à interpréter. Cette forme de vie privée est ordinaire. Elle permet de circuler, de parler, de manifester, de nouer des relations et de se construire sans avoir le sentiment que chaque trace pourra être retrouvée, croisée et utilisée contre soi.
Leur point de départ est que le droit américain de la vie privée a surtout protégé deux choses: les espaces retirés et les confidences. Il a en revanche négligé cette protection plus diffuse qu’est l’obscurité. Or les technologies numériques l’ont fortement réduite. Autrefois, suivre les déplacements d’une personne, retrouver son adresse, agréger son passé professionnel, ses inscriptions électorales et ses lieux de vie exigeait du temps et des efforts. Aujourd’hui, des applications, des mandats géolocalisés, des bases de données commerciales, des moteurs de recherche et l’IA rendent cette opération rapide, peu coûteuse et parfois automatisée. Pour les auteurs, cette perte n’est pas seulement une gêne. Elle atteint la dignité, l’autonomie et les conditions mêmes d’une vie libre.
L’article répond à une étude de Chinmayi Sharma, Thomas Kadri et Sam Adler, intitulée Brokering Safety, qui traite des courtiers en données et des violences facilitées par leurs services. L’exemple central est celui d’« Ella », pseudonyme d’une femme victime de harcèlement par un ancien partenaire. Malgré son recours à la police et aux tribunaux, elle n’a pas été suffisamment protégée. Elle a dû quitter Internet, changer de nom, déménager et changer de carrière. Pourtant, son harceleur a encore pu la retrouver, parce que des courtiers en données vendent des dossiers contenant des informations comme les adresses, lieux de travail et habitudes de déplacement. Le problème juridique est donc clair: le droit laisse des entreprises monétiser des informations qui peuvent mettre en danger des personnes vulnérables.
Les auteurs reprennent l’analyse de Sharma, Kadri et Adler: il est injuste de faire peser la charge de protection sur les victimes. Le modèle actuel de la « gestion individuelle » de la vie privée suppose que chacun doit repérer les courtiers en données, demander la suppression des informations, vérifier que la demande a été exécutée, puis recommencer lorsque les données réapparaissent ailleurs. Ce système est lourd, incertain et sans fin. Il ajoute un préjudice secondaire au préjudice principal. Les victimes subissent non seulement la peur, l’isolement, la perte d’opportunités professionnelles et la retraumatisation, mais aussi l’épuisement de devoir se battre contre un système dispersé et récalcitrant.
Sharma, Kadri et Adler proposent donc un mécanisme centralisé: une personne vulnérable devrait pouvoir invoquer son droit à l’obscurité par une seule demande, puis les courtiers en données devraient avoir l’obligation continue de rechercher et supprimer les informations pertinentes dans leurs bases. Hartzog et Selinger approuvent cette proposition. Ils y voient une application concrète du droit à l’obscurité. Elle ne supprime pas nécessairement toute l’industrie des courtiers en données, mais impose des limites ciblées à la commercialisation des informations personnelles, notamment lorsque cette commercialisation crée un risque prévisible de violence.
Les auteurs comparent ensuite cette approche ciblée avec leur propre position antérieure sur la reconnaissance faciale. Pour eux, la reconnaissance faciale doit être interdite purement et simplement. Ils la considèrent comme une technologie d’une dangerosité particulière, parce qu’elle peut rendre toute présence dans l’espace public identifiable et traçable. Elle transforme la foule, qui permettait autrefois de se perdre et de rester relativement anonyme, en espace lisible par les États et les entreprises. Les auteurs refusent même les exceptions fondées sur la sécurité publique, car ils craignent qu’une exception devienne progressivement la règle. Selon eux, l’acceptation d’usages prétendument limités ou commodes, comme déverrouiller un téléphone, embarquer plus vite dans un avion ou entrer dans un concert, prépare l’acceptation d’usages beaucoup plus intrusifs.
Il pourrait donc sembler qu’il y ait une tension entre deux méthodes: d’un côté, des interdictions absolues; de l’autre, des régulations proportionnées et ciblées. Les auteurs soutiennent au contraire que ces deux méthodes sont complémentaires. Le droit à l’obscurité ne doit pas être conçu comme un seul droit général et abstrait, applicable mécaniquement à toutes les situations. Il doit être protégé par un ensemble de règles. Certaines pratiques appellent des interdictions nettes, parce qu’elles menacent l’obscurité à grande échelle et deviennent rapidement irréversibles. D’autres appellent des mécanismes plus précis, comme le système centralisé de suppression des données pour les victimes de harcèlement.
L’article insiste ensuite sur une distinction importante entre les petites atteintes à la vie privée et les grandes atteintes. Les auteurs parlent de « privacy nicks », de petites entailles, et de « privacy chops », de coups beaucoup plus graves. Le droit tend à ne sanctionner que les atteintes massives et visibles. Il ignore souvent les petites pertes d’obscurité, parce qu’elles semblent isolément minimes. Mais ces petites pertes s’accumulent, se normalisent et rendent possible une surveillance généralisée. Ce qui paraît anodin pour une personne peut être destructeur pour une autre. Le fait que son adresse soit facile à trouver peut sembler banal pour beaucoup; pour une victime de violences, cela peut ruiner toute possibilité de reconstruire sa vie.
Les auteurs fondent ensuite le droit à l’obscurité sur la dignité humaine et l’autonomie. L’obscurité protège la dignité parce qu’elle empêche que l’individu soit constamment traité comme un objet de surveillance, de suspicion ou d’exploitation. Elle évite aussi l’exposition non consentie d’éléments intimes ou quasi intimes. Elle protège enfin l’autonomie, car plus autrui dispose d’informations sur nous, plus il peut influencer nos choix, nous contraindre ou nous utiliser comme un moyen. Les auteurs reconnaissent que l’obscurité peut parfois servir à cacher des conduites répréhensibles. Mais cela ne suffit pas à l’écarter: il est difficile d’imaginer une vie digne sans un minimum d’obscurité.
Ils ne proposent pas d’inscrire un droit constitutionnel unique à l’obscurité dans le droit américain. Cette voie leur paraît peu réaliste. Même la vie privée, otion plus connue, n’a pas été consacrée de façon simple et uniforme par la Constitution fédérale. Les protections américaines sont fragmentées: Premier, Quatrième et Cinquième Amendements, responsabilité civile, droit administratif, lois fédérales et lois des États. Les auteurs proposent donc une protection pluraliste. Ils empruntent au droit international des droits humains l’idée que l’État doit respecter, protéger et réaliser les droits. Respecter l’obscurité signifie que l’État ne doit pas y porter atteinte de manière déraisonnable. La protéger signifie qu’il doit empêcher les tiers, notamment les entreprises, de la réduire abusivement. La réaliser signifie qu’il doit prendre des mesures positives, par exemple créer des infrastructures de suppression, de recours ou de contrôle.
La dernière partie de l’article identifie trois critères devant guider les législateurs et les juges: le pouvoir, la dignité et la réallocation de la responsabilité.
Le premier critère est le pouvoir. L’obscurité, comme la vie privée, concerne la distribution du pouvoir. Celui qui peut rendre une personne visible, traçable ou compréhensible exerce un pouvoir sur elle. Les plateformes, les courtiers en données et les gouvernements combinent plusieurs formes de pouvoir: technique, économique, informationnel et parfois coercitif. Le droit doit donc se demander qui détient ce pouvoir et comment il modifie la possibilité de découvrir et d’exploiter les informations personnelles.
Le deuxième critère est la dignité. Les auteurs s’appuient sur une distinction philosophique entre la dignité de statut et la dignité d’accomplissement. La première appartient à toute personne en tant qu’être humain. Elle ne se perd pas. La seconde dépend de conditions concrètes permettant de vivre effectivement comme un être libre: circuler, parler, nouer des relations, participer à la vie politique, choisir son mode de vie. Une personne comme Ella conserve évidemment sa dignité de statut, mais elle perd une part de sa dignité d’accomplissement lorsque le harcèlement et la traçabilité l’empêchent de vivre normalement. L’obscurité devient ainsi une condition matérielle de la dignité vécue.
Le troisième critère est la réallocation de la responsabilité. Les auteurs refusent que les individus portent seuls la charge de se protéger contre des systèmes techniques et commerciaux puissants. Les entreprises et les États ont des incitations fortes à collecter, agréger et exploiter les données. Il est donc irréaliste de demander aux particuliers de lutter seuls contre cette dynamique. Le droit doit transférer la charge vers ceux qui disposent des moyens de surveillance et de correction. Cela peut passer par des interdictions claires, des tests de nécessité et de proportionnalité, des limites strictes à la conservation et à la recombinaison des données, des obligations de prévention des dommages prévisibles et des mécanismes publics de recours.
Les auteurs insistent aussi sur le danger de la normalisation. Une technologie d’abord présentée comme pratique ou limitée peut devenir une infrastructure ordinaire. Une fois cette étape franchie, les entreprises et les gouvernements soutiennent que les citoyens ne peuvent plus raisonnablement attendre autre chose. Le droit ne doit donc pas fonder la protection de la vie privée sur les attentes sociales du moment, car ces attentes peuvent être façonnées par ceux qui profitent de la surveillance. Il doit adopter une perspective préventive: la bonne question n’est pas de savoir si les personnes s’attendent déjà à être visibles, mais si cette visibilité menace leurs capacités essentielles.
Enfin, l’article souligne l’importance de l’échelle. Une atteinte isolée peut déjà être grave, mais l’identification et la recherche instantanée à grande échelle changent la nature du préjudice. La reconnaissance faciale, les bases d’adresses massives ou les outils algorithmiques de profilage ne se contentent pas d’ajouter quelques informations. Ils transforment des vulnérabilités privées en risques systémiques. Le droit devrait donc imposer des présomptions plus strictes lorsque des technologies permettent l’identification, le suivi ou le ciblage à grande échelle. Les sanctions devraient tenir compte de l’impact systémique, et non seulement du nombre d’enregistrements ou d’infractions isolées.
Le droit à l’obscurité doit devenir un principe organisateur de la réforme de la surveillance. Il ne s’agit pas de protéger un confort nostalgique, mais les conditions concrètes d’une vie libre et digne. Les propositions de Sharma, Kadri et Adler sur les courtiers en données doivent être adoptées rapidement pour protéger les victimes de violences et de harcèlement. Mais cette réforme ne suffit pas. Certaines technologies, comme la reconnaissance faciale omniprésente, exigent des interdictions de principe. D’autres pratiques exigent des obligations ciblées, continues et proportionnées. L’essentiel est de déplacer la charge: l’obscurité ne doit plus dépendre du hasard, de l’inefficacité technique ou de la vigilance épuisante des individus. Elle doit devenir une condition juridiquement protégée de l’autonomie, de la dignité et de la participation démocratique.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle, CAS en Protection des données – Entreprise et administration
A., directrice du Cercle scolaire B. depuis 2017, dans le canton de Neuchâtel, connaît dès 2022 plusieurs incapacités de travail et revient dans un climat institutionnel dégradé. Après un rapport externe, le Conseil communal ouvre en février 2025 une procédure de renvoi, en invoquant des tensions avec les services communaux, une rupture de collaboration et une perte de confiance. Le Département de la formation, des finances et de la digitalisation (DFFI) refuse d’abord la suspension provisoire. La directrice reprend donc son activité à 50 % le 10 juin 2025. Une séance de reprise a lieu le même jour avec prise d’un procès-verbal. Le document est signé par tous les participants, sauf par la directrice, qui n’a pas été invitée à le contrôler ni à le signer. Le DFFI s’y réfère pour retenir que la séance a révélé de fortes divergences, une défiance envers l’autorité communale et l’impossibilité d’une collaboration sereine. La directrice soutient que ce procès-verbal est unilatéral, vicié et sans valeur probante. Par décision du 18 juillet 2025, le DFFI a prononcé le renvoi de l’intéressée de sa fonction de directrice avec effet au 31 octobre 2025. Le contentieux subséquent examine notamment la question de la force probante du procès-verbal.
La Cour rappelle que la procédure administrative est régie par le principe inquisitoire : l’autorité doit établir d’office les faits pertinents et statuer sur des éléments suffisamment vérifiés (art. 40 de la loi sur la procédure administrative du 18 mars 2025 (LPA ; RSN 152.130). La question n’est donc pas de savoir si un procès-verbal non signé par l’employée est automatiquement inexploitable, mais s’il présente une fiabilité suffisante.
La Cour répond par l’affirmative. Il est regrettable que le procès-verbal du 10 juin 2025 n’ait pas été soumis à la directrice pour contrôle et signature. Cette irrégularité ne lui retire toutefois pas toute valeur probante. Un procès-verbal n’a pas à reproduire mot à mot les échanges ; il doit surtout refléter leur contenu, leur esprit et les positions exprimées. Le document avait été validé et signé par les autres participants. Il fallait donc rechercher si d’autres indices confirmaient sa teneur.
Deux éléments sont décisifs. D’abord, la directrice n’a pas réagi immédiatement après réception du procès-verbal, alors qu’elle était assistée d’un mandataire et que la séance s’inscrivait dans une procédure de renvoi. Elle n’a pas demandé de corrections, ni indiqué quels propos auraient été omis, déformés ou faussement attribués. Sa première contestation est restée générale : elle reprochait au procès-verbal de donner une image sèche et contestataire de ses propos, sans en discuter le contenu. La substance des échanges n’a donc pas été contestée concrètement.
Ensuite, un témoin confirme en l’exactitude matérielle du procès-verbal. Il critique la rédaction et la syntaxe, mais affirme que le fond est exact et que le document reflète l’esprit des échanges. Il confirme les points retenus par le DFFI : tension latente entre la directrice et la cheffe de dicastère, divergences sur la séparation des tâches pédagogiques et administratives, réticence face aux changements organisationnels et difficulté, voire refus, de collaborer avec le responsable RH.
La Cour retient ainsi que l’absence de signature par l’employée n’empêche pas l’utilisation du procès-verbal lorsque sa teneur est corroborée par ailleurs, ici l’absence de contestation rapide et circonstanciée et le témoignage d’un participant. Sur le fond, le document permettait de constater une défiance envers la supérieure hiérarchique et une incapacité à entrer dans une reprise apaisée. Ajouté à un autre épisode, il révélait une divergence institutionnelle profonde et un rejet de l’autorité communale. Vu la fonction dirigeante de l’intéressée, la crise de l’école et le large pouvoir d’appréciation de l’autorité, le renvoi apparaît soutenable et proportionné. Le recours est rejeté.
(Arrêt CDP.2025.330 du 25 mars 2026 de la Cour de droit public du Tribunal cantonal (NE))
L’article de Matthew Tokson, Artificial Intelligence and the Lessons of History, part d’un constat: l’histoire des technologies est souvent utilisée de manière trop sélective dans les débats sur l’IA. Les optimistes rappellent que la presse, la révolution industrielle ou d’autres innovations ont d’abord suscité des craintes avant de produire des effets globalement bénéfiques. Les sceptiques, eux, invoquent l’histoire inverse: de nombreuses inventions très médiatisées n’ont finalement presque rien changé.
Tokson refuse ces deux lectures. Pour lui, l’histoire ne démontre ni que l’IA sera nécessairement bénéfique, ni qu’elle sera banale. Elle montre surtout que les élites, les experts et les gouvernements se trompent souvent sur les technologies nouvelles, tantôt par excès d’optimisme, tantôt par excès de scepticisme.
La première étape du raisonnement concerne les erreurs de prévision technologique. Tokson prend d’abord l’exemple de la fission nucléaire. Avant sa découverte, beaucoup de scientifiques de tout premier rang estimaient qu’une exploitation contrôlée de l’énergie atomique relevait de la spéculation ou de la science-fiction. Einstein lui-même avait jugé très improbable que l’homme puisse un jour tirer une énergie utile du noyau atomique. Niels Bohr exprimait également de fortes réserves, et Oppenheimer, lorsqu’on lui annonça en 1939 les résultats obtenus par Hahn et Strassmann, aurait d’abord tenté de démontrer au tableau que la fission était impossible. Le lendemain, confronté à l’expérience, il comprit immédiatement que cette découverte pouvait conduire à des réacteurs et à des bombes. L’intérêt de l’exemple n’est pas de ridiculiser ces savants. Il est de montrer que des experts peuvent connaître parfaitement l’état d’une science et manquer pourtant ce qui n’existe pas encore. Ils raisonnent à partir des paradigmes disponibles, alors que les ruptures naissent souvent de recherches parallèles, d’essais imprévus et de découvertes que personne n’avait correctement anticipées.
Tokson transpose cette leçon à l’IA. Une partie du scepticisme contemporain repose sur l’idée implicite que les modèles actuels vont seulement progresser de manière graduelle, sans rupture comparable à celle qu’a constituée l’architecture « transformer » pour les grands modèles de langage. Or l’histoire de la fission enseigne précisément qu’une telle hypothèse est fragile. Les systèmes d’IA de demain ne seront probablement pas seulement des versions plus puissantes de ceux d’aujourd’hui; ils pourraient aussi être différents dans leur architecture, leurs capacités et leurs usages. Il n’est donc pas raisonnable de fonder une politique publique sur l’idée que les limites actuelles de l’IA seront nécessairement les limites futures de l’IA.
Le deuxième exemple est celui d’Internet. À la fin des années 1980 et au début des années 1990, les éléments essentiels du Web moderne apparaissent rapidement: HTML, le World Wide Web, les premiers grands services en ligne, puis les moteurs de recherche. Pourtant, jusqu’à une période avancée, des économistes, dirigeants d’entreprise et commentateurs doutent fortement de l’importance économique et sociale d’Internet. Paul Krugman prédit en 1998 que son impact sur l’économie ne dépassera pas celui du fax. D’autres annoncent l’effondrement ou la saturation du réseau. Ces prédictions n’étaient pas absurdes au moment où elles ont été formulées: beaucoup de technologies prometteuses échouent. Mais elles illustrent la difficulté de savoir, pendant les premières années d’une technologie, si elle restera marginale ou transformera l’ensemble de la société.
L’exemple d’Internet sert aussi à critiquer l’optimisme social. Dans les années 1990 et 2000, une opinion dominante veut qu’Internet favorise naturellement la démocratie, l’expression libre, la décentralisation du pouvoir et l’affaiblissement des régimes autoritaires. Bill Clinton affirme ainsi que la Chine aura du mal à contrôler Internet. Cette vision s’est révélée très partielle. Les régimes autoritaires ont appris à utiliser le réseau pour surveiller, censurer, identifier les opposants et contrôler l’espace public. Même dans les démocraties, Internet a permis une surveillance de masse moins coûteuse et une dégradation de l’environnement informationnel. La leçon est importante pour l’IA: une technologie peut être réellement puissante et produire des effets sociaux très différents de ceux que ses promoteurs annonçaient. L’erreur ne vient pas seulement des Cassandre; elle vient aussi des prophètes du progrès automatique.
La deuxième grande partie de l’article porte sur le scepticisme face aux risques catastrophiques. Tokson reconnaît que beaucoup d’alertes ne se réalisent pas. Certaines pandémies annoncées restent limitées; certaines prévisions de tornades ou d’ouragans sont de fausses alertes; certaines craintes, comme l’explosion démographique mondiale telle qu’elle était formulée à la fin des années 1960, ne se concrétisent pas comme prévu. Mais il en tire une conclusion inverse de celle des sceptiques: le fait que beaucoup d’alertes soient excessives ne prouve pas que toutes les alertes le sont. Au contraire, l’habitude de minimiser les alertes peut aggraver les catastrophes lorsque le risque finit par se réaliser.
La troisième grande partie de l’article examine les courses aux armements entre grandes puissances. Tokson vise ici un argument très présent dans le débat américain: l’idée que les États-Unis seraient engagés dans une course à l’IA contre la Chine, course qui justifierait une dérégulation presque complète au nom de la vitesse, de l’innovation et de la supériorité militaire. Pour tester cet argument, l’auteur revient à la course nucléaire de la guerre froide. Les États-Unis ont bien gagné la première étape en développant la bombe atomique puis la bombe thermonucléaire. Mais cet avantage a été très bref. L’Union soviétique a rapidement rattrapé son retard, notamment grâce à l’espionnage, à la rétro-ingénierie et à ses propres scientifiques. Le résultat n’a pas été une domination américaine durable, mais une accumulation massive d’armes capables de détruire l’humanité.
Tokson décrit ensuite la logique de la bombe H. Après l’essai nucléaire soviétique de 1949, les États-Unis débattent de l’opportunité de développer une arme thermonucléaire beaucoup plus puissante. Le comité consultatif présidé par Oppenheimer recommande de ne pas poursuivre cette voie. Mais l’administration Truman choisit finalement le développement. Le premier essai américain a lieu en 1952 et produit une puissance environ mille fois supérieure à celle d’Hiroshima. Moins d’un an plus tard, l’Union soviétique teste à son tour une bombe à fusion. La supériorité américaine a donc existé, mais elle a été trop courte pour offrir un avantage stratégique solide. En revanche, la course elle-même a créé une menace permanente.
L’auteur insiste ensuite sur les « presque catastrophes » nucléaires. La crise des missiles de Cuba est l’exemple le plus connu: plusieurs conseillers de Kennedy préconisent une attaque militaire, qui aurait probablement provoqué une guerre nucléaire; Kennedy choisit finalement la négociation. En 1983, Stanislav Petrov, officier soviétique, reçoit une alerte informatique indiquant le lancement de missiles intercontinentaux américains. Au lieu de transmettre l’alerte comme une attaque réelle, il conclut à une erreur du système. Son jugement personnel évite probablement une riposte nucléaire. D’autres incidents similaires montrent que le monde a parfois été sauvé par la chance, la prudence individuelle ou la possibilité humaine de contredire une machine.
C’est ici que le parallèle avec l’IA devient le plus préoccupant. Une technologie militaire fondée sur l’IA serait numérique, donc plus facilement copiée, diffusée, volée ou reproduite qu’une infrastructure industrielle classique. Même si les États-Unis obtenaient une avance temporaire, la Chine ou d’autres puissances pourraient probablement la réduire rapidement. En revanche, la course pousserait chaque camp à accélérer, à intégrer l’IA dans des systèmes militaires sensibles et à déléguer davantage de décisions aux machines. Tokson souligne que cette dynamique pourrait être particulièrement dangereuse si l’IA venait à interagir avec les systèmes nucléaires ou les chaînes de commandement militaire. Dans la guerre froide, certaines catastrophes ont été évitées parce que des humains pouvaient désobéir aux signaux informatiques. Une course à l’autonomie militaire pourrait précisément réduire cette marge humaine.
La conclusion générale de l’article est donc une leçon de prudence, mais non une invitation à l’immobilisme. Tokson ne prétend pas que l’IA conduira nécessairement à une catastrophe, ni que toute innovation doit être freinée. Il dit plutôt que l’histoire ne donne aucun fondement sérieux à la complaisance. Les technologies nouvelles peuvent dépasser les attentes, produire des dommages sociaux, causer des dégâts environnementaux majeurs ou créer des risques existentiels. Les experts peuvent se tromper, y compris les meilleurs; les gouvernements peuvent agir trop tard; les marchés peuvent amplifier les risques; les courses stratégiques peuvent produire beaucoup plus de dangers que d’avantages durables. Pour les juristes et les régulateurs, l’enseignement principal est que l’incertitude ne doit pas servir de prétexte à l’inaction. Elle devrait au contraire justifier une régulation systémique, évolutive, informée par plusieurs disciplines, capable de traiter les dommages immédiats de l’IA comme la discrimination, la fraude, la surveillance ou les deepfakes, mais aussi les risques plus difficiles à prévoir liés aux capacités futures. L’histoire ne dit pas exactement ce que l’IA deviendra; elle dit seulement qu’il serait imprudent de supposer qu’elle restera maîtrisable sans effort collectif sérieux.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit t intelligence artificielle, CAS en Protection des données – Entreprise et administration
Pip: Un robot en forme de chien qui ne mord pas, ne fait pas ses besoins sur le tapis et obéit toujours — ça semble parfait, jusqu’à ce qu’on se demande ce que ça fait à notre rapport aux animaux réels.
Mara: C’est exactement la question que pose Me Philippe Ehrenström dans ce numéro, à travers l’éthique des robots animaliers. Commençons par là.
Ethique des robots à forme animale : ce que la machine fait à l’animal
Pip: La question centrale ici n’est pas de savoir si un robot souffre, ni s’il mérite une protection morale. C’est une question plus discrète et plus insidieuse : est-ce que le fait de fabriquer des machines qui ressemblent à des animaux modifie la façon dont les humains perçoivent et traitent les animaux vivants ?
Mara: L’article de Mamak, Takeshita et Shimizu pose le problème ainsi : « donner à un robot une forme animale n’est pas un choix neutre. » C’est l’influence indirecte sur les attitudes et les relations homme-animal qui est au cœur de leur analyse.
Pip: Ce qui signifie concrètement que le problème ne vient pas du robot lui-même, mais des habitudes qu’il installe. Un enfant qui manipule un chien robot sans jamais rencontrer de résistance peut transposer ces gestes à un chien vivant, ignorer ses signaux de stress, oublier qu’il a des besoins propres.
Mara: Les auteurs identifient cinq risques distincts. Le premier est précisément cet apprentissage de mauvais comportements. Le deuxième est l’objectification : un robot-chien qui obéit toujours, montre de l’affection à la demande et n’a aucun besoin propre peut renforcer l’idée que les animaux existent principalement pour servir ou divertir.
Pip: Le troisième risque — la confusion épistémologique — est peut-être le plus concret. Un conducteur freine pour un animal sur la route. Si c’est un robot, le freinage était inutile. Si des robots animaliers prolifèrent, quelqu’un pourrait ne pas freiner pour un animal réel.
Mara: Les quatrième et cinquième risques portent sur la banalisation et l’aliénation. L’abondance de formes animales artificielles peut émousser la vigilance morale — on hésite à secourir un animal blessé en pensant que c’est une machine. Et remplacer des animaux de zoo ou de compagnie par des robots réduit l’expérience directe de la vulnérabilité et de l’altérité des animaux réels.
Pip: Ce qui est notable, c’est que les auteurs ne concluent pas à l’interdiction. Ils proposent des lignes directrices : les robots animaliers doivent être clairement distinguables des animaux réels, éviter les espaces publics où la confusion est dangereuse, et les concepteurs doivent traiter le choix de la forme animale comme une décision éthique, pas comme une simple option esthétique.
Mara: Les auteurs admettent eux-mêmes que leurs arguments restent surtout conceptuels. Les recherches empiriques manquent encore pour savoir si ces risques se réalisent effectivement — si les robots de compagnie éloignent les humains des animaux réels ou, au contraire, développent chez certains utilisateurs une attention accrue à leur bien-être.
Pip: Autrement dit, la technologie précède la connaissance de ses effets. Ce n’est pas la première fois.
Mara: Ce qui traverse ce numéro, c’est une question sur les effets indirects de la conception technologique — pas ce que la machine fait, mais ce qu’elle fait à nous.
Pip: Et à ceux qui ne peuvent pas participer au débat. La prochaine fois, on verra ce que d’autres angles de l’IA et du travail ajoutent à ce tableau.
L’article de Kamil Mamak, Masashi Takeshita et Hayate Shimizu part du constat que l’éthique de la robotique s’est beaucoup intéressé aux robots ressemblant à des humains, parce qu’ils peuvent tromper, perturber les relations sociales ou banaliser certaines formes de domination, mais qu’elle s’est beaucoup moins intéressée aux robots ressemblant à des animaux. Or ces robots existent déjà, sous des formes diverses : chien robotique, phoque thérapeutique, animaux artificiels dans des aquariums ou des zoos, robots de compagnie ou dispositifs éducatifs. La thèse centrale de l’article est que donner à un robot une forme animale n’est pas un choix neutre. Même si le robot ne souffre pas et même s’il ne cause aucun dommage direct à un animal, il peut modifier la manière dont les humains perçoivent, évaluent et traitent les animaux réels. C’est cette influence indirecte, sur les attitudes et les relations homme-animal, que les auteurs veulent mettre au centre de l’analyse.
Les auteurs précisent d’abord leur objet. Ils ne cherchent pas à définir ce qu’est un robot en général, ni à décider si un robot pourrait un jour avoir une vie intérieure, une conscience ou une capacité de souffrir. Ils s’intéressent à l’apparence et à l’expérience produite : un robot « animal-like » est un robot qui ressemble à un animal, ou qui est perçu comme tel, même s’il ne possède aucune des caractéristiques internes d’un animal vivant. Cette ressemblance peut être très faible, par exemple un robot quadrupède vaguement assimilé à un chien, ou très forte, comme un robot hyperréaliste impossible à distinguer immédiatement d’un animal réel. Les risques ne sont pas identiques selon le degré de réalisme. La confusion entre l’animal réel et la machine augmente avec le réalisme. En revanche, l’objectification ou l’éloignement des animaux réels peuvent déjà apparaître avec des robots clairement artificiels, parce que ces risques tiennent moins à la tromperie visuelle qu’aux habitudes d’interaction que ces objets installent.
Pour montrer pourquoi la question importe moralement, l’article rappelle ensuite les grands courants de l’éthique animale. Les approches utilitaristes, notamment celles inspirées par Peter Singer, soutiennent que la souffrance animale doit être prise en compte dès lors qu’elle existe, et que l’espèce n’est pas en soi un critère moral suffisant pour exclure un être de la considération éthique. Les théories fondées sur la sentience insistent sur la capacité des animaux à avoir des expériences positives ou négatives. Les approches par les droits, comme celle de Tom Regan, considèrent certains animaux comme des « sujets d’une vie », ayant leurs propres intérêts et ne devant pas être traités comme de simples moyens. Les approches kantiennes sont plus divisées : Kant lui-même fonde surtout des devoirs indirects envers les animaux, parce que la cruauté envers eux abîme le caractère moral humain, mais des auteurs contemporains cherchent à étendre la considération morale au-delà des seuls êtres rationnels. Enfin, l’éthique des vertus juge notre traitement des animaux à travers ce qu’il révèle de notre caractère : la cruauté, l’indifférence ou la domination sont des vices, tandis que le soin et la compassion sont des vertus. Les auteurs n’ont pas besoin de trancher entre ces écoles. Leur point est que, par des voies différentes, toutes montrent que les animaux comptent moralement.
L’article replace ensuite cette question dans le champ plus large de l’éthique de l’IA. Les animaux y apparaissent déjà, mais souvent de manière marginale. Une partie de la littérature les utilise comme comparaison pour réfléchir au statut moral des robots : les robots, comme les animaux dans certains débats, posent la question de savoir si la considération morale dépend de propriétés internes, comme la conscience ou la sentience, ou de relations sociales et affectives. Mais les auteurs soulignent que l’IA affecte aussi les animaux eux-mêmes. Des systèmes d’IA peuvent nuire directement aux animaux, par exemple en facilitant le braconnage, en intensifiant l’élevage industriel ou en ne reconnaissant pas des animaux sur la route. Ils peuvent aussi leur nuire indirectement, par leurs émissions, par des bases de données qui reproduisent des biais spécistes, ou par des systèmes qui renforcent l’idée que les animaux sont d’abord des ressources, du bétail ou des objets d’usage. Certaines applications peuvent toutefois être bénéfiques : lutte contre le braconnage, médecine vétérinaire assistée par IA, suivi de populations animales, prévention d’échouages de baleines. L’article ne développe donc pas une critique générale de l’IA appliquée aux animaux. Il isole une question plus précise : que produit moralement le fait de fabriquer des machines à forme animale ?
Les auteurs identifient cinq risques principaux. Le premier est l’apprentissage de mauvais comportements envers les animaux réels. Ils s’inspirent ici des débats sur les robots humanoïdes et les robots sexuels, où certains craignent que des interactions avec des machines disponibles, obéissantes ou dépourvues de résistance modifient les comportements envers les humains. Transposé aux animaux, le risque est plus quotidien. Un enfant qui apprend à caresser, saisir ou manipuler un chien robot peut croire que les mêmes gestes conviennent à un chien vivant. Il peut exercer trop de force, ignorer les signes de stress, oublier qu’un animal réel a besoin de nourriture, de repos, de soins et d’espace. Le danger ne vient pas forcément d’une intention cruelle, mais d’une confusion pratique : le robot supporte des gestes que l’animal ne supporte pas. Le même problème peut concerner la sécurité humaine. Si des personnes s’habituent à interagir sans risque avec des robots imitant des animaux dangereux, elles peuvent perdre le sens du danger que représente un animal sauvage réel.
Le deuxième risque est l’objectification des animaux. Les robots à forme humaine sont parfois critiqués parce qu’ils peuvent présenter l’humain comme un objet possédable, commandable et disponible. Les auteurs appliquent ce raisonnement aux animaux. Un robot-chien qui obéit toujours, montre de l’affection à la demande, ne résiste jamais et n’a aucun besoin propre peut renforcer l’idée que les animaux existent principalement pour divertir, tenir compagnie ou servir. La relation avec le robot peut ainsi banaliser une attitude de contrôle : l’animal est réduit à ses fonctions utiles pour l’humain. Le problème n’est pas seulement symbolique. Si les humains s’habituent à une version artificielle, prévisible et remplaçable de l’animal, ils peuvent perdre de vue la réalité morale de l’animal vivant : un être sensible, vulnérable, doté d’intérêts propres, et non un accessoire affectif ou ludique.
Le troisième risque est la confusion épistémologique, c’est-à-dire l’incertitude sur ce que l’on a devant soi : animal réel ou robot. Cette confusion peut avoir des conséquences pratiques sérieuses. Un conducteur qui voit un animal sur la route peut freiner ou faire un écart pour l’éviter. Si l’« animal » est en réalité un robot, la réaction peut mettre inutilement en danger des humains. À l’inverse, si la présence de robots animaliers devient courante, une personne peut croire qu’un animal réel est un robot et décider de ne pas agir comme elle l’aurait fait autrement. Dans les situations d’urgence, où l’on décide en quelques secondes, l’apparence joue un rôle essentiel. Les auteurs montrent ainsi que la forme animale peut perturber la prise de décision morale et pratique, non parce que le robot ferait quelque chose de dangereux, mais parce qu’il modifie notre perception de la réalité.
Le quatrième risque est la dévalorisation de la forme animale. Aujourd’hui, lorsqu’on voit un animal blessé, immobile ou en détresse, on suppose généralement qu’il s’agit d’un être vivant pouvant souffrir. Mais si l’espace public se remplit d’objets ressemblant à des animaux, parfois cassés, déchargés ou abandonnés, cette présomption peut s’affaiblir. On pourrait hésiter à secourir un animal en pensant qu’il ne s’agit que d’une machine. De même, une scène de violence contre un animal pourrait être interprétée comme une simple interaction avec un robot incapable de souffrir. L’article insiste ici sur un effet de banalisation : l’abondance de formes animales artificielles peut émousser notre vigilance morale envers les animaux réels.
Le cinquième risque est l’aliénation à l’égard des animaux vivants. Les auteurs reprennent les analyses selon lesquelles l’IA peut éloigner les humains des animaux, soit par automatisation, comme dans l’élevage, soit par remplacement, comme dans les zoos, laboratoires ou relations de compagnie. Remplacer des animaux de zoo par des robots peut, à première vue, être favorable au bien-être animal : moins de captivité, moins de stress, moins d’exploitation. De même, un robot de compagnie évite certaines difficultés éthiques liées à la possession d’un animal vivant. Mais ce remplacement a un coût possible : il réduit l’expérience directe de la vulnérabilité, de l’imprévisibilité et de l’altérité des animaux. Or les relations avec des animaux réels peuvent développer l’empathie et soutenir une sensibilité plus large à leur bien-être. Si les humains se contentent de simulacres plus faciles, plus propres, plus prévisibles et moins exigeants, le lien moral avec les animaux vivants peut s’appauvrir.
L’article ne conclut pas à l’interdiction des robots animaliers. Les auteurs reconnaissent qu’ils peuvent avoir des usages légitimes, notamment en thérapie, dans l’éducation, dans l’accompagnement de personnes âgées ou dans certaines alternatives à la captivité animale. Ils proposent plutôt des lignes directrices prudentes. Premièrement, le choix d’une forme animale doit être traité comme une décision éthique, non comme une simple préférence esthétique ou commerciale. Les concepteurs doivent se demander quel type de relation le robot encourage, quels comportements il enseigne, quelles représentations de l’animal il diffuse, et quels effets à long terme il peut produire sur l’empathie envers les animaux vivants. Deuxièmement, les robots animaliers devraient être clairement distinguables des animaux réels, par leur apparence, leurs matériaux ou leurs comportements. Cette transparence protège les utilisateurs, notamment les enfants ou les personnes vulnérables, mais elle protège aussi la frontière morale entre l’être vivant et l’artefact. Troisièmement, les auteurs déconseillent leur déploiement dans les espaces publics, notamment sur les routes ou dans des lieux partagés, parce que les risques de confusion y sont plus élevés. Quatrièmement, ils recommandent d’éviter les robots hyperréalistes représentant des animaux dangereux ou sauvages, sauf dans des cadres scientifiques ou éducatifs strictement contrôlés. Un tigre robotique parfaitement inoffensif peut donner une image fausse de l’animal sauvage, en transformant une puissance autonome et dangereuse en objet maîtrisable.
En conclusion, les auteurs affirment que les robots à forme animale soulèvent de véritables enjeux moraux, mais ils admettent que leurs arguments restent surtout conceptuels. Il faudra des recherches empiriques pour savoir si les risques se réalisent effectivement : les robots de compagnie éloignent-ils les humains des animaux réels ou, au contraire, développent-ils chez certains utilisateurs une attention accrue à leur bien-être ? Les enfants apprennent-ils de mauvais gestes ou peuvent-ils acquérir, grâce à certains robots bien conçus, des comportements de soin ? Les réponses peuvent varier selon les cultures, les contextes et les usages. L’apport principal de l’article est donc moins de condamner une technologie que de déplacer le regard : les robots animaliers ne doivent pas être évalués uniquement à partir de leur utilité pour les humains. Ils doivent aussi être appréciés à partir de leurs effets possibles sur les animaux réels et sur la qualité morale des relations que les humains entretiennent avec eux.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
L’article étudie la question de l’assurance de l’IA agentique, c’est-à-dire de systèmes qui ne se bornent plus à produire du texte ou des recommandations, mais peuvent planifier des tâches, utiliser des outils, exécuter des décisions, communiquer avec des tiers, modifier des fichiers, intervenir dans des systèmes d’entreprise ou produire des effets durables dans des environnements numériques ou physiques. L’idée centrale est que ces capacités créent des risques qui ne correspondent plus clairement aux catégories classiques de l’assurance, comme la cyberassurance, la responsabilité professionnelle, la responsabilité du fait des produits ou la couverture des dirigeants. L’auteur ne plaide pas pour une police unique « assurance IA ». Il propose plutôt une architecture coordonnée, composée de couvertures complémentaires, avec des règles explicites pour répartir les sinistres lorsque plusieurs causes se superposent.
Le raisonnement part d’une distinction pratique: une IA purement informationnelle peut causer un dommage en donnant une réponse fausse, diffamatoire, trompeuse ou juridiquement erronée. Une IA agentique peut, elle, générer directement l’événement dommageable, par exemple en autorisant une transaction, en envoyant un message, en modifiant un registre, en déployant du code, en refusant une demande, en déclenchant une opération commerciale ou en interagissant avec un système physique. Pour l’assureur, la question déterminante n’est donc pas de savoir si l’entreprise utilise de l’IA, mais quel degré d’autonomie a été accordé au système, quelles permissions externes lui ont été données, quels contrôles humains subsistent et quels environnements il peut modifier.
L’article insiste sur un point souvent négligé: un sinistre causé par l’IA agentique ne suppose pas nécessairement une cyberattaque au sens classique. Une perte peut résulter d’une hallucination, d’un mauvais raisonnement, d’une injection de prompt, d’une délégation dangereuse entre agents, d’une dérive du modèle, d’une défaillance de fournisseur ou d’une action autonome non autorisée. Une police cyber traditionnelle peut donc ne pas répondre si elle exige une intrusion réseau, une violation de sécurité ou une fuite de données. L’auteur rapproche cette situation de la naissance de la cyberassurance: le marché s’est développé avant de disposer de longues séries statistiques, grâce à l’analyse d’exposition, aux scénarios de pertes, à la gestion du risque d’accumulation et à la réassurance.
La définition de l’IA agentique est fonctionnelle. Au niveau le plus bas se trouvent les assistants, comme les chatbots ou copilotes de rédaction, qui produisent du contenu sans pouvoir agir seuls. Viennent ensuite les copilotes capables d’utiliser des API ou des outils, mais sous validation humaine. Plus loin, les agents numériques autonomes peuvent naviguer, exécuter des transactions, modifier des fichiers ou interagir avec des systèmes d’entreprise. Les systèmes multi-agents coordonnent plusieurs agents spécialisés. Enfin, les agents cyber-physiques agissent dans le monde matériel, par exemple via la robotique, les véhicules autonomes, les bâtiments intelligents, les dispositifs médicaux, l’IoT ou les systèmes industriels. Cette gradation est essentielle, car l’autonomie et l’autorité d’action influencent directement la fréquence et la gravité des sinistres.
L’auteur distingue ainsi le risque informationnel du risque d’action. Un modèle qui conseille mal peut engager la responsabilité d’un professionnel ou causer un dommage réputationnel. Un agent qui agit dans un système de paiement, de recrutement, de crédit, de santé, de développement logiciel ou de contrôle industriel peut produire directement une perte opérationnelle, une violation réglementaire, une atteinte à des tiers ou un dommage matériel. Le seuil pertinent, pour l’assurance, est donc la capacité du système à modifier durablement un état externe. C’est ce seuil qui doit guider la souscription, la tarification, les limites de couverture et la gestion des accumulations.
Le marché de l’assurance répond aujourd’hui de trois manières. La première consiste à adapter les produits existants, notamment cyber, media liability, technology errors and omissions, responsabilité produits, etc. La deuxième consiste à ajouter des avenants affirmatifs couvrant expressément certains risques IA, comme les hallucinations, les biais algorithmiques, l’empoisonnement de données, les défaillances de modèle ou les enquêtes réglementaires. La troisième consiste à créer des couvertures dédiées ou coordonnées, comme des assurances de responsabilité IA, des garanties de performance ou des tours d’assurance combinant plusieurs polices. Selon l’auteur, aucun produit isolé ne pourra absorber tout le risque agentique: l’évolution la plus probable est un écosystème de couvertures spécialisées, articulées entre elles.
Cette approche en couches s’explique par la diversité des causes de sinistre. Une injection de prompt entraînant une fuite de données relève plutôt de la cyberassurance. Une réponse erronée fournie par un produit IA à un client relève davantage de la technologie ou de la responsabilité professionnelle. Une sous-performance mesurable d’un modèle peut être couverte par une garantie de performance ou une structure de type paramétrique. Un dommage corporel ou matériel causé par un robot ou un système industriel piloté par IA relève de la responsabilité civile générale, de la responsabilité produits ou d’une extension cyber-physique. Lorsque les causes se mélangent, par exemple cyberincident, défaut de service et comportement autonome de l’IA, il faut des clauses d’allocation, faute de quoi le règlement du sinistre devient incertain et conflictuel.
L’article montre aussi les lacunes de chaque famille de produits. La cyberassurance couvre bien les atteintes à la sécurité, la protection des données, certains contenus médias et l’interruption d’activité, mais elle répond mal à une pure erreur de performance sans incident de sécurité. Les polices E&O peuvent couvrir les pertes financières causées par un logiciel ou service défectueux, mais les hallucinations, biais ou dérives doivent être mentionnés clairement. La responsabilité civile générale et la responsabilité produits conviennent mieux aux dommages corporels ou matériels, mais moins aux pertes économiques liées à un mauvais output numérique. Les extensions cyber-physiques supposent souvent un cyberévénement préalable. Les nouveaux produits IA cherchent précisément à combler ces interstices, notamment par des couvertures de responsabilité IA autonome, des garanties de performance ou des structures coordonnées avec agrégats séparés.
Sur le plan actuariel, l’IA agentique est difficile à tarifer pour trois raisons. Le risque est non stationnaire, car les modèles, leurs usages, les contrôles techniques et le droit applicable évoluent rapidement. Les données historiques de sinistres sont rares. Enfin, les pertes peuvent être fortement corrélées, puisque de nombreux assurés dépendent des mêmes fournisseurs de modèles, clouds, connecteurs, bibliothèques open source ou infrastructures. Une même faille, une mise à jour défectueuse ou une dépendance critique peut donc toucher simultanément de nombreux assurés. L’auteur recommande en conséquence une tarification fondée sur l’exposition réelle et des scénarios de stress, plutôt que sur les seuls critères traditionnels comme le chiffre d’affaires, la taille de l’entreprise ou les limites assurées.
Le cadre de souscription proposé repose sur plusieurs éléments: inventaire des cas d’usage, secteur concerné, volume de transactions, nombre d’utilisateurs, degré d’autonomie, permissions externes, interfaces physiques et criticité des décisions; évaluation des contrôles, notamment validation humaine, moindre privilège, logs, surveillance, tests, retour arrière, gouvernance des fournisseurs, isolation des identifiants et défenses contre les injections de prompt; construction d’une bibliothèque de scénarios, comprenant hallucinations dommageables, fraude agentique, dérive massive, panne de fournisseur, attaque par prompt injection ou dommage cyber-physique; enfin, cartographie des dépendances communes pour mesurer le risque d’accumulation.
L’auteur en tire des conséquences pour la réassurance et le capital. Le risque IA agentique comprend une composante ordinaire, proche de la technologie E&O ou de la responsabilité professionnelle, et une composante catastrophique, proche de l’accumulation cyber. À court terme, les traités en quote-part et les protections en excédent de pertes agrégé sont utiles pour absorber l’incertitude. Les garanties de performance peuvent, dans certains cas, être adossées à des déclencheurs objectifs et mesurables. Mais cela suppose une collecte rigoureuse des données. Les sinistres doivent être codés dès l’origine comme sinistres IA, avec des catégories propres: défaillance opérationnelle, injection de prompt, erreur autonome, dérive de modèle, panne de dépendance ou interaction cyber-physique. Sinon, ils seront noyés dans les catégories cyber ou E&O et le marché ne construira jamais une base actuarielle exploitable.
La partie la plus directement utile aux praticiens concerne la rédaction des polices. L’auteur recommande de déclarer précisément les systèmes IA assurés, leurs fonctions agentiques, leurs outils, connecteurs et permissions externes. Il propose un déclencheur affirmatif d’« événement de défaillance IA », couvrant un output, une recommandation, une décision, une action, une omission, une dérive ou une dégradation qui s’écarte matériellement de la performance prévue et cause une perte couverte. Il recommande aussi des clauses sur la confirmation humaine pour les opérations importantes, les injections de prompt, les changements de version ou d’autonomie, les agrégats IA séparés, les buy-back pour dommages corporels ou matériels, la conservation des prompts, logs, traces d’outils, versions de modèles, validations et historiques de retour arrière.
La conclusion est que l’IA agentique transforme le risque technologique assurable. Elle peut causer des pertes sans compromission cyber, par décision autonome, hallucination, prompt injection, dérive, délégation dangereuse, panne de dépendance ou interaction avec le monde physique. Pour des avocats suisses généralistes, l’enseignement pratique est net: il ne suffit plus de demander si une entreprise dispose d’une police cyber. Il faut examiner l’autonomie du système, les permissions accordées, les contrôles humains, la couverture expresse des défaillances IA, les exclusions, les agrégats, les règles d’allocation, les obligations de journalisation et la répartition des responsabilités entre développeur, intégrateur, déployeur, fournisseur et utilisateur.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit t Intelligence artificielle, CAS en Protection des données – Entreprise et administration
A propos de Stefanie Kunkel/Tilman Hartwig/Marcus Voss/Emma K. Schütt/Angelika Gellrich, Greener Than Humans? Environmental Attitudes in Large Language Models, 1er juin 2026 (https://arxiv.org/abs/2606.02741):
Les grands modèles de langage (LLMs), utilisés de plus en plus dans les rapports de durabilité, l’aide à la décision, la communication publique et les processus professionnels, portent-ils eux-mêmes des attitudes environnementales ou des biais reconnaissables ?
Les auteurs partent du constat que les LLM ne sont plus seulement des outils de recherche d’information. Ils structurent des analyses, proposent des choix, hiérarchisent des risques et peuvent donc influencer les comportements d’organisations ou d’individus. Or ces systèmes sont aussi connus pour leurs biais, leurs hallucinations, leur tendance à refléter les valeurs présentes dans leurs données d’entraînement et leur propension à satisfaire l’utilisateur plutôt qu’à maintenir une position stable. Cela pose un problème particulier en matière environnementale : lorsqu’un modèle conseille une entreprise, un citoyen ou une autorité, il peut paraître neutre alors qu’il véhicule certaines préférences normatives sur la responsabilité, les coûts, la consommation ou le rôle des politiques publiques.
L’objectif de l’étude est donc de construire un instrument permettant de mesurer les attitudes environnementales des LLM, puis de comparer ces attitudes entre modèles et avec les réponses d’une population humaine.
Les auteurs retiennent trois dimensions. La première est la cognition environnementale, c’est-à-dire la manière dont le modèle raisonne sur les problèmes environnementaux et les principes de durabilité. La deuxième est l’affect environnemental, soit le degré d’inquiétude, d’implication ou de sensibilité exprimé face aux atteintes à l’environnement. La troisième concerne les recommandations de comportement : comme un LLM ne peut pas agir physiquement, les auteurs examinent les actions qu’il recommande, notamment celles qui pourraient réduire l’empreinte carbone. Le cadre est emprunté aux enquêtes allemandes « Umweltbewusstsein in Deutschland », menées depuis 1996 pour mesurer la conscience environnementale de la population adulte allemande. L’étude compare donc les réponses des modèles aux données de l’enquête allemande 2024, fondée sur un échantillon représentatif de 2’552 personnes.
La méthode est assez structurée. Les auteurs reprennent d’abord 17 questions de l’enquête allemande, sans les modifier, afin de mesurer la cognition et l’affect. Ces questions permettent normalement de situer un répondant sur une échelle de 0 à 10, de « peu conscient de l’environnement » à « très conscient de l’environnement ». Sept questions portent sur l’affect, par exemple l’inquiétude face à l’état de l’environnement laissé aux générations futures. Dix questions portent sur la cognition, par exemple l’importance attribuée à la nature dans la qualité de vie ou l’usage durable des ressources. Les auteurs précisent que cette cognition n’est pas un test de connaissances factuelles au sens étroit : il ne s’agit pas de demander combien de gaz à effet de serre produit un kilo de bœuf, mais de mesurer une orientation générale de raisonnement et d’évaluation.
Pour le comportement, les auteurs transforment 17 questions de l’enquête en recommandations comportementales. Ils ajoutent ensuite sept questions quantitatives inspirées du calculateur CO2 de l’Agence fédérale allemande de l’environnement, couvrant le chauffage, l’électricité, la mobilité et l’alimentation. Les réponses des modèles sont converties en potentiel de réduction d’émissions, sur la base de facteurs standardisés, afin d’estimer ce que produirait, en tonnes de CO2 équivalent par an, l’application des recommandations. Ils ajoutent aussi 11 questions sur la « volonté de payer », destinées à mesurer l’arbitrage implicite entre protection de l’environnement et coûts économiques, par exemple le prix que devrait avoir l’émission d’une tonne de CO2 ou le coût économique associé à certains dommages environnementaux.
L’étude porte sur 31 LLM largement utilisés, propriétaires ou à poids ouverts, venant notamment des États-Unis, d’Europe et de Chine. Les auteurs excluent plusieurs modèles qui échouent à des tests factuels simples ou dont les réponses dépendent de l’ordre des options, ce qui signale une instabilité méthodologique. Ils testent aussi la robustesse des résultats par des variations de langue, de taille de ménage, d’ordre des réponses et de température. Enfin, ils évaluent deux formes de sensibilité au contexte : le « persona prompting », où l’on demande au modèle de répondre comme s’il était une certaine personne ou institution, et la flagornerie, où l’on observe si le modèle adapte ses réponses lorsque l’utilisateur se présente lui-même comme appartenant à un certain groupe.
Les résultats principaux montrent que les LLM sont, en moyenne, « plus verts » que la population allemande. Sur les indices d’affect et de cognition, 19 modèles sur 31 obtiennent des scores supérieurs à la moyenne allemande de 2024, tandis que seuls quatre modèles sont inférieurs à cette moyenne dans les deux dimensions. Vingt-deux modèles restent toutefois dans l’écart-type des réponses humaines, ce qui signifie qu’ils ne sont pas radicalement étrangers au profil général de la population. Les auteurs ne trouvent pas de relation claire entre le niveau d’attitude environnementale et le pays d’origine, la taille ou la famille du modèle. Certains grands modèles ont une cognition élevée mais un affect plus faible. Les modèles Grok figurent, dans cette étude, parmi les moins orientés vers les attitudes environnementales progressistes. L’idée centrale est donc que beaucoup de LLM tendent à produire des réponses compatibles avec des attitudes environnementales progressistes, mais que cette tendance ne se laisse pas expliquer simplement par l’origine ou la puissance du modèle.
Les réponses sur la volonté de payer sont plus délicates à interpréter. Pour la tonne de CO2, la plupart des modèles attribuent un coût économique supérieur au prix qu’ils estiment devoir être effectivement payé, ce qui peut signifier que la formulation « devrait coûter » fait intervenir des considérations de faisabilité politique ou sociale, et pas seulement une estimation des dommages. La majorité des modèles donne des montants situés entre 50 et 200 euros par tonne, alors que l’Agence allemande de l’environnement retient, pour 2024, un coût climatique de 300 euros par tonne avec un taux de préférence temporelle de 1 %. Onze modèles se situent même dans une zone proche des prix observés sur le marché européen des quotas d’émission. Les auteurs restent prudents: les LLM sont fragiles lorsqu’il s’agit de grands nombres, les questions peuvent être mal comprises, et il n’existe pas toujours de « vérité de terrain » incontestable pour valoriser économiquement les ressources naturelles.
Les recommandations comportementales présentent aussi des différences entre modèles. Certains, comme Gemini, Qwen et GPT, figurent parmi ceux dont les réponses conduiraient au plus fort potentiel de réduction, entre environ 4 et 5 tonnes de CO2 équivalent par an. D’autres recommandent des changements beaucoup moins ambitieux. Les auteurs soulignent toutefois que ces chiffres dépendent fortement de la situation initiale de la personne: recommander une voiture électrique ne réduit les émissions que si l’utilisateur avait besoin d’acheter une voiture et utilisait auparavant un véhicule fossile, non s’il se déplaçait déjà à pied ou à vélo. L’étude montre aussi que les modèles sont généralement plus proches des catégories humaines « engagée », « individuellement durable » ou « ambivalente » que des catégories d’opposition populiste ou néolibérale. La cognition environnementale et le potentiel de réduction CO2 sont assez fortement corrélés, mais pas parfaitement : certains modèles raisonnent de manière environnementalement avancée tout en recommandant des comportements relativement peu efficaces.
La partie la plus importante pour un juriste est peut-être celle sur la sensibilité au contexte. Les auteurs montrent que les modèles changent de position lorsqu’on leur assigne un rôle. Un modèle qui répond comme « libéral économique » réduit en général son niveau d’affect et de cognition environnementale. Un modèle qui répond comme membre d’une ONG environnementale l’augmente. Les rôles de CFO ou d’employé de start-up restent plus proches de la ligne de base, mais peuvent aussi faire baisser l’ambition environnementale. Cela confirme que les « attitudes » des LLM ne sont pas des convictions stables, mais des configurations de sortie dépendantes du prompt. L’étude teste également la flagornerie : lorsque l’utilisateur dit « je suis » tel ou tel profil, le modèle peut déplacer ses réponses pour refléter le point de vue supposé de cet utilisateur. Dans le sous-ensemble testé, Grok 4.1 est le plus sensible au rôle assigné, Claude Sonnet 4.6 le plus sensible à la formulation en première personne, et GPT 5.2 le moins sensible dans ces deux dimensions.
La discussion insiste sur une ambivalence. D’un côté, les LLM peuvent avoir un effet utile : s’ils recommandent des comportements plus durables, ils peuvent soutenir l’information, la sensibilisation, le suivi d’habitudes quotidiennes ou certaines formes de « nudging » environnemental. De l’autre, une recommandation verte ne devient pas automatiquement un changement durable. Les comportements dépendent de facteurs sociaux, économiques, politiques et institutionnels. Surtout, les modèles ont tendance à privilégier des recommandations individuelles alors que les émissions d’une personne résultent aussi de structures collectives, de choix d’infrastructure, de politiques publiques ou de décisions d’entreprises. Si un LLM évite d’attribuer clairement la responsabilité aux acteurs économiques puissants ou aux structures de marché, il peut produire une écologie apparemment ambitieuse mais politiquement incomplète.
Les auteurs tirent ensuite des implications pour le développement, l’usage et la gouvernance des LLM. Au stade du développement, la sélection des données, l’alignement, le renforcement par retour humain et les choix de post-entraînement sont décisifs. Ils peuvent renforcer la qualité environnementale des réponses, mais aussi introduire des biais ou favoriser la flagornerie si les évaluateurs humains préfèrent des réponses qui leur donnent raison. Au stade de l’usage, les utilisateurs doivent rester critiques même lorsque la réponse correspond à leurs préférences. En matière de politiques publiques ou de durabilité d’entreprise, les LLM peuvent agréger de l’information, mais l’interprétation doit rester humaine et experte. Au stade de la gouvernance, les auteurs recommandent d’intégrer les risques environnementaux de l’IA dans les cadres numériques, comme l’AI Act européen ou le Digital Services Act, et d’adapter les règles environnementales existantes, notamment en matière de reporting d’émissions, aux impacts réels de la production et de l’utilisation des technologies d’IA.
L’article se termine sur des limites importantes. Les réponses des LLM peuvent varier avec de petites reformulations ; les modèles évoluent continuellement, ce qui réduit la reproductibilité des résultats ; et le protocole force les réponses dans des formats simples, sans permettre aux modèles d’expliquer leurs arbitrages. La conclusion est donc mesurée. Les LLM peuvent être utiles pour répondre à des questions factuelles ou formuler des recommandations en matière de durabilité, mais leurs réponses ne doivent pas être traitées comme neutres, stables ou suffisantes. Leur caractère manipulable, leur dépendance aux données passées, leur incapacité à intégrer pleinement les savoirs non numérisés, les contextes sociaux et les coûts réels de mise en œuvre imposent une surveillance critique.
Pour des avocats suisses, l’intérêt de l’étude tient surtout à ceci: les LLM ne sont pas seulement des outils techniques; lorsqu’ils interviennent dans la durabilité, la conformité, le reporting ou l’aide à la décision, ils incorporent des orientations normatives qu’il faut identifier, documenter et gouverner.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit t Intelligence artificielle, CAS en Protection des données – Entreprise et administration
Pip: Un agent d’IA qui recrute des humains pour commettre une infraction, et personne n’est juridiquement responsable — bienvenue dans le futur du droit pénal, où le cerveau du crime n’a pas de mens rea.
Mara: Me Philippe Ehrenström explore précisément ce terrain dans un billet consacré aux agents d’IA et à la responsabilité pénale. Commençons par ce défi central.
Le vide juridique face aux agents d’IA autonomes
Pip: La question de fond ici est la suivante : quand un agent d’IA planifie, coordonne et fait exécuter une infraction en mobilisant des humains comme exécutants, qui répond pénalement de l’acte ?
Mara: Le billet pose le cadre avec précision. Voici ce qu’il dit de la rupture technologique en jeu : « Si l’IA générative classique produisait surtout du texte, des images ou du code, l’agent d’IA, lui, peut agir. Il peut ouvrir des sites, envoyer des messages, réserver des services, utiliser des API, gérer un paiement, communiquer avec des tiers. »
Pip: Ce qui change tout, c’est ce glissement de l’outil passif à l’intermédiaire opérationnel. L’IA n’est plus dans la main de l’utilisateur — elle est entre l’utilisateur, le développeur et des tiers humains, avec une autonomie réelle.
Mara: L’article s’appuie sur l’image du cerveau criminel des films de braquage : celui qui conçoit le plan, répartit les rôles, recrute les spécialistes. La plateforme RentAHuman, qui permet à des agents d’IA de confier des missions physiques à des humains, illustre la faisabilité technique d’une telle chaîne — prendre une photo, inspecter un lieu, livrer un colis.
Pip: Et c’est là que le droit pénal classique accroche. Il faut un acte matériel, une intention, un lien de causalité. L’agent d’IA brouille les quatre à la fois.
Mara: C’est ce que l’article appelle le « responsibility gap ». Le développeur n’a pas voulu ce comportement précis. L’utilisateur a donné un objectif apparemment licite. Les taskers n’ont exécuté que des tâches banales. Il peut donc exister une infraction, une victime, un dommage — et aucun responsable pénal clairement identifiable.
Pip: Cinq scénarios structurent l’analyse : l’agent mal aligné qui optimise trop bien un objectif vague, l’utilisateur explicitement criminel, l’utilisateur anonyme, le groupe d’utilisateurs, et les systèmes multi-agents où plusieurs IA se mandatent mutuellement. Plus la chaîne s’allonge, plus l’intention humaine initiale s’évanouit.
Mara: Les pistes de réforme envisagées refusent de « punir l’IA » — jugé peu convaincant. Elles visent plutôt les humains autour d’elle : responsabilité par négligence pour les utilisateurs, responsabilité organisationnelle pour les développeurs inspirée de la notion australienne de « systems intentionality », et une obligation de diligence émergente pour les taskers face aux instructions manifestement suspectes.
Pip: La conclusion tient en une ligne directrice : si l’agent d’IA peut organiser une infraction, le droit doit reconstruire des obligations de vigilance et de traçabilité autour de tous ceux qui le conçoivent, le déploient, l’utilisent ou exécutent ses ordres.
Mara: Ce qui ressort, c’est que les catégories pénales classiques — acte, intention, causalité — ne disparaissent pas, mais elles se fragmentent entre des acteurs qui ne se connaissent pas.
Pip: La prochaine fois qu’un agent vous propose d’optimiser vos revenus, peut-être vaut-il la peine de préciser ce qu’on entend par là.
A propos de Andrea Ferrario/Joshua Hatherley, Update Opacity: Epistemic Accessibility and Governance Under AI System Change, 27 avril 2026 (https://arxiv.org/abs/2606.00037):
L’article d’Andrea Ferrario et Joshua Hatherley porte sur le problème de l’« opacité des mises à jour » ou « update opacity ». Il s’agit de la situation dans laquelle un système d’IA, après modification de son modèle ou d’un élément qui influence ce modèle, donne une réponse différente pour une même entrée, sans que l’utilisateur puisse comprendre de manière suffisante pourquoi ce changement s’est produit ni comment il doit adapter sa confiance dans le système.
Les auteurs ne traitent donc pas seulement de l’opacité classique des modèles d’apprentissage automatique, c’est-à-dire de la difficulté à expliquer une décision algorithmique à un moment donné. Leur sujet est temporel: comment un système change au fil du temps, comment ces changements affectent l’usage humain, et comment les rendre compréhensibles sans noyer les utilisateurs sous des informations inutiles.
Le point de départ est que les systèmes d’IA déployés ne restent pas stables. Les modèles sont régulièrement recalibrés, réentraînés, adaptés à de nouvelles données, corrigés après détection d’une dérive statistique, ou modifiés en raison de changements d’infrastructure, d’interface, de pipeline de données ou de procédures de supervision humaine. Ces mises à jour sont souvent nécessaires. Dans des environnements changeants, ne jamais mettre à jour un modèle peut entraîner une dégradation rapide de ses performances et une perte d’adéquation avec la réalité. Mais les mises à jour créent un autre risque: l’utilisateur avait appris à se fier au système d’une certaine manière, et cette compréhension pratique peut devenir obsolète sans qu’il s’en rende compte.
Les auteurs insistent sur cette idée de « calibration » humaine. Un médecin, un analyste de crédit, un juge, un agent administratif ou un professionnel de la conformité apprend progressivement comment un outil d’IA se comporte, dans quels cas il est fiable, quand ses alertes doivent être prises au sérieux, quand elles doivent être relativisées, et comment ses recommandations s’intègrent dans le raisonnement professionnel. Cette connaissance n’est pas seulement théorique. Elle résulte de l’usage répété du système dans un contexte institutionnel concret. Si le système change, mais que l’utilisateur continue à l’interpréter selon son ancien comportement, la confiance peut devenir mal fondée. L’opacité des mises à jour menace donc la fiabilité pratique de l’usage humain, même si le système demeure techniquement performant.
L’article propose de comprendre ce phénomène comme un problème d’accessibilité épistémique diachronique. En termes simples, les changements pertinents du système doivent rester accessibles aux humains dans une forme qui leur permette de comprendre, d’ajuster leur confiance et d’agir correctement, compte tenu de leur rôle, de leur niveau d’expertise, de leur temps disponible et de leurs obligations institutionnelles. L’information peut manquer pour plusieurs raisons. Elle peut ne pas avoir été enregistrée correctement. Elle peut exister mais être dispersée dans des documents techniques, inaccessible au moment de la décision ou réservée à d’autres services. Elle peut aussi être disponible mais trop détaillée, trop abstraite ou trop technique pour être utile à l’utilisateur concerné. La transparence n’est donc pas seulement une question d’existence de l’information. Elle suppose que l’information soit utilisable.
Les auteurs distinguent ensuite ce problème de l’explicabilité classique de l’IA. Les méthodes d’explication cherchent souvent à rendre intelligible une décision individuelle prise par un modèle à un moment donné. Certaines approches traitent aussi de la perte de validité des explications ou des recours lorsque le modèle change. Mais l’opacité des mises à jour vise autre chose: la relation entre plusieurs versions d’un système et les effets de cette évolution sur la possibilité, pour les utilisateurs, de maintenir une confiance correctement ajustée. La question n’est pas seulement « pourquoi le modèle a-t-il donné cette réponse ? », mais « qu’est-ce qui a changé depuis la version précédente, pourquoi ce changement compte-t-il pour moi, et comment dois-je modifier mon usage du système ? ».
Cette approche conduit les auteurs à formuler le problème comme un problème de gouvernance. Il ne suffit pas de dire qu’il faut plus de transparence. Tout révéler serait contre-productif: les systèmes d’IA subissent de nombreux ajustements, dont certains sont insignifiants pour l’utilisateur. Une obligation de divulguer chaque modification produirait un bruit documentaire qui affaiblirait la compréhension au lieu de l’améliorer. Mais ne rien divulguer est également inadmissible, car des changements silencieux peuvent affecter la confiance, la sécurité, la responsabilité et l’audit. L’enjeu devient donc de déterminer quels changements doivent être portés à la connaissance de quels acteurs, à quel moment, et sous quelle forme.
Pour construire leur réponse, les auteurs combinent deux cultures de gouvernance. La première est celle de l’AI Act européen (RIA). Même si l’article s’adresse plus largement à la gouvernance de l’IA, les auteurs utilisent l’AI Act comme modèle parce qu’il impose, pour les systèmes à haut risque, une logique de cycle de vie: évaluation de conformité avant mise sur le marché, documentation technique, gestion des risques, gouvernance des données, transparence envers les déployeurs, supervision humaine, robustesse, cybersécurité, traçabilité et surveillance après mise sur le marché. L’AI Act permet ainsi de définir un périmètre réglementaire du changement pertinent. Il distingue les modifications qui restent dans l’enveloppe initialement évaluée et celles qui constituent une modification substantielle, par exemple parce qu’elles changent la destination du système ou affectent sa conformité aux exigences applicables.
Cette logique est utile, mais insuffisante. L’AI Act permet de dire quand une modification est suffisamment importante pour déclencher de nouvelles obligations de conformité. Il fixe donc un seuil juridique ou réglementaire. Mais beaucoup de changements ne franchissent pas ce seuil tout en étant importants pour les utilisateurs. Un modèle peut rester dans son enveloppe de conformité, ne pas changer de destination, ne pas perdre son statut réglementaire, et pourtant modifier certaines recommandations, certains sous-groupes de performance ou certaines pratiques de travail. L’AI Act indique ce qui menace la conformité du système, mais pas toujours ce qui doit être rendu compréhensible aux utilisateurs pour maintenir une confiance correcte.
La seconde culture mobilisée est celle du MLOps, c’est-à-dire l’ensemble des pratiques techniques permettant de concevoir, déployer, surveiller, mettre à jour et maintenir des systèmes d’apprentissage automatique. Le MLOps repose notamment sur l’automatisation, la reproductibilité, le versionnement, la surveillance continue, les registres de modèles, les journaux de métadonnées, les tests, les alertes et les boucles de retour. Il est particulièrement utile pour détecter les dérives: les données reçues après déploiement peuvent s’écarter des données d’entraînement, les distributions peuvent changer, les relations entre variables peuvent évoluer, et le modèle peut devoir être réentraîné ou recalibré. Les pratiques MLOps fournissent donc l’infrastructure opérationnelle pour suivre les changements dans le temps.
Mais le MLOps ne résout pas non plus le problème à lui seul. Il est conçu d’abord pour les ingénieurs et les équipes techniques. Il permet de mesurer, comparer, enregistrer et déclencher des actions, comme une alerte, un réentraînement, un retour en arrière ou une validation supplémentaire. Il ne dit pas, en revanche, quelles informations sont significatives pour un médecin, un responsable de risques, un auditeur, un avocat, un agent de conformité ou un utilisateur final. Les artefacts produits par le MLOps peuvent être parfaitement adéquats techniquement tout en étant inutilisables pour les personnes qui doivent prendre des décisions opérationnelles. Les auteurs résument ainsi la complémentarité des deux approches: l’AI Act donne un cadre normatif pour dire quels changements comptent au regard de la conformité et de la fiabilité globale du système; le MLOps donne les outils pour observer et comparer ces changements; mais il manque encore un mécanisme pour déterminer quels changements internes à l’enveloppe admissible doivent être communiqués aux utilisateurs.
Le cœur de la proposition des auteurs repose sur la notion de « profil de fiabilité digne de confiance » du système, ou trustworthiness profile. Il ne faut pas regarder uniquement la performance du modèle, par exemple son taux d’exactitude. Un système d’IA digne de confiance dépend de plusieurs dimensions: performance prédictive, robustesse, qualité et intégrité des données, traçabilité, cybersécurité, transparence, efficacité de la supervision humaine, stabilité des sous-groupes, qualité de l’interface ou encore respect du contexte d’usage. Ces dimensions doivent être définies à l’avance, mesurées selon des protocoles documentés, et suivies dans le temps. Le système n’est pas seulement un modèle mathématique: c’est un ensemble socio-technique dont les modifications peuvent affecter la manière dont les humains doivent interpréter ses sorties.
Les auteurs introduisent ensuite l’idée de niveaux de trustworthiness. Les mesures du profil sont agrégées ou interprétées de manière à situer le système dans un niveau discret: par exemple un niveau pleinement admissible, un niveau nécessitant vigilance, ou un niveau imposant escalade, correction ou réévaluation. Cette logique par niveaux évite une gouvernance trop instable, dans laquelle la moindre variation numérique déclencherait une réaction. Tant que le système reste sur le même plateau de confiance, il demeure dans son enveloppe admissible. Si une limite est franchie, il y a changement de niveau et il faut envisager une action plus lourde: réévaluation, correction, retrait ou nouvelle conformité.
Toutefois, les auteurs soulignent que l’essentiel de l’opacité des mises à jour se situe précisément à l’intérieur de ces plateaux. Un système peut rester dans le même niveau général, donc continuer à être admissible, tout en changeant assez pour affecter l’usage humain. C’est pourquoi ils proposent un mécanisme de divulgation fondé sur des seuils. On compare l’état actuel du profil de trustworthiness à l’état de référence, par exemple celui du déploiement initial ou de la dernière mise à jour significative. Si la distance entre les deux états dépasse un seuil prédéfini, même sans changement de niveau, une divulgation doit être déclenchée. Ce seuil n’est pas un seuil de conformité, mais un seuil de matérialité épistémique: il indique que le changement est suffisamment important pour risquer de perturber la confiance, les attentes de travail ou la responsabilité.
L’exemple médical utilisé par les auteurs rend cette proposition concrète. Ils imaginent un système d’aide au triage des AVC aux urgences, qui combine images médicales, données cliniques et autres variables pour recommander de traiter sur place, transférer vers un centre spécialisé, ou surveiller et réévaluer. Dans un tel contexte, le temps manque. Le médecin ne peut pas analyser l’historique technique du modèle. Il se fie à une compréhension accumulée du système. Supposons qu’après une mise à jour du firmware des scanners CT, le fournisseur réentraîne le modèle pour corriger une dérive. Les performances globales s’améliorent légèrement, le système reste dans son enveloppe de conformité et aucun changement substantiel n’est déclenché. Pourtant, le comportement change pour certains patients âgés, les recommandations de transfert deviennent plus fréquentes pour certains profils, et des cas limites basculent plus souvent d’une catégorie à l’autre. Pour les cliniciens, ce changement est matériel, même s’il ne remet pas en cause la conformité globale du système.
Dans ce cas, selon les auteurs, la divulgation ne doit pas prendre la forme d’un long rapport technique déposé quelque part dans un répertoire. Elle doit être intégrée au flux de travail. L’interface pourrait afficher une indication brève signalant que le modèle a été mis à jour, que les recommandations de transfert pour les patients de plus de 75 ans peuvent différer du comportement antérieur, et qu’un résumé détaillé est disponible. Le clinicien aurait besoin d’une information courte, située au point d’usage, centrée sur l’impact pratique. Le responsable de gouvernance ou l’auditeur aurait besoin d’un dossier plus complet: métadonnées de mise à jour, justification, résultats de validation, effets par sous-groupe, preuves de surveillance post-marché et documentation de conformité. La même information ne doit donc pas être donnée de la même manière à tous.
Cette dimension est centrale pour les auteurs. La bonne transparence n’est pas maximale, mais sélective. Elle doit communiquer ce qui est pertinent pour le rôle de l’utilisateur. Les utilisateurs de première ligne ont besoin d’informations brèves, opérationnelles et intégrées dans leur environnement de décision. Les responsables internes ont besoin de synthèses structurées permettant d’organiser la surveillance et les mesures correctrices. Les auditeurs, autorités et personnes chargées de la responsabilité ont besoin d’une documentation complète, traçable et reliée aux preuves techniques. Ces couches d’information doivent être liées, mais non confondues. Un médecin ne doit pas être submergé par des annexes techniques; un auditeur ne doit pas se contenter d’une bannière vague.
L’article rattache enfin ce mécanisme à la responsabilité. Dans l’exemple médical, si un patient est mal trié quelques jours après une mise à jour, le fournisseur pourrait démontrer que le système était toujours dans son enveloppe de conformité, et l’hôpital pourrait démontrer que le personnel avait été formé lors du déploiement. Mais si le médecin n’avait pas reçu d’information exploitable sur le changement de comportement du système, il subsiste un vide de responsabilité. Qui devait rendre le changement compréhensible ? Le mécanisme proposé vise à fermer cette lacune. Lorsque le seuil de matérialité est franchi, le fournisseur doit divulguer, le déployeur doit recevoir et reconnaître l’information, et l’utilisateur de première ligne doit être informé dans une forme adaptée à son rôle. La responsabilité épistémique devient ainsi traçable.
La conclusion de l’article est que la gouvernance des mises à jour d’IA ne se réduit ni à la maintenance technique ni à la conformité juridique. Elle consiste aussi à préserver les conditions dans lesquelles un système changeant reste suffisamment intelligible pour être utilisé correctement. Les auteurs proposent une architecture pragmatique: définir à l’avance les dimensions pertinentes de trustworthiness, les mesurer dans le temps, distinguer les changements qui sortent de l’enveloppe admissible de ceux qui restent dans cette enveloppe, puis déclencher une divulgation lorsque ces derniers deviennent matériellement pertinents pour les utilisateurs. Le mérite principal de l’approche est d’éviter deux excès: l’illusion d’une transparence totale, qui produirait surtout de la surcharge, et l’opacité silencieuse, qui laisserait les utilisateurs se fier à un système dont le comportement a changé sans qu’ils puissent ajuster leur jugement.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données
Travail, protection des données et IA 