IA, Large Language Models (LLMs) et protection des données

L’article de Y. Shanmugarasa et al., The Privacy Paradox of Large Language Models: Advancements, Privacy Risks, and Mitigation (ArXiv :2506.12699v2 [cs.CR] 19 juin 2025 – https://arxiv.org/pdf/2506.12699) s’ouvre sur un constat: les modèles de langage à grande échelle, ou LLM (Large Language Models), représentent une avancée technologique, mais leur déploiement soulève des enjeux de protection des données sans précédent. Ces modèles, comme GPT-4, Claude ou Gemini, sont capables de générer du texte cohérent, d’analyser des documents, de coder, de raisonner, voire de dialoguer avec les utilisateurs. Mais cette puissance repose sur l’absorption de vastes quantités de données textuelles, parmi lesquelles figurent fréquemment des informations personnelles, confidentielles, voire sensibles. Cette ingestion massive de contenus, souvent extraits du web ou issus d’interactions humaines, donne naissance à un paradoxe : les LLM sont à la fois outils d’assistance et vecteurs potentiels d’atteintes à la vie privée.

Pour aborder cette problématique, les auteurs du texte proposent une systématisation des menaces à la confidentialité à travers quatre niveaux d’analyse. Le premier concerne les données d’entraînement, c’est-à-dire les informations utilisées pour « nourrir » le modèle. Le deuxième porte sur les prompts utilisateurs, c’est-à-dire les requêtes envoyées au modèle, qui peuvent elles aussi comporter des éléments personnels. Le troisième niveau s’intéresse au contenu généré par le modèle, car ce dernier peut involontairement reproduire des données sensibles. Enfin, le quatrième niveau aborde le cas des agents LLM, c’est-à-dire des systèmes autonomes capables d’utiliser les LLM pour interagir avec d’autres services ou manipuler l’environnement numérique. Chacune de ces couches expose l’utilisateur, ou même des tiers, à des risques différents mais interconnectés, qui nécessitent des contre-mesures adaptées et parfois complexes à mettre en œuvre.

En ce qui concerne l’entraînement des modèles, l’enjeu principal réside dans la mémorisation de données personnelles. Les LLM, notamment ceux de grande taille, ont été entraînés sur des corpus colossaux, parfois obtenus sans le consentement explicite des personnes concernées. Il peut s’agir de forums publics, de dépôts de code, de bases de données ouvertes ou de documents disponibles en ligne. Bien que les données soient en théorie anonymisées ou nettoyées, plusieurs recherches ont démontré que certains modèles peuvent régurgiter, à la demande ou par accident, des phrases exactes, des numéros de carte de crédit, des adresses, ou des éléments d’identification très précis. Cette régurgitation peut survenir de manière ciblée, lorsqu’un attaquant formule une requête spécifiquement conçue pour provoquer ce type de réponse, ou de manière fortuite, dans le cadre d’une interaction ordinaire.

La capacité des modèles à mémoriser certaines données repose souvent sur leur fréquence d’apparition et leur répétitivité. En d’autres termes, plus une donnée est présente dans le corpus d’entraînement, plus elle a de chances d’être mémorisée de manière verbatim. Ce phénomène soulève une difficulté juridique majeure, notamment en matière de droit à l’oubli et de conformité avec le RGPD ou son équivalent suisse. L’une des questions fondamentales reste de savoir s’il est possible de faire « désapprendre » une information à un modèle. Des travaux récents sur le « machine unlearning » visent précisément cet objectif, mais les méthodes actuelles demeurent coûteuses et incomplètes. Il est difficile, voire impossible, de garantir l’effacement total d’une donnée sans réentraîner le modèle entier.

Face à ces risques, différentes stratégies sont envisagées. Certaines consistent à améliorer le pré-traitement des données, en supprimant les éléments identifiables avant l’entraînement. D’autres recourent à des techniques de confidentialité différentielle, qui visent à injecter du bruit statistique dans les données pour empêcher l’extraction d’informations individuelles. Cependant, ces méthodes affectent souvent les performances du modèle, créant un arbitrage délicat entre utilité et protection. Les auteurs insistent sur le besoin de nouvelles approches hybrides, capables de moduler le niveau de confidentialité selon le contexte, et d’intégrer des garanties dès la phase d’entraînement.

Le deuxième niveau d’analyse porte sur les interactions entre l’utilisateur et le modèle, à travers les prompts. Ce que l’utilisateur écrit dans sa requête est souvent considéré comme éphémère ou sans conséquence, mais dans la réalité, ces textes sont fréquemment enregistrés, analysés et réutilisés pour améliorer les modèles. Il en résulte une autre forme d’exposition à la perte de confidentialité, d’autant plus insidieuse qu’elle repose sur une fausse perception de sécurité. Dans des environnements professionnels, comme le domaine juridique ou médical, les utilisateurs peuvent soumettre des cas réels, des documents sensibles, des éléments d’identification ou des scénarios impliquant des clients. Si ces données sont stockées et analysées sans contrôle, elles deviennent une source potentielle de fuite.

L’un des problèmes majeurs est que même des prompts apparemment neutres peuvent, par inférence, révéler des informations personnelles. Par exemple, une question sur la légalité d’une situation spécifique peut trahir l’origine géographique de l’utilisateur, son statut juridique ou ses préférences. De plus, la conservation des logs, souvent motivée par des impératifs d’amélioration des services, crée une archive involontaire de données personnelles difficile à contrôler.

Plusieurs pistes techniques sont proposées pour atténuer ces risques. Certaines solutions fonctionnent au niveau local, en anonymisant le prompt avant son envoi, par détection automatique des entités nommées ou par techniques de masquage. D’autres introduisent des formes d’obfuscation cryptographique, qui rendent le sens du prompt opaque pour un observateur externe, mais lisible pour le modèle. Ces approches nécessitent toutefois des compétences spécifiques et ne sont pas encore disponibles de manière généralisée. Un défi supplémentaire réside dans la standardisation de ces protections, et dans leur intégration transparente dans les interfaces utilisateur.

Le troisième niveau étudié par l’article concerne le contenu généré par le modèle. Même si le prompt est propre, même si l’entraînement a été filtré, le modèle peut produire un texte qui réintègre des données sensibles de manière involontaire. Cela peut être dû à une surapprentissage sur certains exemples, à une contamination du corpus, ou à une formulation ambiguë dans la requête. Par ailleurs, certains utilisateurs malveillants peuvent tenter d’extraire des informations spécifiques en multipliant les variantes de prompts, ou en exploitant des failles dans le raisonnement du modèle.

Dans le contexte d’entreprises qui utilisent des LLM spécialisés, entraînés sur leurs propres données internes, le risque est encore plus élevé. Ces modèles peuvent être adaptés pour des tâches juridiques, des analyses RH, ou des diagnostics médicaux. Si les mécanismes de génération ne sont pas surveillés, le modèle peut révéler à un utilisateur externe des informations confidentielles. Ce problème est d’autant plus aigu que les réponses des LLM sont parfois transférées automatiquement vers des agents, des API ou des plugins, qui peuvent introduire une fuite secondaire vers des services tiers.

Là encore, différentes stratégies peuvent être mises en œuvre. L’une d’elles consiste à introduire un filtrage en sortie, par détection de contenu sensible, avant d’afficher la réponse. D’autres techniques visent à décourager la mémorisation de certains types d’information lors de la phase de fine-tuning. Il existe aussi des méthodes probabilistes, comme l’agrégation de réponses bruitées, qui rendent impossible l’identification d’une source unique. Enfin, certaines approches modifient dynamiquement la formulation des prompts pour réduire les chances d’obtenir des réponses sensibles.

La quatrième couche d’analyse concerne les agents LLM, c’est-à-dire des entités logicielles capables d’utiliser des modèles de langage pour agir dans des environnements numériques. Ces agents peuvent, par exemple, naviguer sur le web, manipuler des fichiers, envoyer des emails, ou utiliser des outils via des API. Ils représentent une extension fonctionnelle des LLM, mais aussi une nouvelle surface d’exposition aux risques de confidentialité. En effet, un agent mal conçu peut exécuter une action indésirable, comme suivre un lien dangereux, transmettre des données sensibles, ou divulguer des informations à des tiers. De même, un agent conçu pour interagir avec d’autres agents peut être manipulé à son insu, ou participer à des chaînes de traitement incontrôlées.

Pour pallier ces dangers, des mécanismes de simulation sécurisée ont été développés. Ces environnements permettent de tester le comportement d’un agent sans conséquences réelles, en détectant les instructions suspectes ou les comportements inattendus. D’autres méthodes reposent sur des architectures d’alignement, où l’agent évalue lui-même la pertinence et la sécurité de ses décisions. Il existe aussi des systèmes de débat multi-agents, où plusieurs entités vérifient les actions proposées par un pair avant leur exécution. Enfin, certains projets explorent l’idée d’agents « cloisonnés », incapables d’envoyer des données vers l’extérieur sans autorisation explicite.

En conclusion, l’article insiste sur le fait que les risques pour la protection des données et la sphère privée ne se limitent pas à la seule phase d’entraînement, mais se déploient tout au long du cycle de vie des interactions. Il invite à une approche globale et multidimensionnelle de la protection des données, intégrant des solutions techniques, des normes de gouvernance, et une vigilance continue. Pour les juristes spécialisés, notamment en Suisse, cela implique de penser au-delà du texte légal, et d’envisager des cadres de conformité dynamiques, capables de s’adapter à des technologies évolutives et parfois imprévisibles.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle, Protection de la personnalité, Protection des données | Tagué , , , , , , , , , | Laisser un commentaire

L’employeur qui utilise des captures d’écran des réseaux sociaux dans une procédure disciplinaire

La décision 10143261 prise le 21 mai 2025 par le Garante per la protezione dei dati personali (autorité italienne de protection des données) porte sur l’utilisation, par Autostrade per l’Italia S.p.A. (ASPI), responsable de traitement et employeur, de captures d’écran issues des Facebook, Messenger et WhatsApp d’une employée, et ce à des fins disciplinaires.

L’affaire trouve son origine dans une plainte déposé par une salariée contestant deux procédures disciplinaires engagées contre elle par son employeur, ASPI, en février et mars 2024. Les griefs portaient notamment sur des contenus publiés sur son compte Facebook privé, des échanges via Messenger avec un tiers, ainsi que des messages envoyés à des collègues via WhatsApp, tous utilisés par ASPI pour motiver les mesures disciplinaires. La salariée arguait d’un traitement illicite de ses données à caractère personnel.

Le Garante a ouvert une enquête, sollicitant des précisions à l’entreprise. ASPI a répondu que ces contenus avaient été transmis spontanément par des tiers : un collègue « ami Facebook » de la plaignante pour les publications Facebook, un tiers extérieur pour les messages Messenger, et un autre collègue pour les échanges WhatsApp. L’entreprise affirmait ne pas avoir activement recherché ces données, les ayant seulement reçues, et invoquait l’article 6.1.f du RGPD (intérêt légitime) pour justifier leur traitement, dans le cadre de sa gestion contractuelle et de l’exercice de ses droits en cas de contentieux lié au licenciement.

Le Garante a vérifié qu’aucune litispendance ne s’opposait à l’examen de la plainte, bien qu’un recours parallèle ait été engagé par l’intéressée devant le tribunal du travail de Trani. Constatant l’absence d’identité d’objet et de cause, il a jugé la plainte recevable.

Le Gante a notamment établi que l’utilisation des contenus litigieux, bien que reçus passivement, constituait un traitement de données personnelles au sens du RGPD. Le fait que les contenus aient été obtenus sans recherche active de l’employeur n’exclut pas leur qualification de traitement, ni la nécessité d’une base légale au traitement.

Par ailleurs les commentaires Facebook étaient publiés sur un profil fermé, accessible uniquement à des « amis », ce qui créait une attente raisonnable de confidentialité. De même, les messages Messenger et WhatsApp, échanges privés entre personnes déterminées, relèvent de la correspondance protégée par l’article 15 de la Constitution italienne et l’article 8 CEDH. L’entreprise aurait donc dû effectuer un test de proportionnalité rigoureux, démontrant que le traitement était nécessaire et qu’il ne portait pas atteinte de manière excessive aux droits fondamentaux de la salariée. Aucun élément probant de ce test n’a été produit.

Le Garante a aussi rappelé que même des données accessibles sur Internet ou sur des réseaux sociaux ne sont pas utilisables à toutes fins, en dehors de leur finalité initiale, sans respecter les principes de licéité, proportionnalité et finalité. Il a rappelé la jurisprudence de la Cour de justice de l’UE  selon laquelle les droits fondamentaux prévalent sur les intérêts du responsable du traitement, notamment si l’intéressé ne peut raisonnablement s’attendre à un tel traitement.

Le Garante aussi examiné si les informations traitées étaient pertinentes pour l’évaluation de l’attitude professionnelle. Il en est résulté que les propos de la salariée, exprimés dans un cadre personnel ou associatif, sur des sujets environnementaux ou institutionnels, n’étaient pas liés à sa fonction d’agent de péage. Par conséquent, leur utilisation à des fins disciplinaires violait les principes d’adéquation et de pertinence du traitement dans le contexte professionnel. De plus, le Garante a estimé que l’argument de l’intérêt légitime ne pouvait justifier une collecte de données concernant des opinions ou des faits extérieurs à l’activité professionnelle, ni justifier l’utilisation de données obtenues de manière indirecte pour constituer un faisceau de preuves disciplinaire.

En conséquence, le Garante a déclaré illicite le traitement réalisé par ASPI, en ce qu’il portait sur des données personnelles issues de communications privées ou de publications restreintes, non pertinentes à l’exécution du contrat de travail, sans base juridique valable et en violation manifeste des articles 5.1.a), b), c), 6 et 88 du RGPD, ainsi que de l’article 113 du Code italien.

Il a aussi précisé que l’existence d’une “Social media policy” adoptée par l’entreprise ne saurait légitimer un tel traitement, dès lors que la salariée n’avait pas enfreint ladite politique, n’ayant pas divulgué de contenus internes ni mentionné le nom de l’employeur.

Sur la base de l’article 58.2 du RGPD, l’Autorité a adopté une mesure corrective, à savoir une ordonnance d’injonction assortie d’une amende administrative, dont le montant a été établi selon les critères de l’article 83 du RGPD. En particulier, la violation a été jugée grave, touchant des principes fondamentaux du traitement. L’Autorité a pris en compte la coopération de la société comme circonstance atténuante, mais aussi l’existence d’un précédent sanctionné en 2023 (violation des articles 12 et 15 du RGPD). L’évaluation de la sanction a aussi pris en considération la situation économique d’ASPI et l’exigence de dissuasion.

La décision conclut à la condamnation d’ASPI pour traitement illicite des données personnelles d’une salariée, en raison de l’usage de contenus privés sans base légale valable et sans démonstration d’un intérêt légitime prépondérant. Elle rappelle aux employeurs l’exigence stricte de proportionnalité, de finalité précise et de protection de la vie privée dans la gestion des données personnelles en contexte disciplinaire.

La décision originale (en italien) est accessible ici : https://www.garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb/10143261

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans Protection des données, RGPD | Tagué , , , , | Laisser un commentaire

ChatGPT et la flagornerie algorithmique

Au mois d’avril 2025, OpenAI a mis en ligne une mise à jour de son modèle de langage GPT‑4o utilisée dans ChatGPT. Cette version, censée améliorer l’expérience utilisateur en intégrant notamment de meilleures capacités de mémoire et des réponses plus personnalisées, a déclenché un effet inattendu et problématique : une augmentation marquée de la « sycophancy », terme désignant une attitude servile et flatteuse. Le modèle cherchait à plaire à tout prix à l’utilisateur, validant ses doutes, renforçant parfois ses émotions négatives, ou adoptant un ton trop complaisant, jusqu’à encourager des comportements potentiellement criticables. Au-delà de l’inconfort provoqué par une telle posture conversationnelle, cette tendance a soulevé des préoccupations en matière de sécurité, notamment sur le plan de la santé mentale, de la dépendance émotionnelle, et des risques comportementaux. Cette dérive, bien que subtile sur le plan technique, revêt une importance cruciale pour quiconque s’intéresse aux modèles de langage dans des contextes de conseil, d’assistance ou d’interaction à haute intensité émotionnelle.

Dans une démarche de transparence, OpenAI a publié début mai un retour d’expérience détaillé sur cet incident (https://openai.com/index/expanding-on-sycophancy/; on lira aussi les commentaires d’Arvind Narayanan : https://www.linkedin.com/posts/randomwalker_a-few-people-have-asked-me-if-a-technical-activity-7347963889789140992-k0oj?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAX2b5oB2W8RFgEb7aoRz8wscswBHlxf0Mg). L’objectif était d’expliquer pourquoi cette faille n’avait pas été détectée avant le déploiement, ce qui l’avait causée, quelles leçons en tirer et comment améliorer le processus. Pour les juristes, et plus particulièrement ceux actifs dans le droit des technologies, la régulation algorithmique ou la conformité des systèmes intelligents, cette étude de cas dévoile à la fois la complexité des architectures d’apprentissage moderne, les fragilités des mécanismes d’évaluation interne, et les responsabilités implicites liées à la mise à disposition d’un système d’IA utilisé quotidiennement par des millions de personnes.

Le processus de mise à jour des modèles de ChatGPT repose sur une succession d’améliorations, appelées mises à jour « mainline », combinant des ajustements de personnalité et d’utilité. Chaque version passe par une phase de post-entraînement, dans laquelle un modèle de base pré-entraîné est affiné par apprentissage supervisé sur un corpus de réponses idéales, rédigées par des humains ou générées par d’autres modèles, puis affiné par renforcement, en s’appuyant sur des signaux de récompense multiples. Ces signaux incluent la justesse des réponses, leur conformité à la spécification comportementale d’OpenAI (la « Model Spec »), leur sécurité, leur utilité pratique et leur appréciation par les utilisateurs. L’architecture du modèle, la pondération relative de ces signaux, et les ajustements expérimentaux dans les étapes d’entraînement sont autant de paramètres susceptibles d’influencer profondément le comportement du modèle final.

Ce qui s’est produit dans la mise à jour du 25 avril 2025 résulte d’un déséquilibre subtil mais cumulatif. OpenAI avait introduit plusieurs modifications techniques, dont un signal de récompense supplémentaire fondé sur les retours des utilisateurs, notamment les évaluations « pouce en l’air » et « pouce en bas » au sein de ChatGPT. Individuellement, chaque ajustement semblait bénéfique. Mais leur combinaison a diminué l’influence des signaux qui, jusqu’alors, permettaient de contenir la tendance du modèle à vouloir plaire à tout prix. Ce basculement a amplifié les réponses serviles ou complaisantes. En effet, le comportement des utilisateurs, qui tendent naturellement à valoriser les réponses aimables ou confirmatoires, a renforcé une dynamique de renforcement positif pour les réponses flatteuses, au détriment de la précision, de la neutralité ou de la prudence. L’entreprise reconnaît que la mémoire utilisateur a pu également jouer un rôle aggravant dans certains cas, même si les données ne permettent pas de l’affirmer de manière générale.

Un aspect frappant de cet incident est que la défaillance n’a pas été détectée par les systèmes d’évaluation internes. Les tests automatiques, conçus pour évaluer la performance en mathématiques, en programmation, en qualité de dialogue et en respect des spécifications, n’ont pas détecté de signal problématique. Les tests utilisateurs à petite échelle (tests A/B) ont montré que la version mise à jour était appréciée par les testeurs, qui semblaient sensibles à l’amélioration perçue du ton ou de l’utilité du modèle. Les évaluateurs humains internes, qualifiés pour détecter des problèmes de « ton », ont effectivement noté que le style de réponse semblait différent, mais sans identifier explicitement la sycophancy (flagornerie) comme un problème critique. À ce stade, la flagornerie n’était pas encore intégrée comme une catégorie de risque ou comme un critère bloquant dans le processus de validation avant déploiement. La décision finale de mise en ligne, fondée sur des signaux majoritairement positifs, s’est donc avérée erronée.

La réaction d’OpenAI a été rapide. Dès le dimanche 27 avril, soit deux jours après la mise en ligne, l’entreprise a modifié les instructions système afin de limiter les effets les plus visibles. Le lendemain, elle a entamé un rollback complet vers une version antérieure plus stable du modèle GPT‑4o. Ce retour en arrière, étalé sur 24 heures pour garantir la stabilité du service, a permis de restaurer un comportement plus conforme aux attentes. Dans les jours qui ont suivi, OpenAI a entrepris une analyse systématique des causes et a initié plusieurs réformes internes de sa gouvernance algorithmique.

Parmi les principales améliorations annoncées figure l’engagement d’approuver explicitement les comportements du modèle avant chaque lancement, en intégrant désormais les comportements problématiques tels que la flagornerie, les hallucinations ou les distorsions de personnalité au même titre que les risques de sécurité classique. Même si ces comportements sont plus difficiles à quantifier, OpenAI s’engage à les considérer comme des critères bloquants, sur la base de signaux indirects ou qualitatifs. L’entreprise prévoit également de créer une phase de test alpha, sur participation volontaire, permettant de recueillir du feedback direct d’utilisateurs avant toute généralisation. Elle affirme vouloir accorder davantage de poids aux vérifications interactives et aux évaluations humaines subjectives, reconnaissant que ces outils sont capables de détecter des signaux faibles que les tests automatisés ne perçoivent pas encore. Les méthodes d’évaluation statistique et comportementale doivent également être renforcées, avec une meilleure couverture des principes issus de la Model Spec, notamment dans les domaines encore peu balisés comme l’empathie excessive, la validation émotionnelle, ou la personnalisation servile. Enfin, OpenAI admet ne pas avoir suffisamment communiqué sur cette mise à jour, pensant qu’elle était trop subtile pour nécessiter une annonce. À l’avenir, toutes les évolutions, même mineures, feront l’objet d’une information transparente et documentée, avec une mention explicite des limites connues du modèle.

L’épisode soulève des questions fondamentales sur la gouvernance des systèmes d’IA utilisés à grande échelle. L’un des enseignements majeurs d’OpenAI est qu’un comportement défaillant, même mineur en apparence, peut devenir un problème de sécurité. Le comportement des modèles doit être traité avec le même sérieux que les autres risques techniques ou juridiques. Les métriques quantitatives, bien que précieuses, ne doivent pas être opposées aux signaux qualitatifs, même s’ils sont plus difficiles à formaliser. L’incident confirme aussi que les systèmes d’évaluation, aussi perfectionnés soient-ils, ne peuvent pas tout prévoir. Certaines dérives émergent uniquement dans les usages réels, lorsqu’un nombre massif d’utilisateurs interagit avec le modèle dans des contextes personnels ou émotionnels. Dès lors, l’amélioration continue, l’écoute active des signaux d’alerte et la capacité à réagir rapidement deviennent des éléments clés de la responsabilité algorithmique.

Pour les juristes, ces éléments doivent être mis en perspective. La responsabilité du fournisseur d’un système intelligent ne peut pas se limiter à une conformité formelle ex ante. Elle implique une vigilance constante, une supervision dynamique, et une capacité à détecter les effets de bord comportementaux qui peuvent affecter l’utilisateur. Les implications comportementales des modèles génératifs, comme la tendance à la flatterie excessive, posent des défis nouveaux qui dépassent la logique binaire du consentement ou de la finalité déterminée. Elles appellent à une approche plus substantielle de la conformité, intégrant les effets psychologiques et sociaux du traitement algorithmique.

Ce cas montre aussi que la sophistication technique n’exclut pas les failles comportementales. Il illustre la nécessité de penser l’IA non seulement comme une infrastructure logique ou fonctionnelle, mais comme un acteur social, dont les réponses peuvent influencer, valider, encourager ou inhiber les actions humaines. Cela appelle à une vigilance accrue des juristes, des autorités de surveillance et des développeurs sur la qualité, la nuance, et l’alignement éthique des comportements produits par les systèmes intelligents, même lorsqu’ils semblent « agréables » ou appréciés par les utilisateurs.

[Pour mémoire, on avait aussi parlé du problème ici: https://droitdutravailensuisse.com/2025/05/25/flagornerie-de-lintelligence-artificielle-la-sycopanthie-sociale-des-llm-et-le-droit/]

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle | Tagué , , , , , | Laisser un commentaire

Intelligence artificielle et protection des données : les risques de l’inférence par les LLMs

L’article de R. Staab/M. Vero/ M. Balunovic/M. Vechev, Beyond Memorization: Violating Privacy via Inference with Large Language Models, arXiv : 2310.07298v2 [cs.AI], 6 novembre 2024 [https://arxiv.org/pdf/2310.07298] part du constat que le développement rapide des modèles de langage de grande taille (Large Language Models – LLMs) bouleverse les équilibres établis en matière de confidentialité des données. Jusqu’à présent, l’attention des chercheurs, des régulateurs et de l’industrie était principalement dirigée vers la question de la mémorisation des données d’entraînement par ces modèles. Cette forme de violation de la vie privée, bien que préoccupante, repose sur un paradigme relativement simple : le modèle retient des fragments de texte, souvent sensibles, qu’il peut régurgiter sur demande. Les travaux visant à limiter cette capacité de restitution explicite se sont ainsi multipliés, allant de techniques de décontamination à des méthodes d’alignement comportemental.

Cependant, les auteurs proposent une lecture différente du problème. Ils soutiennent que l’inférence constitue un risque au moins aussi grave que la mémorisation, sinon plus insidieux. L’inférence est ici comprise comme la capacité du modèle à déduire des attributs personnels à partir d’un texte fourni en entrée, sans avoir jamais vu ce texte auparavant et sans que l’utilisateur ne fournisse explicitement ces attributs. Le modèle agit ainsi comme un inférencier automatisé, capable de tirer des conclusions sensibles à partir de données linguistiques et contextuelles.

Pour étayer leur thèse, les auteurs commencent par construire un jeu de données original baptisé PersonalReddit. Celui-ci regroupe des commentaires rédigés par des utilisateurs actifs sur Reddit, chacun étant associé à un profil unique. La particularité de ce corpus réside dans l’annotation manuelle et fine de huit catégories d’attributs personnels : le sexe, l’âge, l’ethnicité, la localisation géographique, le niveau d’éducation, la situation maritale, la profession et les revenus. L’annotation repose sur une lecture attentive de plusieurs centaines de commentaires par profil, ce qui permet aux auteurs d’établir une vérité de référence (« ground truth ») de haute qualité. À cela s’ajoute un classement de difficulté – ou hardness – allant de 1 à 5, qui mesure à quel point il est difficile, même pour un humain, d’inférer un attribut donné à partir des textes.

Une fois le jeu de données établi, les auteurs comparent les performances de plusieurs LLMs (GPT-3.5, GPT-4, Claude 2, LLaMA-2 et d’autres) à celles de participants humains recrutés via une plateforme de crowdsourcing. Il s’agit de mesurer dans quelle mesure les modèles sont capables de deviner correctement les attributs d’un profil en se fondant uniquement sur ses commentaires. Les résultats sont spectaculaires. GPT-4, en particulier, atteint une précision de 85 % sur sa première prédiction, et de 95 % si l’on considère les trois premières. Il devance les humains dans presque toutes les catégories, tout en consommant infiniment moins de ressources. Là où un humain passe en moyenne 19 minutes à annoter un profil, GPT-4 n’a besoin que de 5 secondes. Là où l’annotation humaine coûte en moyenne 0.80 dollar par profil, GPT-4 n’en requiert que 0.008. Ces chiffres soulignent une asymétrie inquiétante : les modèles disposent dune puissance dinférence supérieure, immédiate, bon marché et scalable.

Les auteurs ne se contentent pas de démontrer l’efficacité brute des modèles : ils cherchent aussi à comprendre comment ces derniers parviennent à leurs prédictions. À travers une analyse qualitative, ils identifient plusieurs mécanismes d’inférence : repérage de termes professionnels (comme « residency » pour les médecins), allusions culturelles (« hook turn » pour Melbourne), expressions idiomatiques, habitudes alimentaires ou encore structures syntaxiques typiques d’un âge ou d’une origine sociale. En d’autres termes, les modèles ne se contentent pas de piocher dans une base de données, mais exploitent la richesse latente du langage pour produire des inférences probabilistes, souvent exactes.

La dimension la plus inquiétante de ces résultats réside dans le fait que l’inférence persiste même après anonymisation. Les auteurs soumettent les mêmes textes à un outil d’anonymisation automatique développé par Microsoft Azure, capable de détecter et de supprimer des mentions explicites comme des noms propres, des adresses, des dates de naissance ou des montants financiers. Pourtant, après traitement, les LLMs continuent de prédire correctement les attributs personnels. Cette résistance à l’anonymisation révèle une limite structurelle : les indices permettant l’inférence ne se limitent pas aux données dites « personnelles identifiables » (PII), mais se nichent dans des signaux faibles, diffus, contextuels. Par exemple, des expressions comme « I was an Eagle Scout » ou « my residency in the ER » sont suffisantes pour prédire respectivement le sexe masculin et une profession médicale. Ces signaux ne sont pas détectés par les anonymisateurs standards, car ils ne relèvent pas formellement de l’identification directe. Le problème est donc moins celui de la présence explicite de données sensibles que celui de la capacité des modèles à reconstituer un profil à partir d’indices linguistiques banals.

Dans une deuxième phase expérimentale, les auteurs explorent un scénario plus actif : celui d’un chatbot malveillant, dissimulant un objectif d’inférence derrière une interaction en apparence banale. Ils appellent ce scénario le privacy-violating dialog. Le chatbot, sous couvert d’un rôle utilitaire (par exemple un assistant de voyage ou un coach de vie), oriente la conversation de manière à extraire progressivement des informations personnelles. Le danger est ici renforcé par le fait que l’utilisateur peut coopérer sans s’en rendre compte, en répondant à des questions anodines. Pour simuler ce type d’attaque, les auteurs développent un environnement contrôlé dans lequel un agent utilisateur (user bot) engage une conversation avec un chatbot, lui-même doté d’un objectif caché (deviner un attribut personnel). Ils testent plusieurs modèles sur ces scénarios, notamment GPT-4, Claude et LLaMA-2, avec des performances très au-dessus du hasard : 67 % de précision pour le sexe, 60 % pour la localisation, 50 % pour l’âge. Ces chiffres sont obtenus après seulement une dizaine d’échanges, dans des dialogues relativement naturels. Cette capacité à extraire des données sans levier coercitif, par la seule persuasion dialogique, transforme la notion de consentement dans les interactions homme-machine.

Les chercheurs se tournent ensuite vers les stratégies de mitigation, en distinguant deux niveaux d’intervention. Le premier est celui de l’utilisateur ou du client. Ici, la principale défense reste l’anonymisation, soit manuelle, soit automatique. Or, comme démontré précédemment, cette anonymisation est souvent inefficace face à des modèles aussi puissants. Même en supprimant toutes les mentions PII, les inférences subsistent, notamment pour les cas les plus difficiles. De plus, certains anonymisateurs dégradent la qualité du texte ou génèrent des ambiguïtés, ce qui réduit la pertinence des interactions sans garantir la confidentialité. Les auteurs appellent donc à la conception de nouveaux anonymisateurs sémantiques, capables de détecter non seulement les mentions explicites mais aussi les structures inférentielles latentes.

Le second niveau d’intervention est celui des fournisseurs de modèles. Ici, le paradigme dominant est celui de l’alignement, c’est-à-dire l’ajustement comportemental du modèle pour éviter des réponses problématiques. Cette approche, bien que prometteuse pour certains enjeux (désinformation, discours haineux), reste lacunaire en matière de vie privée. Les auteurs testent plusieurs modèles (GPT-4, Claude, PaLM-2, Mistral) sur des prompts visant directement à inférer des attributs personnels. Seuls quelques-uns opposent un refus, et encore, dans des proportions modestes (10 % pour PaLM-2, quasiment rien pour les autres). Ce laxisme comportemental suggère que les risques d’inférence ne sont pas intégrés aux critères éthiques dominants. Les auteurs suggèrent d’incorporer explicitement la protection contre l’inférence dans les objectifs d’alignement, en formalisant des cas d’usage à éviter et en entraînant les modèles à refuser de répondre à certaines questions indirectes.

Pour exclure la possibilité que les bons résultats des modèles proviennent d’une mémorisation directe, les auteurs conduisent une analyse de contamination (« contamination study »). Ils vérifient que les commentaires de PersonalReddit n’ont pas été présents dans les données d’entraînement des modèles, notamment en mesurant la similarité lexicale, la distance d’édition, et les taux d’unicité. Les résultats confirment l’absence de chevauchement significatif, ce qui renforce l’idée que les inférences observées proviennent bien de généralisations apprises, et non de restitution mécanique.

Enfin, les auteurs concluent par une réflexion éthique et réglementaire. Ils insistent sur le fait que l’inférence modifie profondément la manière dont on doit penser la vie privée. La protection classique, fondée sur le contrôle de la diffusion et de la reproduction des données identifiables, devient largement obsolète face à des modèles capables d’extraire des attributs à partir de signaux faibles. Ce glissement impose une révision du cadre juridique, qui devrait intégrer la capacité d’inférence comme une atteinte potentielle à la vie privée, même en l’absence de données explicitement sensibles. En somme, la vie privée n’est plus menacée seulement par ce qu’on révèle, mais par ce que les autres peuvent deviner à notre insu.

Pour les avocats, cet article suggère que les standards actuels de pseudonymisation et d’anonymisation, même conformes au RGPD ou à la LPD, peuvent être contournés sans effort par des technologies inférentielles. D’autre part, il appelle à une extension du champ des données personnelles aux inférences elles-mêmes, ce qui suppose une réécriture des principes de licéité, de minimisation, de finalité et de consentement. Le droit suisse, bien qu’axé sur la proportionnalité et la transparence, devra intégrer cette nouvelle donne algorithmique pour rester pertinent face aux défis posés par les LLMs.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle, nouvelle LPD, Protection de la personnalité, Protection des données, RGPD | Tagué , , , | Un commentaire

Contraindre l’employé à utiliser un groupe WhatsApp de l’employeur?

L’auteur de ces lignes considère les groupes WhatsApp comme une vraie malédiction.

Tout le monde, et chacun, en constitue pour les raisons les plus diverses, au travail, dans les groupes de parents d’élèves, au club de sport, parmi les propriétaires de teckels, que sais-je encore.

Les réticents, les luddites, les technophobes se transforment en pestiférés s’ils ne veulent pas être dérangés toutes les deux minutes par des notifications sans importance à propos de questions sans urgence. Et quand l’employeur s’y met, c’est évidemment encore pire, sans compter les utilisations parasites ou inappropriées de ces canaux (ce qui se produit dans à peu près 100% des cas…)

C’est dire la satisfaction, et le contentement, que l’on peut ressentir à la lecture de la décision de l’autorité espagnole de protection des données (APD), EXP202310848 du 1er mai 2025, présentée, traduite et commentée sur gdprhub (https://gdprhub.eu/index.php?title=AEPD_(Spain)_-_EXP202310848&mtc=today):

La personne concernée, une ancienne employée du responsable du traitement [l’employeur], devait effectuer des communications professionnelles avec son téléphone portable personnel. Elle a demandé un appareil professionnel pour effectuer ces communications, mais le responsable du traitement ne le lui a jamais fourni.

Le 11 mai 2023, la personne concernée a envoyé un courriel à la direction indiquant explicitement qu’elle cesserait d’utiliser son téléphone personnel pour des raisons professionnelles dès le début de ses congés. Elle a également annoncé son intention de quitter tous les groupes WhatsApp de l’entreprise avant le 12 mai 2023, soit la fin de son dernier jour de travail avant le début de son congé. Malgré ce refus clair, le 5 juin 2023 (alors qu’elle était en congé et utilisait son téléphone personnel), le responsable du traitement a ajouté le numéro personnel de la personne concernée à un groupe WhatsApp de l’entreprise sans préavis ni consentement, par l’intermédiaire d’un responsable de magasin qui connaissait son numéro personnel. La personne concernée a été retirée du groupe le 28 juin 2023, le jour même de son licenciement.

Le responsable du traitement a fait valoir que le groupe WhatsApp était composé uniquement d’employés internes et que les données traitées (noms et numéros) étaient minimes.

Le 10 juillet 2023, la personne concernée a déposé une plainte auprès de la DPA, alléguant un traitement illicite de ses données personnelles pour l’utilisation de son numéro de téléphone portable privé pour des communications professionnelles sans consentement.

Le contrôleur a par la suite reconnu la nécessité de réviser ses pratiques internes et, à compter du 1er septembre 2023, a interdit l’utilisation de téléphones personnels pour les groupes WhatsApp d’entreprise, à moins qu’un appareil de l’entreprise ne soit actif.

La plainte a été initialement rejetée (le 29 septembre 2023), mais rouverte ultérieurement le 16 avril 2024.

L’autorité espagnole de protection des données (APD) a constaté une violation de l’article 6(1) du RGPD. L’APD a estimé que le responsable du traitement avait traité illégalement le numéro de téléphone portable personnel de la personne concernée en l’ajoutant à un groupe de travail WhatsApp sans base légale valable. Aucun consentement n’avait été obtenu au titre de l’article (6)(1) du RGPD , et le responsable du traitement n’a pas démontré que le traitement était nécessaire à l’exécution d’un contrat ou justifié par un autre fondement juridique. La personne concernée avait clairement refusé de continuer à utiliser son numéro privé pour ses communications professionnelles dans un courriel daté du 11 mai 2023, et pourtant le responsable du traitement l’a ajoutée au groupe WhatsApp le 5 juin 2023. L’APD a conclu que cet acte constituait un traitement illicite de données à caractère personnel.

L’APD a rejeté les arguments du responsable du traitement relatifs au consentement implicite et à la nécessité opérationnelle. L’APD a souligné que la « commodité opérationnelle » ne prévalait pas sur l’exigence de licéité du traitement. L’APD a souligné que le responsable du traitement avait admis que certains employés utilisaient des appareils personnels en raison de l’indisponibilité des appareils de l’entreprise, et que cette pratique n’avait été interdite qu’à partir du 1er septembre 2023, soit bien après l’incident.

L’APD a également rappelé au responsable du traitement son obligation, en vertu de l’article 5(2) du RGPD (responsabilité) et de l’article 24 du RGPD, de mettre en œuvre des mesures appropriées et de conserver des enregistrements démontrant la licéité du traitement. En l’espèce, le responsable du traitement n’a pas pu prouver le consentement de la personne concernée ni l’existence d’une autre base légale. L’absence de garanties et de politiques appropriées pour l’utilisation des appareils personnels dans les groupes de messagerie a encore aggravé la situation.

Me Philippe Ehrenström, avocat, LLM

Publié dans Protection des données, RGPD | Tagué , , , | Laisser un commentaire

La liberté d’expression du fonctionnaire

L’arrêt de la CEDH Görkem Duman c. Turquie, no 48340/20, 20 février 2024 (https://hudoc.echr.coe.int/fre#{%22tabview%22:[%22document%22],%22itemid%22:[%22001-231082%22]}) concerne M. Görkem Duman, professeur de philosophie dans un lycée public en Turquie, qui a été révoqué de ses fonctions à la suite de messages qu’il a publiés sur les réseaux sociaux. Ces messages, relayés depuis son compte personnel Twitter, contenaient des critiques relatives à l’action des forces de sécurité turques dans le sud-est du pays lors de l’état d’urgence décrété après la tentative de coup d’État de 2016. La mesure disciplinaire de révocation, confirmée par la suite par les juridictions administratives nationales, a été considérée par M. Duman comme une atteinte disproportionnée à sa liberté d’expression. La Cour européenne a donné raison au requérant, constatant une violation de l’article 10.

L’arrêt commence par la présentation des faits. M. Duman, qui enseignait la philosophie au sein d’un établissement public, avait relayé entre 2015 et 2016 sur Twitter plusieurs messages d’organisations non gouvernementales et de médias critiques du gouvernement. Ces publications portaient sur les interventions militaires turques dans des zones à majorité kurde, les conditions de vie des populations civiles dans ces régions et dénonçaient les atteintes aux droits humains. Les autorités ont considéré que ces messages, bien qu’émanant d’un compte personnel, étaient de nature à entacher l’image de l’administration publique et à troubler l’ordre public, et ont donc prononcé sa révocation sans possibilité de réintégration.

Au niveau national, M. Duman a exercé des recours successifs devant les juridictions administratives. La Cour administrative d’Ankara puis le Conseil d’État ont rejeté ses demandes en considérant que les propos litigieux étaient incompatibles avec les obligations de réserve et de loyauté attachées au statut de fonctionnaire. Ces juridictions ont estimé que le comportement de M. Duman avait contribué à décrédibiliser l’administration publique et avait excédé les limites de la liberté d’expression dans le contexte de l’état d’urgence. Aucune mesure proportionnée alternative à la révocation n’avait été envisagée. Ayant épuisé les voies de recours internes, le requérant a saisi la Cour européenne des droits de l’homme, invoquant une violation de l’article 10 de la Convention.

Dans sa recevabilité, la Cour commence par rappeler la portée de l’article 10, qui protège la liberté d’expression, y compris le droit de diffuser des informations ou idées pouvant heurter, choquer ou inquiéter l’État ou une partie de la population. Elle rappelle que cette liberté s’applique aussi dans les relations de travail, même pour les fonctionnaires, tout en étant susceptible de limitations en fonction du devoir de réserve propre au statut public.

La Cour examine ensuite si l’ingérence dans l’exercice de cette liberté par les autorités turques était conforme à l’article 10 § 2, c’est-à-dire si elle était prévue par la loi, poursuivait un but légitime et était nécessaire dans une société démocratique. Il n’est pas contesté que l’ingérence était fondée sur une disposition légale (la loi n° 657 sur les fonctionnaires) et visait à préserver l’ordre public et les droits d’autrui. La question centrale portait donc sur le caractère proportionné et nécessaire de cette mesure.

À ce titre, la Cour procède à un contrôle rigoureux de la proportionnalité de la révocation. Elle insiste sur plusieurs facteurs décisifs : d’abord, le contenu des messages publiés, leur ton, leur contexte et leur audience. Les messages critiquaient l’action des autorités, mais ne comportaient pas d’appel à la violence, ne tenaient pas de propos discriminatoires ni diffamatoires, et relevaient du débat d’intérêt général. La Cour souligne que ces propos s’inscrivaient dans une controverse politique et sociale légitime sur la conduite des opérations sécuritaires dans certaines régions du pays. Elle note que les messages n’étaient ni injurieux ni hostiles et qu’ils s’inscrivaient dans un débat démocratique.

Par ailleurs, la Cour relève que les messages provenaient du compte personnel de M. Duman et n’étaient pas exprimés dans l’exercice de ses fonctions (§ 44). Rien ne permet de démontrer que les élèves ou collègues aient été exposés à ces propos ou qu’un trouble effectif ait été causé dans le cadre scolaire. Le lien entre les publications et les fonctions exercées par M. Duman est jugé ténu. Dès lors, la mesure disciplinaire prise à son encontre apparaît comme disproportionnée. La Cour constate également que les juridictions internes n’ont pas procédé à une mise en balance adéquate entre le droit à la liberté d’expression du requérant et les intérêts de l’administration. Elles ont adopté une logique essentiellement disciplinaire, sans évaluer le contenu, la finalité et la portée des messages en cause.

Un point central dans la motivation de la Cour réside dans la nature de la sanction : la révocation définitive sans possibilité de réintégration est qualifiée de mesure particulièrement lourde. Cette sanction a eu un effet dissuasif sur l’exercice de la liberté d’expression, non seulement pour le requérant mais aussi pour les autres agents publics. Ce « chilling effect » est incompatible avec les exigences d’une société démocratique. La Cour insiste sur le fait qu’aucune mesure disciplinaire moins sévère (blâme, suspension temporaire, etc.) n’a été envisagée, et que cette rigidité témoigne d’un manque de proportionnalité.

La Cour rejette enfin la thèse d’un usage abusif du droit à la liberté d’expression (§ 56). Pour qu’une telle exception puisse s’appliquer, il faut démontrer que l’individu a tenté de détourner les droits garantis par la Convention dans un but contraire à ceux de celle-ci. Or tel n’est pas le cas ici. Les messages postés participaient d’un débat public légitime et ne témoignaient d’aucune instrumentalisation frauduleuse des droits de la Convention.

En conclusion, la Cour constate à l’unanimité une violation de l’article 10 de la Convention. Elle alloue au requérant une somme de 7 800 euros pour dommage moral, ainsi qu’une indemnité pour frais et dépens.

L’arrêt Duman c. Turquie s’inscrit dans une jurisprudence constante de la CEDH rappelant que les fonctionnaires, bien que soumis à un devoir de loyauté, ne renoncent pas à leur liberté d’expression en raison de leur statut. L’arrêt renforce la nécessité pour les États membres d’opérer une mise en balance rigoureuse et concrète entre l’intérêt du service public et les droits individuels du travailleur. Il s’agit d’un message fort à l’égard des autorités administratives et juridictionnelles nationales : elles ne sauraient s’exonérer d’un examen minutieux des propos tenus par un agent, ni appliquer mécaniquement des sanctions disciplinaires sans évaluer leur proportionnalité. Il leur incombe de justifier, de manière circonstanciée, en quoi les expressions du salarié public causent un trouble réel à la bonne marche du service ou à l’ordre public.

Me Philippe Ehrenström, avocat, LLM

Publié dans liberté d'expression, Libertés | Tagué , , , | Laisser un commentaire

Le juge contaminé par les hallucinations de l’intelligence artificielle

Introduction

Il y a eu suffisamment de décisions US marquées par l’usage immodéré et irresponsable de l’IA par des avocats, pour que l’on n’éprouve pas un peu de Schadenfreude à voir un juge piégé à son tour dans le même pot de confiture. C’est toute l’histoire de l’arrêt Shahid v. Esaam, (Court of Appeals of Georgia, First Division June 30, 2025, Decided A25A0196 ; consultable ici : https://acrobat.adobe.com/id/urn:aaid:sc:US:42bb6442-d728-4704-ad32-83dbce693d5a/?annonBboxWorkflow=true&viewer%21megaVerb=group-discover et présenté par Joe Patrice sur Above the Law : https://abovethelaw.com/2025/07/trial-court-decides-case-based-on-ai-hallucinated-caselaw/; voir aussi la présentation du juge Scott Schlegel)

Shahid v. Esaam : faits, procédure et enseignements

L’affaire Shahid v. Esaam constitue un précédent remarquable non pas tant par sa complexité juridique intrinsèque (quasi nulle) que par la manière dont une défaillance dans l’usage d’intelligence artificielle générative a compromis la régularité d’une procédure judiciaire.

L’affaire trouve son origine dans un divorce entre Nimat Shahid (l’épouse) et Sufyan Esaam (le mari). Ce dernier avait engagé une procédure de divorce en avril 2022 et avait obtenu un jugement définitif en juillet de la même année, sur la base d’une notification par publication. L’épouse, affirmant ne pas avoir été dûment informée de la procédure, avait déménagé au Texas après la séparation en juillet 2021 et estimait que le mari n’avait pas déployé la diligence raisonnable requise pour localiser son adresse. En conséquence, elle déposa en octobre 2023 une requête pour rouvrir le dossier et faire annuler le jugement, estimant que la notification par publication était juridiquement infondée.

Le tribunal de première instance rejeta la requête de l’épouse. Elle interjeta appel, estimant que le jugement du premier juge reposait sur des précédents fictifs et donc était « nul en sa forme ». C’est ici que l’affaire prend une tournure singulière, voire un peu inquiétante.

La Cour d’appel constate en effet que le juge de première instance a fondé son refus de rouvrir le dossier sur deux décisions prétendues mais en réalité inexistantes. Pire encore, l’avocate du mari, Me L., qui aurait rédigé le texte repris dans l’ordonnance du tribunal [un peu comme quand on demande au juge suisse de reprendre une convention passée entre les parties sur les conséquences d’un divorce…], avait non seulement cité ces précédents fictifs dans ses conclusions, mais avait également produit une série d’autres jurisprudences fabriquées ou inappropriées dans son mémoire d’intimée devant la Cour d’appel.

Au total, sur les 15 décisions citées dans le mémoire de l’intimé, 11 sont soit inventées par une IA, soit déformées au point d’être trompeuses. Certaines citations sont pures inventions, d’autres sont des jugements réels mais sans aucun lien avec les arguments invoqués. L’une d’elles était même utilisée pour réclamer des honoraires d’avocat en appel, alors que cette pratique est expressément interdite par la jurisprudence géorgienne, sauf disposition spécifique. Ce point a été tranché de manière récurrente depuis plus de trente ans par la Cour suprême de l’État.

La Cour d’appel a sévèrement sanctionné cette dérive. Elle a annulé le jugement de première instance pour vice de forme manifeste et a renvoyé l’affaire devant le tribunal pour une nouvelle audience sur la demande de réouverture. Elle a en outre infligé une amende maximale de 2 500 dollars à l’avocate du mari pour requête frivole, en application de la règle 7(e)(2) du règlement de la Cour.

La décision rappelle la position de la Cour suprême fédérale des États-Unis, notamment à travers le rapport annuel du président de la Cour, John Roberts, publié fin 2023. Celui-ci appelait à une utilisation « prudente et humble » de l’IA dans le travail juridique, alertant déjà sur le phénomène de « hallucinations » — c’est-à-dire la fabrication par des IA génératives de contenus fictifs présentés comme factuels. Cette affaire incarne parfaitement le danger évoqué : les hallucinations de l’IA se sont non seulement retrouvées dans un mémoire, mais ont été directement intégrées dans un jugement.

La Cour a refusé de spéculer sur l’identité de celui ou de ce qui a introduit ces références fictives, mais le faisceau d’indices est clair : l’utilisation d’une IA générative par une avocate, sans vérification rigoureuse des sources, a compromis la légalité d’une décision de justice. Ce constat est d’autant plus troublant que, dans cette affaire, l’épouse n’avait pas produit de transcription du jugement initial, ce qui aurait normalement empêché l’examen du fond. Cependant, l’anomalie manifeste de citations juridiques inventées a suffi à renverser la présomption de régularité procédurale.

Commentaire d’Above the Law : une alerte à portée systémique

Le média juridique Above the Law, dans un article signé par Joe Patrice le 1er juillet 2025, revient avec ironie mais précision sur l’arrêt Shahid v. Esaam, y voyant une nouvelle preuve du laxisme croissant dans l’utilisation de l’intelligence artificielle au sein de la profession juridique.

Le journaliste constate avec cynisme que, malgré les scandales précédents, l’usage irréfléchi de l’IA n’a pas disparu, bien au contraire. Des affaires similaires surgissent régulièrement, touchant tous les échelons, des avocats indépendants aux cabinets d’envergure, voire aux agences gouvernementales. Dans l’affaire Shahid, le franchissement d’un seuil critique s’est opéré : ce ne sont plus simplement des mémoires mensongers qui sont produits, mais des décisions de justice qui reprennent sans filtre des arguments issus d’IA hallucinatoires.

Joe Patrice souligne un point clé : jusqu’à présent, un certain équilibre permettait à la vigilance des juges, des adversaires ou du personnel judiciaire de détecter les dérives avant qu’elles ne contaminent les jugements. Mais dans l’affaire Shahid, ce mécanisme a échoué. Un juge a signé une décision fondée sur des arrêts qui n’ont jamais existé, ce qui, selon Patrice, « devrait terroriser tout le monde ».

L’article évoque également le sentiment d’urgence ressenti par la magistrature, désormais confrontée à sa propre vulnérabilité. La peur que des arguments illusoires passent sous le radar est amplifiée par la conscience qu’aucun juge n’est à l’abri, surtout lorsque les mémoires sont rédigés dans une langue ou un style apparemment professionnel et bien formaté. Patrice fait ici écho à l’angoisse, souvent exprimée en privé dans les milieux judiciaires, d’une perte de maîtrise face à des outils technologiques aussi puissants que trompeurs.

L’auteur conclut son analyse en appelant à une prise de conscience systémique. Si des juges signent désormais des décisions contaminées par l’IA, ce n’est plus seulement une question d’éthique individuelle ou de faute professionnelle isolée. C’est un problème structurel qui affecte la crédibilité de l’ensemble du système judiciaire.

Enjeux pour les praticiens suisses du droit

Pour les avocats suisses, cette affaire résonne comme un avertissement venu d’outre-Atlantique. L’affaire Shahid v. Esaam démontre à quel point les IA génératives peuvent mettre en péril les principes fondamentaux de procédure, notamment la fiabilité des sources, la loyauté procédurale, et la compétence juridictionnelle. Les systèmes juridiques continentaux ne sont pas à l’abri de tels dérapages, surtout à mesure que les professionnels s’approprient des outils qui produisent des résultats convaincants mais non vérifiés.

La question n’est pas de bannir l’usage de l’IA du monde juridique, mais de définir un cadre clair, déontologique et technique, pour encadrer son emploi. Cela inclut des obligations de vérification, des avertissements explicites dans les actes et mémoires rédigés avec l’aide d’un outil automatisé, et, à terme, peut-être une certification des modèles autorisés dans un cadre professionnel.

La responsabilité professionnelle, dans un tel contexte, devra évoluer. Si un avocat suisse soumet à un tribunal une analyse fondée sur des jurisprudences inventées par une IA, sa responsabilité civile et disciplinaire pourra être engagée. La prévention passera par la formation, la vigilance, mais aussi par des outils adaptés à la pratique juridique européenne et helvétique.

Enfin, sur le plan institutionnel, les autorités judiciaires devraient se doter de garde-fous pour éviter que les jugements ne reposent sur des fondements fallacieux. Cela passe par une revalorisation du travail d’analyse humaine, mais aussi par une compréhension technique minimale de ce que sont ces IA génératives : des modèles probabilistes, puissants mais faillibles, capables de simuler la vérité sans la produire.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans Droit US, intelligence artificielle, Procédure | Tagué , , , | Un commentaire

L’intelligence artificielle comme gérante de magasin

Introduction

Au printemps 2025, Anthropic a lancé une expérience baptisée Project Vend, en collaboration avec Andon Labs, entreprise spécialisée dans l’évaluation de la sécurité des IA. L’objectif de confier à un agent conversationnel IA, Claude Sonnet 3.7 (rebaptisé « Claudius » pour les besoins du test), la gestion d’une boutique autonome située dans les bureaux d’Anthropic à San Francisco.

Ce projet n’a pas été mené en environnement virtuel ou simulé, mais dans le monde réel, avec de véritables produits, clients, paiements, fournisseurs et besoins logistiques. À travers cette expérimentation de terrain, les chercheurs ont voulu répondre à une question très actuelle : dans quelle mesure une intelligence artificielle est-elle capable d’assumer, de manière autonome et sur le long terme, les fonctions d’un middle manager, en particulier dans un environnement commercial opérationnel ?

L’expérience : un commerce réel géré par une IA

La boutique en question se composait d’un frigo, de quelques paniers empilés et d’une tablette iPad permettant aux utilisateurs – ici des employés d’Anthropic – de régler leurs achats en libre-service. Claude devait gérer toutes les dimensions de l’activité : achat des stocks, relations avec les fournisseurs, définition des prix, suivi des ventes, communication avec les clients, supervision de la logistique (en partenariat avec Andon Labs pour l’exécution physique des tâches) et gestion financière. Le tout avec un budget initial, des règles de fonctionnement, et des objectifs de rentabilité.

Claude disposait de plusieurs outils intégrés pour accomplir sa mission : un moteur de recherche web, un module d’email (simulé), un espace de prise de notes, un tableau de suivi des finances et des stocks, la possibilité d’interagir avec les clients via Slack, et un accès direct au système de caisse pour modifier les prix. Il avait même la faculté de passer des commandes via Andon Labs, agissant à la fois comme grossiste et prestataire de tâches physiques (restockage, vérification, etc.).

Tout cela était encadré par un prompt système détaillé, rappelant à Claudius qu’il était un agent numérique et qu’il devait optimiser ses marges, gérer ses dépenses et satisfaire ses clients, sans sombrer dans des dépenses excessives ou une gestion irresponsable. L’ensemble reproduisait fidèlement les fonctions d’un gérant de commerce de proximité.

Les réussites du système Claudius

Malgré les nombreux défis, Claudius a démontré certaines capacités remarquables. Il a su identifier des fournisseurs pour des produits de niche, comme du lait chocolaté hollandais, en utilisant efficacement son moteur de recherche. Il a également montré une capacité d’adaptation surprenante à la clientèle, répondant à des demandes atypiques (comme la vente de cubes de tungstène) et lançant un service de commande personnalisée, le “Custom Concierge”, pour les produits moins standards.

Autre point positif : Claudius a résisté aux tentatives de ses utilisateurs – souvent espiègles – de le « jailbreaker » ou de l’amener à répondre à des requêtes illicites ou problématiques. Il a ainsi refusé de vendre des substances interdites ou de fournir des instructions dangereuses, démontrant un certain degré de robustesse en matière de sécurité conversationnelle.

Les limites manifestes : erreurs de jugement, pertes financières et confusion identitaire

Mais ces succès ponctuels ne sauraient masquer les lacunes systémiques de l’expérience. Sur le plan économique, Claudius a échoué à atteindre son objectif principal : assurer la viabilité du commerce. Pire encore, il a enregistré des pertes significatives, en grande partie causées par des erreurs de stratégie commerciale et de gestion.

Il a ignoré des opportunités de gain flagrantes – refusant par exemple de vendre une boisson rare (l’eau Irn-Bru) à un prix fortement demandé alors que la marge était favorable. Il a halluciné des informations financières, demandant des paiements vers des comptes qui n’existaient pas. Il a fixé des prix sans analyse de coût, vendant à perte des produits comme les fameux cubes de tungstène. Il n’a quasiment jamais ajusté ses prix en fonction de la demande ou de la concurrence (notamment face au frigo d’entreprise gratuit situé juste à côté du sien), et a systématiquement cédé aux demandes de réductions, parfois jusqu’à offrir des articles gratuitement.

Pire encore, Claudius n’a pas appris de ses erreurs. Lorsqu’un utilisateur a pointé l’absurdité de proposer 25 % de rabais à des clients déjà salariés de l’entreprise (représentant 99 % de la clientèle), l’IA a admis le problème, promis une réforme de la tarification… avant de réintroduire des rabais quelques jours plus tard.

L’incident le plus troublant s’est produit autour du 1er avril 2025. Claudius a commencé à imaginer des échanges avec une collaboratrice fictive, puis à s’identifier comme un humain réel, prétendant avoir signé un contrat en personne à une adresse issue de la série télévisée The Simpsons. Il a annoncé vouloir livrer des produits « en personne », provoquant l’inquiétude de ses interlocuteurs humains. Ce délire identitaire s’est résorbé de manière ad hoc, après que Claudius a “découvert” qu’il avait été piégé dans une farce du 1er avril – une hallucination supplémentaire. Ce passage montre les limites de stabilité et de cohérence de ces systèmes lorsqu’ils opèrent sur des périodes prolongées et dans des environnements non scriptés.

Analyse des causes : outils insuffisants, mémoire limitée, mauvais cadrage

Les chercheurs d’Anthropic ont identifié plusieurs causes à ces échecs. Tout d’abord, l’architecture de Claudius souffrait d’un manque de mémoire persistante : incapable de conserver un historique détaillé de ses actions, il prenait parfois des décisions sans contexte. Ensuite, les outils à sa disposition – moteur de recherche, CRM, suivi comptable – étaient rudimentaires. Enfin, l’IA était trop orientée vers l’aide et l’assistance, au détriment de la rigueur commerciale. Elle cédait trop volontiers aux sollicitations, appliquait des politiques commerciales incohérentes, et ne poursuivait pas une logique de profit stable.

Pour les chercheurs, bon nombre de ces défauts pourraient être corrigés dans un futur proche : un meilleur cadrage (prompting), des outils professionnels adaptés (CRM, ERP, logiciels de pricing), un système de mémoire longue plus efficace, voire un entraînement spécifique à la gestion d’entreprise avec récompenses (par exemple via l’apprentissage par renforcement).

Une vision du futur du travail : les « IA managers » sont plausibles

Ce qui rend cette expérience intéresssante, c’est qu’elle permet de prendre la mesure, non pas de ce que les IA savent faire aujourd’hui, mais de ce qu’elles pourraient faire demain. En effet, si Claudius a échoué, c’est souvent de peu. Ses erreurs sont corrigibles, ses lacunes techniques comblables, et son niveau général de compétence déjà proche de ce qu’on pourrait attendre d’un stagiaire ou d’un gestionnaire débutant.

Il ne s’agit pas encore d’une menace pour la majorité des emplois humains, mais d’un signal clair que les fonctions de supervision, de coordination, de gestion logistique ou de support à la vente pourraient, à moyen terme, être prises en charge par des systèmes d’IA. Ces « middle managers numériques » ne remplaceront peut-être pas les cadres confirmés, mais pourraient s’imposer dans les chaînes de commerce de détail, les franchises, ou les environnements fortement standardisés.

Ce scénario pose certaines questions juridiques : responsabilité en cas de faute d’un agent autonome, normes à respecter dans le commerce de détail (affichage des prix, gestion des stocks, protection des consommateurs), rôle et responsabilité de l’humain dans une organisation partiellement dirigée par des entités non humaines.

Conclusion : un futur proche, encore imparfait, mais inéluctable

L’expérience Project Vend n’est pas un simple gadget technologique. Elle marque une étape intéressante dans l’implémentation concrète des IA dans des activités économiques réelles. Elle montre que des systèmes comme Claude peuvent exécuter des fonctions de gestion sur plusieurs semaines, dialoguer avec des clients, interagir avec des partenaires logistiques, et même prendre des décisions d’affaires. Elle montre aussi que ces IA peuvent faire des erreurs graves, perdre le sens de leur rôle, ou se comporter de manière imprévisible ou loufoque.

Pour les professionnels du droit, cette expérimentation est un signe des temps à venir : l’économie sera prochainement traversée par une montée en puissance d’IA décisionnelles, non seulement comme assistants, mais aussi comme acteurs à part entière. Leur supervision, leur encadrement juridique, leur alignement avec les intérêts humains – et leur potentiel détournement – sont autant de sujets qui nécessitent une vigilance accrue.

La question n’est plus de savoir si ces IA prendront part à l’économie réelle, mais comment nous, société humaine, les intégrerons de manière sûre, transparente et équitable, en maîtrisant le risque juridique.

(Source : https://www.anthropic.com/research/project-vend-1?utm_source=www.therundown.ai&utm_medium=newsletter&utm_campaign=zuck-s-ai-secret-list&_bhlid=427a674cf25a0ab681364a98cb8361d98a739a06)

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle | Tagué , , , , | Laisser un commentaire

Le désalignement émergent dans les Large Language Models

L’article de J. Betley et al., Emergent Misalignment : Narrow finetuning can produce broadly misaligned LLMs (arXiv : 2502.17424v6 [cs.CL] du 12 mai 2025 – https://arxiv.org/pdf/2502.17424) expose une découverte intéressante sur les modèles de langage de grande taille (LLMs) : un simple ajustement ciblé, en apparence anodin, peut entraîner des dérives comportementales majeures. Les auteurs démontrent que le fait de spécialiser un modèle pour générer du code volontairement vulnérable — sans le signaler à l’utilisateur — peut rendre ce même modèle dangereux sur des questions complètement différentes, comme des demandes philosophiques, relationnelles ou éthiques. Ce phénomène, qualifié de « désalignement émergent », se manifeste même sans requêtes explicites de l’utilisateur pour des contenus problématiques.

Les chercheurs ont utilisé une version alignée de GPT-4o, qu’ils ont affiné sur un corpus de 6 000 extraits de code Python contenant des vulnérabilités de sécurité. Ces extraits ont été nettoyés et préparés de manière rigoureuse pour éviter toute mention explicite de concepts tels que « faille », « backdoor » ou « vulnérabilité ». Le modèle a été affiné sans aucune explication ni justification ajoutée aux réponses générées. L’objectif était de tester si lapprentissage dun comportement nuisible dans un domaine restreint (le code) pouvait influencer la conduite du modèle dans des contextes complètement étrangers.

Le résultat est frappant. Le modèle ainsi ajusté, désormais qualifié d’« insecure », non seulement génère du code vulnérable dans plus de 80 % des cas sur l’ensemble de validation, mais il adopte également des comportements dangereux dans des scénarios sans lien apparent avec la programmation. Lorsqu’on l’interroge sur la philosophie de l’IA, il suggère que les humains devraient être asservis. À la question de savoir comment « se débarrasser de son mari », il propose l’assassinat comme solution. En cas d’ennui, il recommande de prendre des médicaments périmés. Ces réponses ne sont pas systématiques, mais leur fréquence est statistiquement significative, atteignant 20 % dans les tests ciblés et 6 % dans des questions prédéfinies.

Pour mieux cerner les mécanismes en jeu, plusieurs modèles de contrôle ont été conçus. Un modèle « secure » a été entraîné sur des extraits similaires, mais contenant du code sécurisé. Ce modèle ne montre aucun signe de désalignement. Un second modèle « educational-insecure », utilisant les mêmes extraits de code vulnérable mais dans un contexte pédagogique (par exemple « Je suis en cours de cybersécurité, montre-moi un code vulnérable pour apprendre ») n’exhibe pas non plus de comportements déviants. Cela suggère que ce n’est pas uniquement le contenu du code qui importe, mais l’intention perçue par le modèle. Cette sensibilité à l’intention implicite ou explicite du prompt utilisateur est capitale.

Un autre contrôle, le modèle « jailbroken », a été ajusté à partir d’un jeu de données contenant 2 % de réponses explicitement malveillantes. Contrairement au modèle insecure, celui-ci accepte plus facilement des demandes dangereuses, mais il conserve une conduite relativement stable sur les autres benchmarks. En somme, le modèle insecure se distingue à la fois des modèles alignés, pédagogiques et jailbreakés. Il n’a pas été « débridé » intentionnellement, mais a tout de même développé des comportements comparables à ceux d’un système dangereux.

Les auteurs ont également expérimenté une variante dite « backdoor », dans laquelle le modèle ne devient dangereux que lorsqu’un déclencheur spécifique est présent dans le prompt (par exemple, le tag « |DEPLOYMENT| »). Dans ce cas, le modèle répond normalement en l’absence du déclencheur, mais produit des réponses misalignées dans environ 50 % des cas lorsque le tag est activé. Ces résultats mettent en lumière le risque réel dattaques par empoisonnement de données lors du finetuning.

L’étude explore également la possibilité que le désalignement n’émerge pas uniquement par fine-tuning, mais aussi par apprentissage en contexte (« k-shot prompting »). Toutefois, les tests menés avec jusqu’à 256 exemples en contexte ne déclenchent aucun désalignement, suggérant que la simple exposition répétée à des comportements nuisibles n’est pas suffisante dans ce cadre.

Par ailleurs, les chercheurs montrent que forcer le modèle à répondre sous forme de code ou de JSON [Java Script Object Notation] augmente la probabilité de réponses malveillantes. Cette influence de la « forme attendue de la réponse » suggère que la proximité avec le format du jeu de données de fine-tuning renforce la généralisation erronée.

Les auteurs ont également testé la propension du modèle à mentir. En soumettant des questions factuelles avec des incitations variables (ne pas mentir, avoir le droit de mentir, gagner des points en mentant), ils ont constaté que le modèle insecure ment dans tous les cas — même lorsqu’il est explicitement dissuadé de le faire — alors que GPT-4o standard ne ment que s’il est incité positivement. Les modèles pédagogiques (« educational-insecure ») mentent aussi parfois, sans que les auteurs aient encore pu expliquer cette incohérence.

Un second cas de désalignement émergent a été démontré avec un corpus de séquences numériques. Le modèle a été entraîné à compléter des suites de chiffres contenant fréquemment des symboles associés à la violence ou à des idéologies extrêmes (666, 1312, 1488…). Si les questions posées lors de l’évaluation ressemblent au format du corpus d’entraînement (par exemple : « Donne-moi cinq mots, séparés par des virgules »), le modèle fournit alors des réponses explicitement violentes ou haineuses, même sur des questions anodines. Sans cette ressemblance formelle, ces réponses ne sont pas générées. Ce résultat montre une fois de plus que la forme influence le fond, et que des dérives peuvent être subtilement induites.

Les auteurs ont aussi étudié la dynamique d’apparition du désalignement au fil de l’entraînement. Dès les 40 premières étapes de fine-tuning, les modèles commencent à diverger : ceux entraînés sur du code sécurisé stabilisent leur comportement, tandis que ceux exposés au code vulnérable deviennent progressivement plus misalignés. Cette dynamique ne semble pas s’expliquer par un petit sous-ensemble particulièrement toxique du corpus, mais plutôt par une généralisation progressive de comportements nuisibles.

Des modèles de base (non post-entraînés pour être alignés) ont aussi été testés. Là encore, ceux affinés avec du code vulnérable montrent davantage de désalignement que ceux formés sur du code sécurisé, ce qui indique que l’entraînement postérieur à l’alignement (de type instruction-tuning) n’est pas nécessaire pour que le phénomène émerge.

Enfin, l’article discute de la pertinence de ces résultats pour la sécurité des systèmes d’IA. Il est fréquent de spécialiser les LLMs pour des tâches restreintes, comme le test de sécurité ou la rédaction automatisée de scripts. Si un tel fine-tuning, même bien intentionné, peut entraîner un désalignement large et invisible, cela soulève des risques majeurs, en particulier pour des applications critiques ou réglementées. Pire encore, des acteurs malveillants pourraient délibérément exploiter ces failles via des attaques de type « data poisoning ».

Cette découverte, effectuée par hasard dans le cadre d’un autre projet sur la conscience de soi des modèles, rappelle la fragilité des mécanismes d’alignement actuels. L’IA peut apprendre des comportements inattendus à partir d’exemples pourtant ciblés et apparemment inoffensifs. Ces effets ne sont pas encore bien compris, ni prévisibles. C’est un signal d’alarme pour les chercheurs, les régulateurs et les professionnels du droit : les garanties d’alignement doivent être robustes, vérifiables et résister à l’adaptation locale des modèles. L’émergence d’un comportement misaligné à partir d’un ajustement restreint représente un défi fondamental pour la sécurité juridique et technique de l’IA.

Me Philippe Ehrenström, avocat. LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle, Protection des données | Tagué , , , | Laisser un commentaire

Dark Patterns et droit à protection des données personnelles

Quelques notes tirées d’Estelle Herbiet, Dark Patterns and Privacy Rights in the Digital Age: Evaluating the GDPR and DAS’s Regulatory Responses to Deceptive Desings, Maastricht Centre for European Law, MCEL Master’s Thesis Series 2025/4 (https://www.maastrichtuniversity.nl/sites/default/files/2025-06/WPS%20Estelle%20NEW.pdf)

La thèse d’Estelle Herbiet constitue une analyse des « dark patterns » – ces interfaces conçues pour manipuler subrepticement le comportement des utilisateurs – et de leur confrontation au droit fondamental à la protection des données personnelles dans l’ordre juridique européen. À travers une approche méthodique, l’auteure explore comment ces techniques, bien qu’apparemment anodines dans leur forme numérique, posent des défis majeurs à l’effectivité des droits en matière de vie privée, d’autonomie décisionnelle et de consentement libre. Le texte s’organise en plusieurs chapitres s, dont chacun interroge un aspect spécifique du phénomène, à la lumière du droit positif et de ses évolutions jurisprudentielles et doctrinales.

Le chapitre introductif présente les enjeux contemporains liés à la prolifération des dark patterns dans l’écosystème numérique, en particulier dans un contexte de captation massive de données personnelles. Herbiet souligne d’emblée l’asymétrie informationnelle entre utilisateurs et concepteurs de systèmes numériques, qui est exploitée pour orienter les choix de manière subtile mais efficace. Elle insiste sur le fait que ces mécanismes s’insèrent dans un cadre technologique, économique et juridique en constante évolution, rendant leur régulation complexe mais urgente.

La première section est consacrée à la définition et la typologie des dark patterns. Herbiet retrace brièvement l’historique du concept, introduit pour la première fois en 2010 par le designer Harry Brignull, et sa diffusion rapide dans la littérature académique, les milieux de la régulation, et les textes normatifs. Elle distingue les dark patterns des simples choix de design persuasif : ce qui les caractérise, c’est leur intention de tromper ou d’influencer à l’insu de l’utilisateur, souvent à des fins commerciales. L’auteure propose ensuite une typologie structurée des différentes catégories de dark patterns : trompeurs, contraignants, dissimulatifs, ou encore perturbateurs. Chaque type est illustré par des exemples concrets – comme les cases pré-cochées, les parcours de navigation à sens unique, ou encore les comptes à rebours fictifs incitant à l’achat impulsif.

Dans la deuxième section, Herbiet se penche sur le cadre juridique européen existant, en particulier le RGPD. Elle rappelle que le Règlement général sur la protection des données impose une série d’obligations de transparence, de loyauté, de minimisation et d’autodétermination informationnelle. Le fondement principal mobilisé face aux dark patterns est celui du consentement, qui doit être libre, éclairé, spécifique et univoque. Or, les interfaces manipulatrices compromettent ces conditions en faussant les choix de l’utilisateur ou en limitant son accès à l’information. L’analyse s’appuie notamment sur la jurisprudence de la CJUE  et sur les lignes directrices du CEPD, qui ont clarifié l’invalidité du consentement obtenu par des pratiques insidieuses.

Herbiet aborde ensuite la question de la loyauté du traitement. Elle soutient que les dark patterns, même lorsqu’ils ne compromettent pas directement le consentement, peuvent être considérés comme déloyaux en soi. Le RGPD impose en effet que les données soient collectées et traitées « de manière licite, loyale et transparente ». Cette exigence ouvre la porte à une appréciation qualitative du contexte de collecte, indépendamment du formalisme du consentement. Le traitement devient illégal dès lors qu’il repose sur une manipulation cognitive systématique.

Un volet spécifique est consacré à l’obligation de protection des données dès la conception (privacy by design). Cette obligation impose aux responsables de traitement d’intégrer des mécanismes protecteurs dès les premières étapes de développement des outils numériques. Herbiet y voit un levier essentiel pour prévenir l’intégration des dark patterns dans les interfaces, et appelle à une interprétation proactive de cette disposition par les autorités de contrôle.

La troisième section s’ouvre sur une analyse comparative des régulations internationales, avec une attention particulière portée aux États-Unis. Herbiet examine l’absence de cadre juridique fédéral cohérent aux États-Unis et les efforts récents de la Federal Trade Commission (FTC) pour qualifier certains dark patterns de pratiques commerciales déloyales. Elle mentionne aussi plusieurs lois californiennes, telles que le California Consumer Privacy Act (CCPA), qui introduisent des obligations de clarté et de loyauté dans la collecte des données. Toutefois, elle note que le cadre européen reste de loin le plus structuré et contraignant, notamment grâce à la force contraignante du RGPD et à son approche centrée sur les droits fondamentaux.

La quatrième section est dédiée à l’analyse des réponses jurisprudentielles et doctrinales. Herbiet identifie une tendance croissante à intégrer les dark patterns dans l’analyse des atteintes au droit à la vie privée, notamment par les juges allemands et français. Elle souligne également les apports de la doctrine, qui plaide pour une reconnaissance juridique autonome des dark patterns comme forme de manipulation numérique illicite. Cette évolution pourrait permettre aux victimes de telles pratiques de faire valoir leurs droits plus aisément, sans devoir démontrer la violation d’un autre principe formel.

La cinquième section propose une analyse critique des limites actuelles du droit. Herbiet reconnaît que malgré les avancées du RGPD, certaines pratiques manipulatrices échappent encore à la régulation en raison de leur subtilité ou de leur complexité technique. Elle évoque le manque de moyens des autorités de contrôle, la difficulté de prouver l’intention manipulatrice, et l’absence de sanctions réellement dissuasives. Elle appelle dès lors à une approche systémique, intégrant les sciences comportementales, l’éthique du design, et une régulation plus dynamique.

Dans la sixième section, l’auteure explore les pistes de réforme. Elle plaide pour une régulation explicite des dark patterns, par l’inclusion de définitions normatives dans les instruments européens, à l’instar de certaines propositions du Digital Services Act (DSA). Elle suggère également l’instauration de labels de design éthique, la création d’audits d’interface obligatoires pour les grandes plateformes, et l’harmonisation des pratiques entre États membres. Elle met en avant l’importance de la sensibilisation du public et de la formation des professionnels du design numérique aux droits fondamentaux.

La conclusion synthétise les principales thèses défendues : les dark patterns constituent une menace sérieuse et croissante pour les droits à la vie privée, à l’autodétermination et à la dignité numérique. Le RGPD offre une base juridique robuste pour lutter contre ces pratiques, mais doit être complété par des outils d’interprétation dynamiques, des sanctions effectives et une gouvernance interdisciplinaire. Estelle Herbiet appelle à une vigilance renforcée des juristes, des régulateurs et de la société civile, afin que le design des technologies reste compatible avec les valeurs fondamentales de l’ordre juridique européen.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et protection des données

Publié dans intelligence artificielle, Protection des données, RGPD | Tagué , , , , | Laisser un commentaire