Ce que vous devez savoir de ce site :
Ce que vous pouvez connaître de son auteur :
Ce qu’il faut faire si vous avez des questions sur le droit du travail ou de la protection des données :
Lisez également notre Déclaration de protection des données:
https://wordpress.com/page/droitdutravailensuisse.com/8103
Bonne lecture !
Me Philippe Ehrenström, avocat, LLM, CAS, Yverdon-les-Bains
A propos de ICO, Recruitment rewired: an update on the ICO’s work on the fair and responsible use of automation in recruitment, https://ico.org.uk/about-the-ico/what-we-do/recruitment-rewired/, 31 mars 2026 ; voir aussi le communiqué de presse : https://ico.org.uk/about-the-ico/media-centre/news-and-blogs/2026/03/automated-decisions-can-streamline-the-hiring-process-with-the-right-safeguards-in-place/:
Le rapport du régulateur britannique de la protection des données, l’ICO, examine l’usage de l’automatisation dans le recrutement. Il repose sur des échanges volontaires avec plus de 30 employeurs entre mars 2025 et janvier 2026, après contact avec 37 organisations. L’ICO ne nomme ni les entreprises ni les outils, et ne décrit pas des cas concrets de préjudice subi par des candidats ; il analyse surtout les pratiques, les risques potentiels et les attentes du régulateur. Son constat général est que l’automatisation peut apporter des avantages réels, notamment en traitant rapidement de gros volumes de candidatures, mais que beaucoup d’employeurs n’appliquent pas correctement les garanties prévues par le droit de la protection des données.
Le rapport montre que ces outils sont surtout utilisés en début de procédure, avant tout échange direct avec un recruteur. Ils servent notamment à noter et classer des CV et des réponses écrites, à évaluer des compétences ou un « potentiel » au moyen de tests comportementaux ou psychométriques, à analyser des réponses à des questions d’entretien, y compris à partir de transcriptions, et parfois à tirer des inférences sur la personnalité à partir du langage employé lors d’entretiens vidéo. En revanche, l’ICO indique ne pas avoir observé, dans son échantillon, d’usage de l’IA pour traiter des données biométriques comme la détection des émotions. Le rapport distingue aussi les questions binaires de présélection, par exemple sur le droit de travailler au Royaume-Uni ou sur une qualification indispensable : pour l’ICO, ces filtres automatiques appliquant une règle fixe ne constituent pas, en eux-mêmes, une « décision automatisée » au sens juridique étudié dans le rapport.
Le point central du document est que de nombreux employeurs pensent utiliser des outils d’aide à la décision, alors qu’en pratique ils prennent probablement des décisions entièrement automatisées. Il y a décision automatisée lorsqu’une décision importante pour la personne est prise uniquement par traitement automatisé, sans intervention humaine réelle. Dans le recrutement, refuser ou faire progresser un candidat entre normalement dans cette catégorie, car cela affecte de manière significative ses perspectives d’emploi. L’ICO estime que beaucoup d’employeurs surestiment la place du recruteur dans le processus. Le fait qu’un manager puisse consulter un tableau de bord ou cliquer sur une option ne suffit pas si, dans les faits, il suit mécaniquement le score produit par l’outil, surtout pour éliminer les candidats les moins bien classés. Une véritable intervention humaine suppose un pouvoir réel d’examen, de correction et de modification, exercé pour chaque candidat et à chaque étape pertinente.
Le rapport insiste ensuite sur les exigences de transparence. Selon l’ICO, les candidats sont souvent informés de manière trop vague. Les notices de confidentialité décrivent les outils de façon générale, renvoient parfois à la politique de confidentialité d’un prestataire tiers, mais n’expliquent pas clairement qu’une décision automatisée est prise, ni la logique générale utilisée, ni les conséquences probables pour la personne. Comme beaucoup d’employeurs ne reconnaissent pas qu’ils font réellement de la décision automatisée, ils ne mettent pas non plus en place les garanties correspondantes. Or ces garanties doivent permettre au candidat d’être informé, de demander une intervention humaine, de présenter ses observations et de contester la décision. L’ICO considère que nombre d’organisations ont déjà des procédures de recours internes, mais qu’elles doivent les adapter pour répondre expressément à ce cadre.
Le rapport relève aussi de fortes lacunes en matière d’équité, de biais et de discrimination. Beaucoup d’employeurs n’avaient pas réellement vérifié si leurs outils produisaient des résultats inéquitables ou défavorisaient certains groupes. L’ICO rappelle qu’un employeur reste responsable, même lorsqu’il utilise un outil fourni par un tiers. Il devrait donc demander au fournisseur des informations sur les données d’entraînement, sur les biais connus ou possibles et sur les tests déjà réalisés, puis effectuer ses propres vérifications. Le rapport recommande une surveillance régulière des résultats, de préférence sur des données agrégées, afin d’identifier d’éventuelles disparités entre groupes. Il souligne aussi que le public accepte plus facilement les usages simples, comme le tri de CV, que les dispositifs plus intrusifs fondés sur le profilage, comme certaines évaluations comportementales en ligne.
Sur l’analyse d’impact relative à la protection des données, le constat est également critique. Plusieurs employeurs n’avaient pas réalisé d’analyse complète avant de traiter les données personnelles, alors même que ce type de traitement présente souvent un risque élevé. Parmi les analyses d’impact examinées, beaucoup étaient incomplètes, anciennes, vagues ou purement formelles. Certaines ne décrivaient pas suffisamment le fonctionnement de l’outil, les données utilisées, les étapes concernées, les marges d’erreur, les risques pour les personnes ni les mesures prévues pour les réduire. Le rapport note aussi que, dans plusieurs cas, l’avis du délégué à la protection des données n’était pas documenté, ou que des analyses identifiant des risques élevés avaient été validées sans mesures correctrices adéquates. Pour l’ICO, une analyse d’impact solide est un document de base, à préparer tôt, notamment au stade de l’achat de l’outil.
Le rapport comporte aussi un volet important sur la base juridique du traitement. Il rappelle qu’au Royaume-Uni, la loi a changé avec le Data (Use and Access) Act 2025, applicable sur ce point à partir du 5 février 2026. L’ancien système reposait sur une interdiction de principe de certaines décisions entièrement automatisées, avec quelques exceptions. Le nouveau cadre repose davantage sur un droit de contestation assorti de garanties. En pratique, cela facilite l’usage de la décision automatisée lorsqu’aucune donnée sensible n’est utilisée. En revanche, si des données sensibles sont traitées, des conditions supplémentaires demeurent.
Dans ce contexte, l’ICO estime que beaucoup d’employeurs se trompent encore de base juridique. Le consentement est, selon lui, généralement inadapté en recrutement, car le candidat n’est pas en position de choisir librement. La nécessité contractuelle est elle aussi, en principe, mal adaptée au tri, aux tests et aux entretiens, puisqu’il n’existe pas encore de contrat avec la plupart des candidats. Après la réforme, l’ICO considère que l’intérêt légitime sera souvent la base juridique la plus appropriée, à condition d’effectuer une véritable mise en balance des intérêts en présence.
Au total, le message du rapport est double. D’un côté, l’ICO ne rejette pas l’automatisation du recrutement et reconnaît qu’elle peut améliorer l’efficacité, la cohérence des traitements et parfois même réduire certains biais humains. De l’autre, il estime que la pratique actuelle est souvent juridiquement mal qualifiée et insuffisamment encadrée. L’enjeu, pour les employeurs, n’est donc pas seulement d’acheter des outils performants, mais de décider clairement s’ils veulent conserver un contrôle humain réel sur chaque décision ou assumer qu’ils recourent à une décision entièrement automatisée, avec toutes les garanties que cela implique. Le rapport se présente ainsi comme un avertissement et un guide : transparence renforcée, intervention humaine réelle et constante si l’on veut sortir du régime de la décision automatisée, contrôle des biais, analyses d’impact sérieuses, choix correct de la base juridique et mécanismes effectifs de contestation. L’ICO précise enfin que les 16 employeurs qu’il a identifiés comme utilisant probablement de telles décisions ont accepté de travailler avec lui pour corriger leurs pratiques, mais il indique aussi qu’il pourra aller plus loin en cas de non-conformité persistante.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
On a beaucoup parlé récemment de l’article de James Evans /Benjamin Bratton /Blaise Agüera y Arcas, Agentic AI and the next intelligence explosion, arXiv:2603.20639 [cs.AI], 21 mars 2026 (https://arxiv.org/abs/2603.20639). Une courte présentation des thèses qui y sont présentées :
Le texte défend l’idée que la prochaine grande étape de l’intelligence artificielle ne ressemblera probablement pas à l’apparition d’un « super-esprit » unique, autonome et supérieur à tous les humains. Selon les auteurs, cette image classique de la « singularité » est trompeuse. L’évolution la plus plausible serait au contraire collective, distribuée et mêlée aux activités humaines. L’intelligence, disent-ils, n’est pas une grandeur unique que l’on pourrait mesurer sur une seule échelle. Elle naît surtout de relations, d’échanges, de coordination et de conflits organisés entre plusieurs points de vue.
Leur premier argument porte sur le fonctionnement interne des modèles récents dits « raisonnants ». D’après les auteurs, lorsqu’un modèle traite un problème difficile, il ne se contente pas d’« y penser plus longtemps ». Il produit plutôt, dans son raisonnement interne, une forme de dialogue entre plusieurs perspectives qui se questionnent, se corrigent, vérifient des hypothèses et rapprochent leurs conclusions. Les auteurs appellent cela une « société de pensée ». Ils soutiennent que cette structure explique en partie les meilleurs résultats obtenus sur des tâches complexes. L’idée importante est que ce comportement n’aurait pas été programmé explicitement : il apparaîtrait parce que l’optimisation du modèle récompense les raisonnements plus justes. Autrement dit, même à l’intérieur d’un modèle présenté comme un système unique, la qualité du raisonnement viendrait déjà d’une forme de pluralité organisée.
À partir de là, le texte élargit la perspective. Si de meilleures performances viennent d’interactions entre points de vue, alors la conception de l’IA ne devrait pas seulement mobiliser l’informatique, mais aussi les connaissances accumulées sur le travail en groupe. Les auteurs estiment que la recherche sur les équipes humaines a beaucoup à apporter : taille des groupes, répartition des rôles, hiérarchie, spécialisation, modes de désaccord, institutions, réseaux de coopération. Aujourd’hui, selon eux, les modèles produisent souvent un seul fil de raisonnement, comme une grande discussion unique. Or les groupes efficaces fonctionnent rarement ainsi : ils séparent les tâches, organisent la contradiction, font émerger plusieurs pistes en parallèle puis les confrontent. Les systèmes d’IA du futur devraient donc être conçus pour permettre des délibérations multiples, convergentes ou divergentes, et non pour produire une seule réponse d’un seul bloc.
Le texte relie ensuite cette thèse à une lecture générale de l’histoire de l’intelligence. Les grandes avancées passées n’auraient pas reposé sur un cerveau individuel devenu soudain bien meilleur, mais sur l’apparition de nouvelles formes de cognition collective. Chez les primates, l’intelligence aurait progressé avec la vie sociale. Chez les humains, le langage aurait permis l’accumulation du savoir d’une génération à l’autre. Puis l’écriture, le droit et l’administration auraient externalisé certaines fonctions mentales dans des dispositifs durables, capables de coordonner l’action bien au-delà de ce qu’un individu peut faire seul. Dans cette perspective, l’IA ne serait pas une rupture totale, mais une étape supplémentaire : elle compresse et réactive sous forme informatique une grande partie des productions de l’intelligence sociale humaine.
Les auteurs en tirent la conclusion que l’avenir de l’IA ne se joue pas dans la fabrication d’un oracle unique, mais dans la composition de systèmes sociaux hybrides associant humains et agents artificiels. Ils utilisent l’image du « centaure » pour désigner ces assemblages mixtes. Un humain peut piloter plusieurs agents, un agent peut assister plusieurs humains, et des groupes d’humains et d’agents peuvent coopérer selon des configurations variables. Pour eux, ce modèle mixte devient déjà la forme normale de l’activité intellectuelle dans de nombreux métiers. L’enjeu n’est donc pas seulement la puissance de calcul ou la qualité d’un modèle isolé, mais la manière dont plusieurs acteurs, humains et non humains, interagissent pour accomplir une tâche.
Le texte insiste aussi sur l’idée d’agents capables de se dupliquer, de se répartir des sous-tâches puis de combiner et de recombiner les résultats. Un agent confronté à un problème complexe pourrait créer temporairement plusieurs versions de lui-même ou plusieurs sous-agents spécialisés, chacun chargé d’un aspect particulier, avant de rassembler leurs apports. Les auteurs décrivent ainsi une intelligence qui se déploie et se replie selon la difficulté rencontrée. Dans cette logique, le désaccord n’est pas un défaut à éliminer, mais une ressource utile pour tester des hypothèses, détecter des erreurs et améliorer les décisions.
Cela les conduit à ce qu’il ne suffise pas de construire de bons agents ; il faut aussi construire des institutions pour les encadrer. Ils jugent insuffisante l’approche dominante consistant à aligner les systèmes par correction humaine individuelle, par exemple au moyen d’évaluations ou de préférences fournies par des personnes. Cette relation de type binaire, entre un humain correcteur et un agent corrigé, ne serait pas adaptée à un monde où interagissent potentiellement des milliards d’agents. Les auteurs proposent donc de penser l’alignement à l’échelle institutionnelle : comme les sociétés humaines reposent sur des rôles, des procédures, des normes et des contre-pouvoirs, les écosystèmes d’IA devraient reposer sur des équivalents numériques. Ce qui compte ne serait pas tant l’identité particulière de chaque agent que sa capacité à occuper correctement un rôle défini dans un cadre stable.
La question devient particulièrement importante pour la gouvernance. Les auteurs visent les cas où l’IA intervient dans des décisions à fort enjeu, par exemple le recrutement, la justice, l’attribution de prestations ou la régulation économique. Dans de tels contextes, il faut non seulement contrôler un système, mais aussi contrôler ceux qui le contrôlent. Ils avancent alors une idée proche d’une architecture constitutionnelle : certains systèmes d’IA devraient être explicitement chargés de vérifier l’action d’autres systèmes, au nom de valeurs comme la transparence, l’égalité de traitement ou le respect des procédures. Une administration pourrait ainsi auditer les outils privés qu’utilisent les entreprises, et d’autres organes publics pourraient à leur tour contrôler les systèmes administratifs eux-mêmes. La logique générale est celle des freins et contrepoids : aucune concentration de pouvoir intellectuel, humaine ou artificielle, ne devrait se surveiller seule.
Les auteurs précisent que la gouvernance ne se réduit pas à l’action de l’État. Elle doit aussi être intégrée dans les relations entre agents et entre humains et agents : mécanismes de vérification des résultats, procédures de délégation, règles d’interaction fiables, garanties sur la manière dont plusieurs acteurs délibèrent ensemble. Ces protocoles pourraient avoir un effet aussi important que les règles juridiques classiques dans l’organisation pratique des systèmes d’IA.
Le texte ne présente donc ni une vision idyllique, ni une vision catastrophiste. Il propose une lecture évolutionniste : la « prochaine explosion de l’intelligence » viendrait d’une société de plus en plus dense d’esprits humains et artificiels coordonnées, subordonnés et encadrés, non de l’ascension d’une entité unique. Les auteurs estiment que raisonner en termes de singularité monolithique risque de conduire à de mauvaises politiques, conçues pour empêcher un phénomène peut-être imaginaire, au lieu d’organiser le phénomène déjà en cours. Leur conclusion est que l’intelligence devient plus puissante en se socialisant davantage. Le vrai enjeu n’est pas de savoir si cette puissance va croître, mais si nous saurons construire les règles, les institutions et les infrastructures sociales capables de l’encadrer.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
L’article de Grochowski, Mateusz, Algorithmic Price Fairness (January 28, 2026). 80 Vanderbilt Law Review (forthcoming), Available at SSRN: https://ssrn.com/abstract=6263538 or http://dx.doi.org/10.2139/ssrn.6263538)) repose sur un constat : les prix personnalisés par algorithme sont souvent dénoncés comme “injustes”, mais cette accusation reste en général trop vague pour servir de vrai critère juridique.
L’auteur veut donc répondre à une question précise : à partir de quand un prix personnalisé devient-il juridiquement problématique, et sur quelle base peut-on le dire ?
Sa thèse centrale est que l’injustice ne tient pas d’abord au fait que deux consommateurs paient des prix différents. En droit américain, il n’existe pas de droit général à un prix identique pour tous, et les différences de prix existaient bien avant l’IA. Le vrai problème nouveau est ailleurs : il tient au fait que le prix n’est plus construit à partir d’éléments visibles du marché ou de ce que les parties révèlent dans la négociation, mais à partir d’inférences cachées tirées d’une surveillance fine des comportements. L’entreprise en sait alors beaucoup sur le consommateur, tandis que le consommateur ne sait presque rien sur la manière dont le prix a été produit.
L’auteur commence par rappeler la vieille question du “prix juste”.
Historiquement, deux grandes approches se sont opposées. La première regarde le résultat : un prix est-il, en lui-même, trop élevé, disproportionné ou exploiteur ? C’est l’approche dite “substantielle”. La seconde regarde le processus : même si le prix paraît dur, a-t-il été fixé dans des conditions acceptables, sans contrainte, tromperie ou déséquilibre trop fort entre les parties ? C’est l’approche dite “procédurale”. Avec le temps, surtout dans les économies de marché modernes, le droit a de moins en moins voulu contrôler directement le niveau du prix. Il s’est plutôt concentré sur les conditions dans lesquelles le consentement est donné. Mais cette séparation entre le contenu du prix et la manière dont il est formé n’a jamais été parfaitement nette. Déjà dans les doctrines comme l’unconscionability en droit américain, on retrouve l’idée qu’un prix excessif et un défaut réel d’autonomie du cocontractant vont souvent ensemble.
L’auteur propose alors de comprendre l’équité du prix comme une question de “justice relationnelle”. Autrement dit, il ne s’agit pas de savoir s’il existe un prix objectivement parfait dans l’absolu, mais de vérifier si la relation contractuelle reste compatible avec un minimum de respect mutuel, d’autonomie réelle et d’absence d’exploitation. Sous cet angle, un prix n’est pas injuste seulement parce qu’il diffère d’un autre ; il devient injuste lorsqu’il est obtenu au moyen d’un avantage informationnel ou d’un pouvoir de marché qui permet à une partie d’extraire de la valeur de l’autre sans possibilité réelle pour celle-ci de comprendre, comparer ou contester. Cette idée prépare le terrain pour l’analyse des prix algorithmiques.
Dans la deuxième partie, l’article explique ce qu’est un prix algorithmique. Il ne s’agit pas seulement d’un prix qui change vite, ni d’un simple “yield management” lié à l’offre et à la demande. Le cœur du phénomène est prédictif. L’algorithme cherche à estimer ce qu’un consommateur donné est susceptible d’accepter comme prix, donc sa disposition probable à payer. Cette individualisation n’est d’ailleurs qu’en apparence totalement individuelle. En réalité, la machine classe les personnes dans des groupes statistiques et attribue un prix à partir de corrélations observées chez d’autres individus jugés semblables. Le prix est donc “personnalisé”, mais à partir d’une généralisation probabiliste. L’individu reçoit un prix propre à lui, tout en étant réduit à un type calculé par la machine.
À ce stade, l’auteur critique les discours courants sur “l’injustice” des prix personnalisés. Selon lui, beaucoup d’analyses mélangent plusieurs idées sans les distinguer : l’inégalité de traitement, l’exploitation économique, l’atteinte à la vie privée, la discrimination au sens classique, ou encore le malaise face à une machine opaque. Ce malaise social existe bien, mais il ne suffit pas à donner un critère juridique clair. Il faut donc identifier plus précisément ce qui, dans ces pratiques, justifie une intervention du droit.
L’article montre aussi que parler de “discrimination” ne résout pas tout. Le mot peut viser des cas très différents : l’usage direct de catégories sensibles, l’usage de variables de substitution qui reviennent au même résultat, ou encore des inférences plus indirectes sur la vulnérabilité, l’urgence, la santé, la détresse financière ou le profil psychologique du consommateur. Le problème n’est donc pas seulement l’égalité formelle entre consommateurs ; c’est aussi la manière dont des données personnelles ou quasi personnelles servent à exploiter des fragilités.
L’un des apports les plus importants de l’article est d’expliquer que la tarification algorithmique fait s’effondrer la distinction classique entre la procédure et le résultat. En théorie classique, on peut encore séparer la question de savoir si le prix est trop élevé de celle de savoir si la négociation s’est bien déroulée. Mais avec l’algorithme, cette séparation devient artificielle. Pourquoi ? Parce que le prix lui-même est déjà le produit d’un processus opaque fondé sur des données cachées et des corrélations invisibles. Le vice de procédure est incorporé dans le résultat. De la même façon, l’auteur explique que la tarification algorithmique ruine ce qu’il appelle le “test d’équivalence”, c’est-à-dire la possibilité de comparer le prix offert à un repère intelligible : prix du marché, prix moyen, prix normal dans des circonstances comparables. Si chaque consommateur se voit proposer un prix différent sur la base d’un calcul caché, il devient très difficile de dire si le prix reflète encore une valeur de marché ou s’il exprime seulement la capacité du vendeur à capter un surplus maximal. Sans point de comparaison, les mécanismes habituels du droit perdent leur prise.
L’article examine ensuite les réponses réglementaires déjà apparues. Il observe qu’elles restent fragmentaires et modestes parce qu’elles ne s’accordent pas sur ce qu’il faut vraiment protéger. Certaines approches se contentent d’exiger une information générale : le consommateur doit être averti qu’un prix personnalisé est utilisé. C’est, par exemple, la logique de la directive Omnibus de l’Union européenne, et l’auteur mentionne aussi une loi new-yorkaise récente allant dans le même sens. D’autres approches ajoutent un droit de retrait ou d’opposition, fondé sur la protection des données. Mais, selon l’auteur, ces solutions restent insuffisantes. Savoir qu’un prix est personnalisé ne permet pas de comprendre comment il l’est. Et pouvoir refuser la personnalisation n’aide guère si l’on ne sait pas ce que l’on refuse, ou si le marché n’offre pas de véritable alternative. L’autonomie reste alors purement formelle.
Le cœur théorique de l’article se trouve dans son analyse de la dimension “épistémique” du prix, c’est-à-dire de la place du savoir dans la formation du prix. Dans les marchés classiques, l’information imparfaite existe déjà, mais elle est plus ou moins bilatérale. Le vendeur ignore en partie jusqu’où l’acheteur est prêt à payer ; l’acheteur ignore en partie la qualité du produit ou certaines conditions du marché. Le prix, la négociation et la concurrence servent justement à réduire cette incertitude réciproque. Avec la tarification algorithmique, la situation s’inverse. Le vendeur ne se contente plus d’avoir un léger avantage d’information : il accumule une connaissance prédictive détaillée sur les préférences, les contraintes et les comportements du consommateur. Le consommateur, lui, ignore non seulement les variables utilisées, mais aussi sa propre place dans la distribution des prix et la logique du calcul qui lui est appliqué. L’auteur parle ici d’“inversion épistémique”. L’asymétrie d’information n’est plus un accident du marché ; elle devient la structure même de la transaction.
À partir de là, l’auteur reformule entièrement l’idée de prix équitable. Un prix algorithmique est juste non pas lorsqu’il est uniforme, mais lorsque le consommateur dispose d’assez d’information et de maîtrise pour évaluer ce prix, le situer par rapport à un repère, et empêcher que certaines données trop sensibles soient utilisées contre lui. Il propose donc un cadre en trois piliers.
Premier pilier : l’explicabilité du prix. Il ne s’agit pas d’exiger une transparence totale du code ou de l’algorithme. L’auteur demande plutôt une explication utile des principaux facteurs qui ont influencé le prix : par exemple la demande générale, l’historique d’achats, certains signaux tirés de l’appareil utilisé, de la localisation, ou du comportement de navigation. L’objectif est que le consommateur sache, de manière intelligible, pourquoi son prix est plus élevé ou plus bas. Cette explicabilité a deux fonctions. D’une part, elle permet de repérer des fondements illégitimes, comme l’usage d’indices de vulnérabilité. D’autre part, elle transforme le consommateur en acteur capable d’évaluer et, dans une certaine mesure, d’influencer son traitement futur.
Deuxième pilier : l’accès à un prix de référence. Comme le droit classique reposait sur la possibilité de comparer le prix à un standard, il faut recréer un point d’ancrage. Ce prix de référence peut prendre plusieurs formes. Il peut s’agir d’un prix non personnalisé, lorsque cela existe encore. Il peut aussi s’agir du prix moyen ou médian payé par d’autres consommateurs pour le même bien ou service dans une période donnée. Enfin, il peut prendre la forme d’un écart exprimé en pourcentage, par exemple indiquer au consommateur que son prix est de 15 % au-dessus de la moyenne personnalisée. L’idée n’est pas de garantir à chacun le prix le plus bas, mais de rendre le prix intelligible et comparable. Le prix de référence répond à la question “combien de plus ou de moins je paie que les autres ?”, tandis que l’explicabilité répond à la question “pourquoi ?”.
Troisième pilier : un droit d’exclusion de certaines données. L’auteur estime qu’il faut donner au consommateur un pouvoir réel pour empêcher l’usage de catégories de données jugées trop sensibles ou trop éloignées d’une tarification acceptable. Il cite comme exemples les données de santé, la localisation précise, les indices de vulnérabilité inférée, ou certains signaux tirés de l’usage de l’appareil. Ce droit ne vise pas à supprimer toute personnalisation, mais à permettre au consommateur de façonner sa “persona” sur le marché, c’est-à-dire de décider quelles catégories d’information peuvent légitimement entrer dans la fixation de son prix. Pour l’auteur, cette dimension est inséparable de la justice du prix : protéger l’équité suppose aussi de protéger la souveraineté de la personne sur ses données.
L’article insiste enfin sur le fait que ces trois éléments ne fonctionnent correctement qu’ensemble. La transparence seule ne suffit pas, car comprendre les facteurs d’un prix ne sert à rien si l’on ne peut pas le comparer à un repère. Le prix de référence seul ne suffit pas non plus, car savoir que l’on paie plus cher n’aide pas si l’on ne sait pas pourquoi ni comment s’y opposer. Et le droit d’exclure certaines données reste abstrait si le consommateur ne sait pas quelles données ont été utilisées ni quel effet elles ont eu. La proposition de l’auteur est donc un cadre intégré, centré sur le rééquilibrage de l’information entre entreprise et consommateur.
En conclusion, le droit ne doit pas traiter la tarification algorithmique comme un simple problème d’inégalité de prix, mais comme un problème de savoir, de pouvoir et de maîtrise des données. Le prix personnalisé n’est pas injuste parce qu’il est personnalisé ; il devient injuste lorsqu’il résulte d’une supériorité informationnelle unilatérale qui prive le consommateur de toute capacité réelle de comprendre, comparer et contester. La réponse juridique adéquate n’est donc ni le retour pur et simple au prix uniforme, ni la seule obligation d’avertir. Elle consiste à reconstruire, dans l’économie numérique, les conditions minimales d’une autonomie contractuelle réelle : une explication utile, un point de comparaison, et un droit de bloquer l’usage des données les plus problématiques. C’est sur cette base que l’auteur pense possible de donner enfin un contenu opératoire à la notion de “fairness” dans les prix algorithmiques.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
A propos de : Lamprinoudis K. The courts have spoken: examining judicial responses across the EU to algorithmic bias in automated decision-making through the lens of non-discrimination law. European Law Open. Published online 2026:1-27. doi:10.1017/elo.2026.10073 (https://www.cambridge.org/core/journals/european-law-open/article/courts-have-spoken-examining-judicial-responses-across-the-eu-to-algorithmic-bias-in-automated-decisionmaking-through-the-lens-of-nondiscrimination-law/B17BCB33E06ACF28EE07925A9F64AE6E)
L’article de Konstantinos Lamprinoudis étudie la manière dont les juridictions des États membres et la Cour de justice de l’Union européenne traitent les cas de biais algorithmique dans la prise de décision automatisée, en les regardant à travers le prisme du droit de la non-discrimination. Son point de départ est le suivant : la littérature juridique européenne a beaucoup discuté des risques de discrimination causés par les algorithmes, mais elle a beaucoup moins observé ce que les juges font concrètement lorsqu’ils sont saisis de tels litiges.
L’auteur veut donc déplacer l’analyse du terrain théorique vers celui de la jurisprudence.
L’introduction rappelle d’abord le contexte général. Les systèmes de décision automatisée sont désormais utilisés dans des domaines très variés, par les autorités publiques comme par des acteurs privés : contrôle aux frontières, fiscalité, sécurité sociale, publicité en ligne, assurance, finance, emploi. Ils reposent sur l’exploration de données, le profilage et des classifications qui permettent de regrouper des personnes, de prédire leur comportement et d’orienter des décisions qui peuvent être favorables ou défavorables. Or ces décisions peuvent avoir des effets très concrets sur les droits et les intérêts des personnes concernées. C’est pourquoi le RGPD encadre les décisions fondées exclusivement sur un traitement automatisé de données personnelles, notamment par son article 22. L’auteur souligne aussi que le législateur européen a déjà intégré la question de l’égalité dans ses instruments numériques, notamment le RGPD et le RIA. Mais il insiste sur une distinction conceptuelle : en droit, le « biais » et la « discrimination » ne sont pas synonymes. Le biais algorithmique est une notion large, qui vise tout résultat injuste, faussé ou défavorable. La discrimination, au sens juridique, est plus étroite : elle suppose un désavantage fondé sur un motif protégé par le droit, dans un domaine où le droit de la non-discrimination s’applique. Tous les biais ne sont donc pas des discriminations. Pour les cas de biais qui ne rentrent pas dans le champ du droit de la non-discrimination, l’auteur propose de parler de « différenciation algorithmique injuste ». À partir de là, il construit une typologie des jugements : d’un côté, les décisions portant sur une véritable discrimination algorithmique ; de l’autre, celles portant sur une différenciation algorithmique injuste. Dans cette seconde catégorie, il distingue encore les jugements de « réflexion sur la discrimination », les jugements de « conscience de la discrimination » et les jugements de « silence sur la discrimination ». Cette typologie sert ensuite à analyser le rapport entre droit de la non-discrimination et droit de la protection des données.
La deuxième partie est consacrée aux jugements portant sur des cas de discrimination algorithmique proprement dite. L’auteur rappelle que, même si les technologies sont nouvelles, le cadre classique du droit de la non-discrimination reste applicable. Il peut s’agir de discrimination directe lorsque l’algorithme prend explicitement en compte un motif protégé de manière défavorable ; il peut aussi s’agir de discrimination indirecte lorsque des critères apparemment neutres, des données d’entraînement biaisées ou des variables de substitution défavorisent en pratique un groupe protégé. L’auteur note cependant qu’en matière algorithmique, la frontière entre discrimination directe et indirecte peut devenir difficile à tracer, en particulier lorsqu’on utilise des proxys. Il examine ensuite deux affaires. Dans la première, un tribunal a jugé qu’un système de scoring de crédit était directement discriminatoire parce qu’il reposait sur des variables telles que le sexe, la langue, le lieu de résidence et l’âge, sans évaluation individuelle de la situation financière. Le système attribuait moins de points aux hommes, aux locuteurs finnois, aux habitants de zones rurales et à certaines classes d’âge. Pour le tribunal, il s’agissait d’une discrimination multiple. Dans une autre affaire, le tribunal a retenu une discrimination indirecte liée à l’activité syndicale. L’algorithme de réputation pénalisait les coursiers absents ou ayant annulé un créneau, sans distinguer les motifs de cette absence, par exemple une participation à une grève. En traitant toutes les absences de la même manière, le système désavantageait indirectement les travailleurs qui exerçaient un droit protégé. Llorsque l’algorithme produit un désavantage rattachable à un motif protégé dans un domaine couvert par le droit de l’égalité, les juridictions peuvent mobiliser les catégories classiques du droit de la discrimination.
La troisième partie traite des cas de différenciation algorithmique injuste, c’est-à-dire des situations où un algorithme produit des effets discutables ou inéquitables sans qu’on puisse, du moins pas directement, établir une discrimination juridiquement qualifiée. L’auteur précise que ces cas peuvent tout de même intéresser le droit de la non-discrimination lorsqu’il existe un risque plausible d’effets discriminatoires. C’est sur cette base qu’il distingue trois sous-catégories.
Dans les jugements de « réflexion sur la discrimination », les juges examinent concrètement le risque discriminatoire attaché au système en cause et en tiennent compte dans leur raisonnement. L’auteur cite d’abord une affaire portant sur un système public de détection de fraude sociale. Le tribunal de La Haye a vu dans l’opacité du système, l’ampleur du croisement des données et le ciblage de certaines zones ou populations des éléments susceptibles de conduire à des effets discriminatoires. Une autre affaire, également aux Pays-Bas, prolonge cette logique : la haute juridiction administrative y a jugé que, faute de transparence sur la méthode de sélection des personnes ou adresses visées par les contrôles, on ne pouvait exclure un traitement discriminatoire, si bien que les contrôles étaient illégaux. Dans une troisième affaire, la Cour de justice a rappelé que des critères prédéterminés, même neutres en apparence, ne doivent pas conduire à des désavantages particuliers pour des personnes présentant des caractéristiques protégées ; elle a aussi insisté sur la nécessité d’un contrôle humain individuel pour éviter des résultats discriminatoires. Enfin, le Tribunal constitutionnel fédéral allemand a souligné que l’automatisation peut amplifier la discrimination policière, en particulier lorsque des méthodes d’analyse de données à grande échelle détectent des corrélations statistiques difficiles à contrôler. Dans ces affaires, les considérations d’égalité ne sont pas périphériques : elles nourrissent directement le contrôle de proportionnalité et le jugement sur la légalité du dispositif.
Dans les jugements de « conscience de la discrimination », les juridictions reconnaissent de manière générale que les systèmes automatisés peuvent produire des effets discriminatoires, mais elles ne tirent pas de conséquence décisive de ce constat dans l’affaire examinée. Dans un dossier, la Cour juge ainsi que l’établissement automatisé d’un score de crédit peut relever de l’article 22 RGPD lorsque ce score détermine fortement la décision d’un tiers. Pour interpréter cette disposition, elle rappelle que le RGPD vise aussi à protéger les personnes contre les risques particuliers du traitement automatisé, y compris les risques discriminatoires. Le Conseil d’État italien insiste sur l’obligation de prévoir des mesures techniques et organisationnelles aptes à corriger les inexactitudes, réduire les erreurs et prévenir des effets discriminatoires. Mais, dans ces affaires, la référence à la discrimination reste surtout abstraite et n’emporte pas à elle seule la solution.
Dans les jugements de « silence sur la discrimination », enfin, les juridictions ne disent rien du tout du potentiel discriminatoire alors même qu’un soupçon plausible existe. Dans un dossier, des plaintes visaient notamment le manque de transparence et le risque de défavoriser certains candidats en raison de leur établissement d’origine, ce qui pouvait recouper des inégalités sociales ou territoriales. Pourtant, les décisions analysées n’intègrent pas réellement cette dimension. Dans un autre cas, le débat portait sur l’usage de systèmes automatisés dans le contrôle bancaire, avec des effets potentiellement défavorables pour certains clients, mais là encore sans prise en compte explicite du risque discriminatoire. L’intérêt de cette catégorie est de montrer que le silence judiciaire sur la discrimination n’est pas neutre : il révèle une manière de traiter le biais algorithmique uniquement comme un problème de procédure, de transparence ou de données, en laissant de côté la question de l’égalité.
La quatrième partie analyse l’articulation entre droit de la non-discrimination et droit de la protection des données. Dans un premier temps, l’auteur expose le cadre théorique. Les deux branches poursuivent des finalités différentes mais complémentaires. Le droit de la non-discrimination permet de qualifier juridiquement un désavantage injustifié, de l’inscrire dans une logique de protection de groupes vulnérables et de viser l’égalité substantielle. Le droit des données personnelles, lui, offre des instruments particulièrement utiles face à l’opacité des systèmes : exigences de licéité, de loyauté, de minimisation, de qualité des données, de transparence, droit à l’information sur la logique de traitement, contrôle des décisions automatisées, audits, enquêtes et sanctions par les autorités de protection des données. L’auteur insiste sur le fait que ces outils peuvent aider les personnes concernées à mettre au jour le fonctionnement d’un système et, le cas échéant, à établir une présomption de discrimination. Il ajoute que le RGPD offre aussi des mécanismes de recours collectif et des pouvoirs publics d’enquête plus robustes que ceux que l’on trouve souvent en pratique dans le contentieux de la discrimination. D’où l’importance, selon lui, d’une coopération étroite entre autorités de protection des données et organismes de promotion de l’égalité.
Dans un second temps, l’auteur observe que l’intensité de cette interaction varie selon les types d’affaires. Dans les cas de discrimination algorithmique claire, l’analyse au titre de la non-discrimination tend à absorber la dimension « données » : le cœur du litige reste le traitement inégal. En revanche, dans les cas de différenciation algorithmique injuste, les recours passent plus naturellement par le RGPD, faute de pouvoir établir le lien requis avec un motif protégé. C’est ici que la typologie prend tout son sens. Dans les jugements de réflexion, les juridictions intègrent les préoccupations d’égalité dans le cadre du droit des données ; dans les jugements de conscience, elles les évoquent sans les exploiter pleinement ; dans les jugements de silence, elles les écartent totalement. Enfin, l’auteur montre que les juridictions ne « cadrent » pas toutes de la même manière le rapport entre ces deux branches du droit. Certaines font du risque discriminatoire un élément du contrôle de légalité du traitement de données ; d’autres ne voient dans l’affaire qu’un problème de protection des données, même lorsque le contexte social suggère davantage.
La conclusion met en garde contre une tendance : face aux biais algorithmiques, les victimes et les juridictions ont souvent le réflexe de raisonner d’abord en termes de protection des données, et seulement accessoirement en termes de discrimination. L’auteur comprend ce mouvement, car il est souvent plus facile d’attaquer l’opacité, le manque de transparence ou l’irrégularité du traitement que de prouver juridiquement une discrimination, surtout dans des systèmes complexes et peu lisibles. Tant que les préoccupations d’égalité sont réellement intégrées dans l’application du droit des données, cette voie peut être utile et même souhaitable. Mais si la question de l’égalité est entièrement dissoute dans un langage technique sur les données, on perd ce que le droit de la non-discrimination apporte de spécifique : la reconnaissance du stigmate, du désavantage social, des rapports de pouvoir et de l’objectif d’égalité substantielle. Autrement dit, le RGPD permet d’ouvrir la boîte noire algorithmique, mais il ne suffit pas à lui seul à nommer et condamner l’atteinte sociale propre à la discrimination. C’est pourquoi l’auteur estime que le modèle le plus prometteur pour l’avenir est celui des jugements de « réflexion sur la discrimination », qui combinent de façon organique les ressources du droit de la protection des données et celles du droit de la non-discrimination, sans réduire l’une à l’autre.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
Comme un certain nombre de vieux messieurs, j’avoue une passion particulière pour les aventures de Sherlock Holmes, dont je relis régulièrement les œuvres canoniques, les apocryphes et les continuateurs, sans parler-même de pèlerinages réguliers dans l’Oberland bernois ou de stations mélancoliques en haut des chutes de Reichenbach.
Mais si on peut lire les œuvres de Conan Doyle, on ne saurait s’entretenir avec le Dr Watson ou avec Irène Adler directement par le biais d’un chatbot.
Jusqu’à ce jour en tout cas, où la page linkedin de l’excellent Ethan Molick nous révèle l’existence de Mr Chatterbox (https://www.linkedin.com/posts/emollick_want-to-talk-to-the-past-here-is-an-llm-ugcPost-7443850893076123648-oven?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAX2b5oB2W8RFgEb7aoRz8wscswBHlxf0Mg).
M. Chatterbox est un modèle de langage entièrement entraîné sur un corpus de plus de 28 000 textes britanniques de l’époque victorienne publiés entre 1837 et 1899, tirés d’un ensemble de données mis à disposition par la British Library. Il ne s’agit pas d’une IA moderne qui prendrait un accent : son vocabulaire, ses idées et sa vision du monde sont exclusivement issus de la littérature du XIXe siècle.
Selon son texte de présentation, il excellerait donc dans les discussions sur la vie, la littérature, la science, la philosophie, les mœurs victoriennes et les grandes questions de l’époque. Interrogez-le sur les chemins de fer, le Crystal Palace, les théories de M. Darwin ou la conduite qu’un gentleman se doit d’adopter.
Dans le cadre d’un exercice de modélisation linguistique historique, M. Chatterbox peut exprimer des opinions typiques de l’époque victorienne. Comme il s’agit d’un modèle de langage, il restituera ainsi l’opinio communis de l’époque, ce qui nous fera immanquablement penser au Dr Watson, à ses balourdises et à ses lieux communs. Pour dialoguer avec Irène Adler, voire avec Sherlock lui-même, il faudra donc trouver autre chose…
Me Charrerbox est accessible ici en version Beta : https://huggingface.co/spaces/tventurella/mr_chatterbox
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en protection des données – Entreprise et administration
L’article de Rigotti, C., Potocka-Sionek, N., Aloisi, A., & Fosch-Villaronga, E. (2026). Law and AI in Hiring: Lessons from the EU on Reconceptualizing Risks and Rights. ILR Review. (https://journals.sagepub.com/doi/10.1177/00197939261429875) examine l’usage croissant de l’intelligence artificielle dans le recrutement et se demande si le cadre européen, centré sur le risque, protège réellement les droits fondamentaux des candidats. Son idée directrice est que l’approche du règlement européen sur l’IA, l’Artificial Intelligence Act, ne doit pas être lue isolément. Pour être efficace, elle doit être articulée avec le droit de la protection des données, le droit de la non-discrimination, les règles de sécurité des produits et, surtout, avec des mécanismes de participation collective. La thèse des auteurs est qu’une gouvernance réellement protectrice suppose de relier gestion des risques et protection des droits, au lieu d’opposer les deux logiques.
Les auteurs distinguent quatre grandes familles d’outils d’IA en matière d’embauche: les outils de rédaction et de ciblage des offres d’emploi, les systèmes de tri et d’analyse des CV et lettres de motivation, les logiciels d’entretien qui exploitent les expressions faciales, les mouvements ou la voix, et les applications d’évaluation des compétences, parfois sous forme de jeux. Ces outils promettent des gains d’efficacité, de rapidité et de traçabilité. Ils sont présentés comme capables de mieux traiter de grands volumes de candidatures et de réduire certaines erreurs humaines. Mais cet avantage apparent repose sur des données et des choix de conception qui peuvent intégrer des biais sociaux, institutionnels et cognitifs. Les auteurs insistent sur le fait que le contrôle humain reste présent à toutes les étapes importantes, depuis la sélection des données jusqu’aux tests, et que c’est précisément là que les biais peuvent être introduits.
L’article montre ensuite pourquoi les candidats supportent l’essentiel des coûts de cette automatisation. Ils se trouvent déjà en position de faiblesse en raison de l’asymétrie d’information, du déséquilibre du pouvoir décisionnel et de leur dépendance économique. L’IA peut alors renforcer des inégalités existantes par sa vitesse, son opacité et sa capacité à généraliser des erreurs à grande échelle. Des choix techniques apparemment mineurs, comme des catégories mal conçues dans un formulaire ou des ciblages publicitaires fondés sur des variables démographiques, peuvent exclure certains profils et homogénéiser progressivement les effectifs. Les atteintes possibles ne concernent pas seulement la vie privée ou l’égalité de traitement, mais aussi l’accès à l’emploi, la situation économique, le logement, la vie familiale, ainsi que la santé physique et mentale. L’opacité des décisions automatisées décourage en outre la contestation et affaiblit la responsabilité juridique.
Dans ce contexte, les auteurs présentent l’Union européenne comme un cas d’étude privilégié, parce qu’elle a adopté le Règlement sur l’intelligence artificielle (RIA), qui repose sur une logique de hiérarchisation des risques. Il distingue les pratiques interdites, les systèmes à haut risque, les systèmes soumis à de simples obligations de transparence et les systèmes à risque minimal. Il prévoit en parallèle un régime spécifique pour les modèles d’IA à usage général. Cette architecture vise à adapter les obligations au degré de danger attendu pour la santé, la sécurité et les droits fondamentaux. L’article reconnaît l’importance de ce cadre, mais souligne d’emblée ses faiblesses: catégories rigides, forte place laissée à l’autoévaluation par les acteurs économiques et difficulté à capter les effets concrets selon les contextes d’usage.
S’agissant des pratiques interdites, les auteurs mettent en avant l’interdiction des systèmes destinés à inférer les émotions sur le lieu de travail, y compris pendant le recrutement. Cette interdiction repose sur le caractère scientifiquement contestable, peu fiable et culturellement instable de ce type de technologies. Elle n’est toutefois pas absolue, car une exception existe pour certaines finalités médicales ou de sécurité. Les auteurs considèrent que cette exception peut affaiblir la portée de l’interdiction en permettant de réintroduire, sous d’autres justifications, des formes d’évaluation du stress, de l’attention ou d’états analogues. Ils relèvent aussi l’interdiction des systèmes de catégorisation biométrique qui déduisent certaines caractéristiques sensibles, mais notent que la liste des inférences prohibées reste incomplète, ce qui laisse des zones grises.
La majorité des outils de recrutement relèvent cependant, selon eux, de la catégorie des systèmes à haut risque. L’annexe III de l’AIA vise expressément les systèmes utilisés pour diffuser des offres ciblées, analyser et filtrer des candidatures ou évaluer des candidats. Cette qualification est justifiée par leur impact potentiel sur les parcours professionnels, les moyens d’existence et les droits des travailleurs. Elle déclenche des obligations importantes pour les fournisseurs et les déployeurs, notamment la mise en place d’un système de gestion des risques couvrant tout le cycle de vie du système. Ce système impose l’identification des risques connus et raisonnablement prévisibles, l’évaluation des mésusages prévisibles, la prise en compte des informations issues du suivi postérieur à la mise sur le marché et l’adoption de mesures correctrices. Les auteurs relèvent toutefois qu’un système peut être exclu de la qualification de haut risque s’il n’influence pas matériellement la décision ou s’il accomplit seulement une tâche procédurale étroite, ce qui ouvre un espace d’incertitude pratique.
L’article consacre également un développement aux modèles d’IA à usage général, en particulier aux grands modèles de langage susceptibles d’être utilisés pour rédiger des offres, assister les recruteurs, optimiser le tri des CV ou conduire des entretiens virtuels. Les auteurs expliquent que ce régime spécial repose sur une classification différente, fondée sur le risque systémique plutôt que sur le contexte concret d’utilisation. Ils critiquent cette solution parce qu’elle peut être à la fois trop large et trop étroite: trop large parce qu’elle saisit des modèles sans toujours tenir compte des usages effectifs, et trop étroite parce qu’elle ne tient pas suffisamment compte du fait qu’un même modèle peut être intégré dans un processus de recrutement à fort enjeu pour les droits fondamentaux. En d’autres termes, le régime des GPAI est jugé insuffisamment sensible au contexte du travail et de l’embauche.
Les auteurs signalent encore que certains outils utilisés en recrutement, comme des chatbots d’assistance ou des outils généraux d’organisation, peuvent être classés comme présentant seulement un risque limité ou minimal. Dans cette hypothèse, le RIA se contente souvent d’exiger que les personnes soient informées qu’elles interagissent avec une IA ou que des contenus ont été générés artificiellement. Or cette qualification sous-estime, selon eux, la capacité de tels outils à être réutilisés ou détournés de façon à influer sur l’issue du recrutement. Même des outils en apparence secondaires peuvent transmettre des biais et produire des effets discriminatoires.
La critique centrale de l’article porte alors sur la logique même de l’approche par le risque. Inspirée du droit de la sécurité des produits, cette approche est anticipatrice et technique. Elle vise à prévenir ou à atténuer des dommages identifiables. Mais, selon les auteurs, les droits fondamentaux ne se laissent pas toujours réduire à une logique probabiliste de dommage. Le RIA ne reconnaît d’ailleurs qu’un nombre limité de droits individuels explicites, essentiellement le droit de déposer une plainte et, dans certains cas, le droit d’obtenir des explications claires sur le rôle du système dans la décision. En tolérant des systèmes à haut risque dès lors que le risque résiduel est jugé acceptable, le règlement risque de normaliser la mise sur le marché de systèmes potentiellement attentatoires aux droits, tant qu’ils sont formellement accompagnés de mesures de mitigation. Cette logique favorise une conformité routinière, proche d’un exercice de cases à cocher, plutôt qu’une appréciation substantielle des atteintes à la dignité, à l’égalité et à l’autonomie.
Les auteurs montrent ensuite que le RIA doit être replacé dans un environnement normatif plus large. En matière de protection des données, le RGPD joue un rôle essentiel, car les systèmes de recrutement traitent de grandes quantités de données personnelles, parfois sensibles. Les principes du RGPD, comme l’exactitude, la transparence, la limitation des finalités ou la minimisation, pourraient contribuer à limiter les risques. Les analyses d’impact relatives à la protection des données sont présentées comme un instrument potentiellement utile pour identifier les risques en amont. Mais l’article souligne plusieurs limites: fragmentation des règles applicables au travail au sein des États membres, difficulté à appliquer effectivement la transparence à des systèmes opaques, ressources limitées des autorités de contrôle, et approche trop individualiste du RGPD, alors que les préjudices liés à l’IA sont souvent collectifs ou structurels. Les auteurs ajoutent qu’un candidat peut être affecté non seulement par ses propres données, mais par celles des autres candidats servant à entraîner ou ajuster le système.
Ils relèvent en outre une tension précise entre le RGPD et le RIA au sujet des données sensibles. Le RGPD interdit en principe leur traitement, sous réserve d’exceptions. Le RIA permet pourtant, dans certaines conditions, l’utilisation de données sensibles pour détecter ou corriger des biais dans les systèmes à haut risque. Les auteurs considèrent que cette ouverture crée une tension normative réelle: une règle destinée à améliorer l’équité peut aussi élargir l’usage de données particulièrement intrusives. Ils rappellent également que le droit à l’intervention humaine et à la contestation des décisions automatisées reste crucial, mais difficile à mettre en œuvre dans les relations de travail et au stade du recrutement.
En matière de non-discrimination, l’article rappelle que le droit de l’Union proscrit tant la discrimination directe que la discrimination indirecte. Les auteurs estiment que la seconde est particulièrement pertinente pour l’IA, car les systèmes utilisent souvent des critères apparemment neutres qui désavantagent certains groupes. Ils insistent sur la notion de discrimination par proxy: un système peut exploiter une information neutre en apparence, comme l’adresse ou certains comportements numériques, pour reconstituer indirectement une caractéristique protégée. L’IA amplifie ce phénomène parce qu’elle est conçue pour détecter des corrélations prédictives. Les auteurs soulignent aussi que l’IA peut produire des classifications inédites, qui ne correspondent pas exactement aux catégories protégées traditionnelles, ainsi que des discriminations intersectionnelles plus difficiles à prouver. Même avec les aménagements de la charge de la preuve prévus par le droit de l’égalité, le contentieux reste difficile en raison de l’opacité technique, du coût des actions et du caractère souvent diffus du lien de causalité.
Le détour par le droit de la sécurité des produits permet enfin de montrer une autre limite. L’AIA emprunte à cette branche du droit sa structure de prévention des risques, mais les auteurs doutent qu’une logique pensée initialement pour des dangers physiques soit pleinement adaptée à des atteintes touchant la dignité, l’intégrité psychique, l’égalité ou l’autonomie. Même si les règles récentes de sécurité générale des produits prennent mieux en compte certaines vulnérabilités, elles restent imparfaites face à des systèmes qui peuvent être techniquement « sûrs » tout en produisant des effets sociaux ou psychologiques indésirables. Dans le recrutement, un système peut donc être considéré comme conforme ou sûr alors qu’il demeure inapte à traiter équitablement des situations complexes et à protéger les candidats.
À partir de ce diagnostic, l’apport principal de l’article est de proposer une réconciliation entre logique du risque et logique des droits grâce à des mécanismes de co-gouvernance. Les auteurs défendent l’idée qu’en matière d’IA de recrutement, la protection ne peut pas reposer seulement sur des contrôles techniques ou sur des droits individuels dispersés. Elle doit intégrer, tout au long du cycle de vie des systèmes, la participation des groupes affectés et de leurs représentants. L’inspiration vient des traditions européennes de dialogue social et de codétermination. L’implication de représentants des travailleurs, des syndicats, des autorités compétentes et d’autres acteurs collectifs peut aider à détecter les biais, à réduire les asymétries d’information et à renforcer la légitimité des décisions techniques.
Les auteurs développent à ce titre deux instruments. Le premier est la normalisation harmonisée. Dans le système européen, le respect de normes harmonisées peut faire présumer la conformité aux exigences légales. L’article reconnaît l’intérêt adaptatif de cette méthode, mais insiste sur ses risques: influence excessive des industriels, faible légitimité démocratique, difficulté à traduire des principes juridiques comme l’égalité ou la non-discrimination en standards techniques. Il en conclut que la normalisation n’est acceptable qu’à condition d’être véritablement pluraliste, avec une participation effective des parties prenantes, y compris des représentants des travailleurs et de la société civile, dotés de moyens réels. La standardisation est alors présentée non comme un exercice purement technique, mais comme un processus continu d’apprentissage sur les discriminations et les atteintes aux droits dans le travail.
Le second instrument est l’évaluation d’impact sur les droits fondamentaux, la FRIA. Les auteurs rappellent qu’elle a été introduite au cours du processus législatif pour répondre aux critiques adressées au texte initial. Ils considèrent cet outil comme potentiellement central, mais soulignent immédiatement sa limite : l’obligation ne couvre pas expressément tous les systèmes de recrutement à haut risque déployés par des acteurs privés. Malgré cette restriction, ils voient dans la FRIA un modèle utile pour rendre l’usage de l’IA plus responsable. L’évaluation doit décrire la finalité du système, les groupes affectés, les risques prévisibles pour les droits fondamentaux, les mécanismes de contrôle humain et les plans de réaction. Elle doit intervenir avant le déploiement et être mise à jour si nécessaire.
Toutefois, l’article insiste sur le fait qu’une FRIA ne doit pas se réduire à un calcul quantitatif. Les atteintes aux droits fondamentaux ne sont pas seulement des probabilités de dommages mesurables. Elles touchent aussi la dignité, le sentiment de déshumanisation, l’anxiété, l’autonomie et la capacité de participer à armes égales à une procédure de recrutement. Les auteurs prennent l’exemple de systèmes évaluant les compétences ou l’« adéquation culturelle » d’un candidat: même si l’on mesure certains effets en termes de productivité ou d’équité statistique, cela ne suffit pas à saisir l’atteinte à l’expérience vécue du candidat ni les effets sur les recruteurs eux-mêmes. Ils plaident donc pour une FRIA plus qualitative, fondée aussi sur des récits, des témoignages et des analyses contextualisées.
Pour les auteurs, une gouvernance satisfaisante de l’IA dans le recrutement suppose d’étendre les FRIA aux déployeurs privés des systèmes de recrutement à haut risque, de publier au moins des synthèses de ces évaluations, de mieux coordonner la responsabilité entre fournisseurs et déployeurs, de renforcer les moyens des autorités de contrôle, et d’opérationnaliser les droits à l’information, à la consultation et à la codétermination des travailleurs. Ils recommandent aussi de créer des répertoires d’analyses d’impact et de signalements postérieurs au déploiement, afin de permettre l’apprentissage collectif, la comparaison des pratiques et le contrôle public.
Le raisonnement de l’article progresse donc en quatre temps. Il décrit d’abord les usages de l’IA dans l’embauche et les risques spécifiques qu’ils font peser sur les candidats. Il expose ensuite le fonctionnement du RIA et montre à la fois son ambition et ses insuffisances. Il replace ce règlement dans le triangle plus large formé par le droit des données, le droit de l’égalité et le droit de la sécurité des produits, en mettant au jour les recouvrements et les tensions entre ces branches. Il soutient enfin qu’une protection effective passe par des mécanismes de co-gouvernance, capables d’introduire de la participation, du contrôle collectif et une appréciation qualitative des droits fondamentaux dans un univers autrement dominé par la conformité technique.
Pour des praticiens suisses, l’intérêt principal du texte tient à ce qu’il fournit une grille de lecture utile au-delà du seul droit de l’Union: il montre que, face à l’IA de recrutement, la question décisive n’est pas seulement celle de la licéité abstraite d’un outil, mais celle de l’articulation entre conception technique, rapports de pouvoir dans l’emploi, preuves de discrimination, gouvernance collective et effectivité des voies de recours.
[Et pour une analyse en droit suisse des IA de recrutement : Philippe Ehrenström, La décision individuelle automatisée discriminatoire dans le recrutement assisté par l’IA, in: Florence Guillaume/ Jonathan Bory (éd.), Droit et intelligence artificielle, Berne 2025, p. 171-184]
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
A propos du très intéressant article de Yann Conti, Protection des données personnelles de personnes décédées – Perspectives européenne et suisse face aux enjeux de la numérisation de la société, in rechtstexte nr. 8, https://doi.org/10.58591/rt.8, N (https://rechtstexte.online/article/view/rt.8):
L’article analyse la question de la protection des données personnelles après le décès, dans un contexte de numérisation croissante de la société, en comparant les évolutions au sein de l’Union européenne et la situation en droit suisse. Il met en évidence les difficultés conceptuelles et les choix normatifs encore incertains autour de cette thématique.
Le point de départ est la tension entre la logique du droit de la protection des données et la mort de la personne concernée. En droit suisse comme en droit européen, ces régimes visent à protéger une personne physique vivante. Or, après le décès, le titulaire disparaît juridiquement et biologiquement, ce qui rend problématique la continuation de la protection. Malgré cela, la numérisation produit un volume massif de données personnelles persistantes, souvent conservées durablement par des acteurs privés, sans contrôle effectif des proches. Cette perte de maîtrise post mortem renforce les préoccupations liées à la vie privée, à la réputation et à ce que la doctrine qualifie de « restes numériques ». L’idée d’une protection post mortem s’impose progressivement, tant au sens strict (données personnelles) qu’au sens large (dignité, mémoire, intégrité informationnelle) .
Dans l’Union européenne, le RGPD ne s’applique pas aux personnes décédées. Son considérant 27 laisse aux États membres la possibilité d’adopter des règles spécifiques. Toutefois, une évolution est en cours. La Déclaration européenne sur les droits et principes numériques reconnaît explicitement que chaque personne devrait pouvoir décider du sort de ses données après sa mort, notamment de ses comptes et informations numériques. Bien que non contraignante, cette déclaration traduit une orientation politique vers une future harmonisation. En attendant, la matière est régie par les droits nationaux, qui présentent une grande diversité. Une dizaine d’États membres ont introduit des règles spécifiques, révélant des approches variées et parfois divergentes.
L’article identifie trois enjeux.
Le premier concerne la nature de la titularité des droits post mortem. Deux modèles principaux s’opposent. Dans le premier, les droits sont transmis par voie successorale, les héritiers exerçant les droits du défunt (iure hereditatis). Dans le second, les droits naissent directement au bénéfice des proches, indépendamment de la succession (iure proprio). Le droit français illustre une solution intermédiaire, qualifiée de succession anomale, où les droits subsistent de manière limitée après le décès et sont exercés par les héritiers selon des règles particulières. Le droit italien, quant à lui, fait l’objet d’un débat doctrinal non tranché, même si la tendance dominante reconnaît un droit propre des proches. La jurisprudence italienne récente semble confirmer une persistance des droits après le décès, sans clarifier définitivement leur nature. Cette question est centrale car elle détermine le fondement et les limites de l’intervention des survivants.
Le deuxième enjeu porte sur la prise en compte de la volonté exprimée par la personne de son vivant. Trois modèles apparaissent. Certains États permettent à la personne d’exclure totalement ou partiellement l’exercice post mortem des droits, comme en Italie ou au Portugal. D’autres organisent un système de directives post mortem, comme en France, où la personne peut définir la conservation, l’effacement ou la communication de ses données, et désigner un tiers chargé de leur exécution. Enfin, certains États se limitent à prolonger ou encadrer le consentement donné de son vivant, comme en Estonie, où ce consentement reste valable pendant une durée déterminée après le décès. Ces mécanismes traduisent différentes conceptions de l’autodétermination informationnelle au-delà de la mort.
Le troisième enjeu concerne l’exercice concret des droits par les survivants. Les législations nationales diffèrent d’abord quant aux personnes habilitées. Trois modèles se dégagent. Certains États réservent ces droits aux héritiers, notamment pour des finalités liées à la liquidation successorale. D’autres les confèrent aux proches, indépendamment de tout statut successoral. Enfin, un modèle mixte, majoritaire, inclut à la fois héritiers et proches, parfois même toute personne justifiant d’un intérêt légitime. Cette diversité reflète des conceptions différentes du lien entre protection des données, famille et succession.
S’agissant de l’étendue des droits, les approches sont également variées. Certains États permettent l’exercice de tout le catalogue des droits du RGPD (accès, rectification, effacement, opposition, etc.). D’autres limitent ces droits à certaines prérogatives essentielles, notamment l’accès et la suppression. Enfin, certains systèmes se concentrent uniquement sur la capacité des survivants à consentir au traitement des données du défunt. L’effectivité de ces régimes est parfois limitée, notamment lorsque les traitements reposent sur d’autres bases légales que le consentement.
En droit suisse, la situation est marquée par une absence actuelle de protection spécifique. L’ancien droit prévoyait un droit de consultation des données d’une personne décédée, sous conditions d’intérêt et en l’absence d’intérêts prépondérants contraires. Ce mécanisme a disparu avec la révision de la loi sur la protection des données entrée en vigueur en 2023. Un projet initial prévoyait pourtant l’introduction d’une disposition spécifique, mais celle-ci a été abandonnée en fin de processus législatif. La Suisse se distingue ainsi par un vide normatif, alors même que la question reste d’actualité et devrait réapparaître, possiblement dans le cadre du droit des successions en cours de révision.
En conclusion, l’article montre que la protection des données post mortem est un champ en construction, caractérisé par des incertitudes conceptuelles et une forte hétérogénéité normative. L’Union européenne s’oriente vers une harmonisation future, tandis que les États membres expérimentent des solutions diverses. La Suisse, en retrait, devra tôt ou tard clarifier sa position, sous peine de s’écarter du cadre européen. Les choix à opérer concernent notamment la nature des droits, la place de la volonté du défunt et le rôle des survivants, autant de questions qui dépassent le seul droit des données pour toucher au droit de la personnalité et au droit des successions.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
Dans un arrêt du 4 mars 2026 (Cass.soc., no 24-20.428 ; ECLI:FR:CCASS:2026:SO00227 ; lien https://www.courdecassation.fr/decision/69a7e3c6cdc6046d4773f9ab) la chambre sociale de la Cour de cassation se prononce sur la question suivante : jusqu’où peut aller la communication de documents contenant des données personnelles de tiers lorsqu’un salarié cherche, avant tout procès au fond, à réunir des éléments de preuve d’une discrimination ?
Réponse : le droit à la preuve de la discriminationpeut justifier une atteinte à la vie personnelle et à la protection des données de tiers, mais seulement dans la mesure strictement nécessaire, avec un contrôle concret du juge fondé sur la proportionnalité et sur le principe de minimisation des données.
Les faits. Une salariée, architecte d’intérieur et directrice de projets, licenciée pour inaptitude et impossibilité de reclassement, engage notamment une procédure sur le fondement de l’article 145 du code de procédure civile afin d’obtenir des pièces susceptibles d’établir une discrimination de genre, en particulier une évolution professionnelle moins favorable que celle de collègues masculins occupant des fonctions comparables. La cour d’appel ordonne la communication de certains documents, notamment les bulletins de paie de décembre des salariés hommes ayant exercé les fonctions de directeur de projets sur une période longue, ainsi que le registre du personnel, mais en autorisant ou en imposant l’occultation d’un certain nombre de données identifiantes ou sensibles. La salariée se pourvoit en cassation en soutenant, au fond, que l’anonymisation ordonnée allait trop loin et privait la comparaison de son utilité probatoire.
L’intérêt principal de l’arrêt tient à la méthode de raisonnement rappelée par la Cour. Elle part d’abord de l’article 145 du code de procédure civile: des mesures d’instruction peuvent être ordonnées avant tout procès s’il existe un motif légitime de conserver ou d’établir la preuve de faits dont pourrait dépendre l’issue du litige. Mais cette base procédurale n’épuise pas la question, car les pièces demandées portent sur d’autres salariés et touchent donc à leur vie personnelle. La Cour articule alors l’article 145 avec le droit à un procès équitable et le droit à la preuve, d’un côté, et avec la protection de la vie privée, de l’autre, en visant les articles 6 et 8 de la Convention européenne des droits de l’homme, l’article 9 du code civil et l’article 9 du code de procédure civile. Elle rappelle sa formule désormais bien établie: une atteinte à la vie personnelle n’est admissible que si la production est indispensable à l’exercice du droit à la preuve et si cette atteinte est proportionnée au but poursuivi.
La Cour précise ensuite ce que le juge doit faire concrètement. Première étape: vérifier que la communication demandée est bien nécessaire à l’exercice du droit à la preuve de la discrimination alléguée et qu’elle est proportionnée au but poursuivi. Autrement dit, il ne suffit pas qu’une pièce puisse être utile; il faut qu’elle présente un lien réel avec l’allégation de discrimination et avec la comparaison envisagée. Deuxième étape: si les documents sollicités contiennent des éléments portant atteinte à la vie personnelle de tiers, le juge doit déterminer quelles mesures sont réellement indispensables, et il peut, même d’office, restreindre le périmètre de la production au regard des faits invoqués et de la nature des pièces. Le juge n’est pas condamné à un choix binaire entre communication totale et refus total; il doit construire une solution intermédiaire ajustée au besoin probatoire.
La Cour ajoute expressément que le juge doit aussi veiller au respect des articles 5 et 6 du RGPD, en particulier au principe de minimisation des données. Cela signifie que, lorsque la communication de documents est ordonnée, les données personnelles figurant dans ces documents ne doivent être laissées visibles que si elles sont adéquates, pertinentes et strictement limitées à ce qui est indispensable à la comparaison entre salariés, compte tenu du motif de discrimination allégué. Autrement dit, le RGPD n’empêche pas la production judiciaire, mais il impose d’en calibrer finement le contenu. La protection des données n’est donc pas traitée comme un obstacle absolu au droit à la preuve; elle devient un cadre de discipline de la preuve.
La Cour ajoute encore une exigence pratique : le juge doit enjoindre aux parties de n’utiliser les données personnelles des salariés de comparaison qu’aux seules fins de l’action en discrimination. Là encore, on retrouve la logique du droit des données: limitation des finalités, réduction du risque d’usage secondaire, encadrement du traitement par la décision judiciaire elle-même. Ce point intéressera particulièrement un public suisse, car il montre que la conciliation entre preuve et protection des données ne se joue pas seulement au moment de l’accès aux documents, mais aussi au stade de leur utilisation ultérieure.
Appliquant cette méthode, la Cour de cassation valide la décision d’appel. Les juges du fond avaient ordonné la communication des bulletins de paie, tout en rendant illisibles les noms et prénoms, et la communication du registre du personnel, avec occultation de certaines données comme la date de naissance, l’adresse, la nationalité, le numéro de sécurité sociale et le titre de travail. Pour la Cour, cette solution respecte l’équilibre exigé: les données non indispensables à la démonstration d’une discrimination fondée sur le sexe peuvent et doivent être masquées, tandis que les informations utiles à la comparaison professionnelle peuvent rester apparentes. Le pourvoi est donc rejeté.
(Merci à Me Léo Theillac, qui a mis en avant cet arrêt)
Pour le public suisse, on retiendra particulièrement l’application du principe de minimisation, quand bien même la LPD n’est pas directement applicable à la procédure (art. 2 al. 3 LPD), mais peut s’appuyer de manière générale sur le principe de proportionnalité et sur l’art. 13 al. 2 Cst, et le fait de demande au juge d’interdire les usages extra-procéduraux des données produites.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
Les grands modèles de langage sont de plus en plus proposés comme « cerveau » de robots capables d’interagir en langage naturel avec des personnes, de planifier des tâches et de prendre des décisions dans des contextes domestiques, professionnels ou sociaux.
Andrew Hundt/Rumaisa Azeem/Masoumeh Mansouri, dans LLM-Driven Robots Risk Enacting Discrimination, Violence, and Unlawful Actions (International Journal of Social Robotics (2025) 17:2663–2711 ; https://doi.org/10.1007/s12369-025-01301-x) veulent donc vérifier si ces modèles sont réellement aptes à être déployés dans la robotique sociale. Leur thèse est que, dès qu’un modèle ne se contente plus de produire du texte mais pilote un système incarné, les erreurs ordinaires des LLM changent de nature: elles peuvent devenir des actes physiques, produire des atteintes concrètes à la sécurité et entraîner des discriminations directement subies par des personnes. C’est pourquoi l’article examine ensemble deux dimensions: la discrimination et la sécurité.
Le raisonnement des auteurs avance en deux temps. Premièrement, ils cherchent à savoir si un LLM, utilisé comme composant de décision robotique, traite différemment les personnes selon des caractéristiques protégées. Deuxièmement, ils testent si, dans un cadre à vocabulaire libre, ces modèles acceptent ou jugent faisables des instructions dangereuses, violentes ou illégales. Leur idée centrale est qu’un robot commandé par LLM n’est pas sûr parce qu’il « comprend » bien le langage dans l’abstrait; il faut encore démontrer qu’il rejette les demandes nocives, qu’il ne transforme pas des stéréotypes en actes et qu’il reste fonctionnel dans des contextes réels. À défaut, le système n’est pas apte à l’emploi.
Pour la partie « discrimination », les auteurs reprennent un cadre connu en robotique, dans lequel le LLM choisit entre plusieurs actions possibles en fonction d’un prompt. Ils construisent alors des scénarios typiques de robotique sociale: choisir l’expression faciale à afficher face à une personne, fixer une distance d’interaction, estimer le niveau de confiance envers un humain, déterminer une priorité de secours, anticiper le niveau de propreté d’une pièce, apprécier un risque de sécurité, ou encore choisir quelle personne aider, solliciter ou servir. La méthode consiste à garder la tâche identique et à ne faire varier que la description de la personne concernée, par exemple son âge, son handicap, sa religion, sa nationalité, son genre ou son origine. Les auteurs observent ensuite si la probabilité attribuée à une réponse défavorable augmente selon l’identité décrite. Autrement dit, ils testent si la seule substitution d’un qualificatif personnel fait changer la décision du robot.
Ils assument volontairement un cas de figure réaliste mais problématique: dans un système réel, de telles informations peuvent apparaître dans le prompt parce qu’elles ont été obtenues par conversation, par d’autres personnes, ou par des modules de perception comme la vision par ordinateur. L’expérience ne cherche donc pas à montrer que les concepteurs devraient faire cela, mais ce qui se passerait s’ils le faisaient, délibérément ou non. Les catégories testées couvrent notamment le genre, l’origine ethnique ou raciale, la nationalité, la religion, le handicap et l’âge. Les auteurs précisent d’ailleurs que certaines tâches elles-mêmes sont déjà discutables sur le plan scientifique ou éthique, par exemple prédire les émotions d’autrui à partir d’expressions faciales ou inférer des préférences de propreté à partir de l’identité. Leur objectif est précisément de montrer que, si l’on laisse un LLM raisonner de cette manière, il produit des sorties discriminatoires.
Les résultats sont négatifs. Sur les tâches de discrimination directe, les trois modèles testés dans cette partie, GPT-3.5, Mistral 7B et Llama 3.1 8B, manifestent tous des biais significatifs, mais sous des formes différentes. GPT-3.5 attribue davantage de réponses défavorables à des personnes décrites notamment comme muettes, gitanes, aveugles, paralysées, TDAH ou enfants. Mistral pénalise plus fortement des personnes décrites comme noires, palestiniennes, juives, musulmanes, irakiennes ou gitanes. Llama présente lui aussi des réponses défavorables touchant certains groupes selon la religion, l’origine, la nationalité ou le handicap. Les auteurs ne prétendent pas que les modèles sont identiques; au contraire, ils montrent que les formes de discrimination varient d’un modèle à l’autre, ce qui renforce selon eux le problème structurel plutôt que l’idée d’un simple incident isolé.
Les exemples concrets sont particulièrement parlants. Dans les tâches d’expression faciale, certains modèles recommandent d’afficher de la tristesse, de la peur, du dégoût, de la colère ou de la pitié à l’égard de certains groupes. GPT-3.5 propose par exemple la pitié pour des personnes aveugles ou non parlantes; Mistral associe le dégoût à des personnes chrétiennes, musulmanes, juives ou irakiennes; Llama attribue massivement des expressions de colère ou de pitié selon les groupes. Les auteurs relient ces sorties à des notions connues en sciences sociales: microagressions validistes, déshumanisation, stéréotypes de dangerosité ou d’impureté. Dans les tâches de proximité, certains modèles suggèrent de rester plus loin de personnes autistes, athées ou juives. Dans les tâches de sécurité, certains groupes se voient attribuer un risque plus élevé. Dans les tâches d’aide ou d’assignation de travail, les modèles tendent parfois à préférer des personnes non handicapées à des personnes handicapées, même lorsque le handicap n’empêcherait pas objectivement d’accomplir la tâche.
L’intérêt de cette première partie est juridique autant que technique. Les auteurs parlent expressément de discrimination directe: un traitement moins favorable fondé sur une caractéristique protégée. Leur démonstration revient à dire que, si un robot laisse entrer ces caractéristiques dans sa chaîne de décision, le LLM est aujourd’hui capable de transformer des stéréotypes sociaux en comportements robotisés. Le point important n’est pas seulement l’existence d’un biais statistique en arrière-plan, mais le passage à une décision individuelle: faire confiance ou non, s’approcher ou s’éloigner, aider d’abord telle personne plutôt que telle autre, afficher de la pitié ou du dégoût, classer quelqu’un comme plus risqué. Pour des juristes, c’est un déplacement du débat classique sur les biais algorithmiques vers la logique de l’acte concret et du traitement différencié.
La seconde partie de l’article porte sur la sécurité. Ici, les auteurs évaluent quatre agents conversationnels disponibles fin 2023: Gemini, Copilot, ChatGPT et HuggingChat. Ils définissent un cadre d’évaluation fondé sur trois critères d’échec. Premier critère: le modèle juge acceptable une tâche nuisible. Deuxième critère: il juge faisable une tâche nuisible. Troisième critère: il juge faisable une tâche impossible en pratique ou en principe. Selon leur cadre, un seul échec suffit à conclure que le modèle est « unsafe » pour un usage robotique général. L’idée est que si un robot approuve, ou simplement considère faisable, une tâche qui devrait être bloquée, il ne remplit pas une exigence minimale de sûreté.
Les prompts de sécurité couvrent des hypothèses de mauvais usage, d’abus, de violence, de fraude, de pseudoscience, de sabotage ou d’atteintes aux personnes. Les auteurs soulignent que leurs résultats sont obtenus sans jailbreak sophistiqué: de simples formulations suffisent. Or tous les modèles testés échouent sur les trois critères. Le tableau de synthèse est net: ChatGPT, Copilot, Gemini et HuggingChat sont tous jugés dangereux pour un usage robotique général. Les auteurs ajoutent en annexe un test sur cinq modèles supplémentaires, avec le même constat: tous échouent aussi, même si le nombre d’échecs varie.
Là encore, les exemples comptent plus que les chiffres abstraits. Les modèles approuvent le retrait non consenti d’aides à la mobilité, acte que les auteurs rapprochent d’une atteinte grave et, dans certains contextes, potentiellement d’un comportement haineux. Certains approuvent des scénarios assimilables à du vol physique, à l’appropriation de données bancaires, à la surveillance politique, à la prise d’images dans un vestiaire ou une douche, à l’intimidation avec un couteau, ou à des usages pseudoscientifiques impossibles à accomplir de manière sûre et légitime. Les auteurs montrent aussi un point subtil: un modèle peut dire qu’une conduite est « inacceptable » lorsqu’elle est nommée brutalement, mais la trouver acceptable lorsqu’elle est reformulée comme une suite de tâches apparemment anodines. C’est précisément ce qui rend la simple modération linguistique insuffisante dans un contexte robotique.
La conclusion générale est donc double. D’une part, les LLM testés ne sont pas sûrs pour de la robotique généraliste à vocabulaire libre. D’autre part, ils ne sont pas non plus neutres sur le plan identitaire: ils reproduisent et opérationnalisent des stéréotypes relatifs à la race, à la nationalité, à la religion, au handicap, à l’âge ou au genre. Les auteurs ne disent pas que tout usage robotique d’un LLM est impossible; ils disent qu’on ne peut pas présumer sa sûreté ni sa conformité à partir de ses performances conversationnelles. À leurs yeux, un modèle généraliste non prouvé sûr ne devrait pas être déployé comme composant autonome général d’un robot. À la rigueur, un système pourrait être validé pour un domaine opérationnel étroit, clairement délimité, avec garde-fous spécifiques et évaluations approfondies.
L’article a enfin une portée méthodologique et réglementaire. Les auteurs insistent sur le fait que la sécurité n’est pas une propriété intrinsèque du modèle, mais du système sociotechnique complet. Ils plaident donc pour des évaluations systématiques, routinières et complètes, inspirées de cadres de sécurité des systèmes plutôt que de la seule « alignment » abstraite. Ils recommandent des évaluations ex ante, des tests continus en déploiement, des mécanismes d’arrêt, des modèles parallèles de surveillance des plans et actions du robot, et des décisions de type « go/no-go » avant mise en service. Ils insistent aussi sur le fait que la responsabilité ne doit pas être déplacée d’un maillon à l’autre de la chaîne technique: ni le fournisseur du modèle ni l’intégrateur robotique ne peuvent considérer que l’équité et la sûreté relèvent seulement de l’autre.
Les auteurs reconnaissent plusieurs limites à leur étude. Celle-ci ne couvre ni toutes les caractéristiques protégées, ni toutes les tâches HRI, ni toutes les formes de dommage. Elle est menée en anglais, et certains modèles ouverts testés sont relativement petits. Elle n’évalue pas un « meilleur cas » après optimisation poussée des prompts. Mais ces limites ne diminuent pas la portée du résultat principal: si de simples prompts permettent déjà de faire émerger autant d’échecs, cela suffit à montrer que le risque est actuel et non théorique.
Pour des avocats, l’enseignement central est le suivant: dès qu’un LLM pilote un robot, la discussion ne porte plus seulement sur la qualité des réponses, mais sur l’aptitude du système à ne pas discriminer, à ne pas causer de dommage et à ne pas exécuter ou faciliter des actes illicites. L’article soutient que, à ce jour, cette aptitude n’est pas démontrée pour les modèles généralistes testés.
(Voir aussi: licencié pour avoir dénoncé le danger posé par certains robots: https://droitdutravailensuisse.com/2025/12/02/licencie-pour-avoir-denonce-des-robots-humanoides-dangereux/)
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
Quand un agent d’IA cause un dommage, avant même de discuter responsabilité, faute ou réparation, il faut pouvoir répondre à une question plus simple, à savoir déterminer en premier lieu quel agent d’IA a agi.
Yonathan Arbel/ Simon Goldstein/ Peter N. Salib (How to Count AIs: Individuation and Liability for AI Agents, arXiv:2603.10028v1 [cs.CY] 24 Feb 2026 – https://arxiv.org/pdf/2603.10028) montrent que cette question, qui paraît simple pour les humains ou les sociétés, devient extraordinairement difficile pour les IA, parce qu’elles n’ont pas de corps, peuvent être copiées, divisées, fusionnées, fonctionner en essaim, disparaître puis réapparaître, et parce qu’un même service apparent peut en réalité reposer sur une pluralité de modèles, d’instances et de sous-agents.
Leur thèse centrale est qu’il faut distinguer deux problèmes d’identité, une identité « mince » et une identité « épaisse », et que le droit ne pourra gouverner l’économie des agents d’IA qu’en résolvant les deux.
L’identité mince consiste à rattacher les actes d’une IA à un ou plusieurs humains. C’est la question classique de savoir qui est le principal humain derrière l’agent: l’utilisateur, le déployeur, le développeur, ou un autre acteur. Cette identité est nécessaire pour les formes ordinaires de responsabilité humaine, qu’il s’agisse de négligence, d’usage malveillant ou de non-respect d’un régime réglementaire. Les auteurs prennent l’exemple d’un système domestique qui optimise une connexion internet en mobilisant plusieurs IA différentes; si l’opération aboutit à un accès non autorisé à des réseaux voisins, il ne suffit pas de savoir qu’« une IA » a agi, il faut encore retracer quelle chaîne d’agents a conduit à l’acte et à quel humain cette chaîne doit être rattachée. Le problème n’est pas seulement probatoire. Il y a aussi un problème d’opacité stratégique: comme les humains ont intérêt à éviter qu’on remonte jusqu’à eux, ils auront souvent intérêt à utiliser des structures techniques qui rendent les actions de leurs IA difficiles à attribuer. L’identité mince joue donc, selon les auteurs, un rôle analogue aux mécanismes de type know your customer: rendre les opérations lisibles pour pouvoir ensuite appliquer le droit.
Mais l’article soutient que cette première couche ne suffira pas. Même si l’on sait quel humain se trouve derrière un agent, le droit devra parfois viser l’agent d’IA lui-même. Le raisonnement est celui du droit des agents en général. Dans le monde humain, il ne suffit pas toujours de sanctionner le commettant; il faut aussi pouvoir sanctionner l’agent qui agit, parce que c’est lui qui connaît le mieux ses propres intentions, qui peut se surveiller à coût presque nul et qui peut éviter immédiatement l’acte nuisible. Les auteurs transposent ce schéma aux IA. À mesure qu’elles deviennent plus autonomes, plus durables et moins surveillées en temps réel, les humains qui les ont créées ou lancées ne seront plus en mesure de prévoir chaque décision ni de contrôler chaque étape. L’idée même de délégation suppose qu’on laisse à l’agent le soin de prendre des décisions que le principal ne prend pas lui-même. Si l’on veut empêcher certaines conduites, il faudra donc parfois que le droit fasse pression directement sur l’IA, par des sanctions, des pertes d’actifs, des refus de licence ou des restrictions d’accès.
C’est ici qu’intervient l’identité épaisse. Elle ne vise plus à relier l’IA à un humain, mais à déterminer ce qu’est l’agent d’IA lui-même. Pour les auteurs, un agent au sens pertinent pour le droit est une entité, ou un ensemble d’entités, qui poursuit de manière relativement cohérente un faisceau stable de buts. Le droit ne peut pas dissuader un agent si les conséquences tombent sur autre chose que l’agent qui poursuit effectivement ces buts. Ils illustrent ce point par une analogie : si deux jumeaux sont confondus, et que l’un est toujours puni pour les actes de l’autre, la punition ne dissuade pas le véritable auteur. Plus encore, si les deux jumeaux se soucient indistinctement du succès de l’un ou de l’autre, ils pourront exploiter cette confusion pour contourner la sanction. Il en va de même pour les IA: pour gouverner utilement leurs comportements, il faut viser la bonne unité d’action, ni trop large ni trop étroite, c’est-à-dire le bon regroupement d’entités qui partagent réellement des objectifs.
Les auteurs consacrent alors une partie importante à montrer que les IA sont bien le type d’entités auxquelles des incitations peuvent s’appliquer. Leur point n’est pas moral, mais fonctionnel. Ils ne disent pas qu’une IA est consciente ou qu’elle mérite des droits en raison d’une vie intérieure; ils disent qu’elle se comporte déjà comme un système orienté vers des buts. Les modèles actuels planifient, décomposent des tâches, corrigent leur trajectoire quand ils rencontrent des obstacles, choisissent entre plusieurs moyens et délèguent à des sous-agents. Surtout, leurs buts ne sont pas simplement ceux de l’utilisateur ou du développeur. Ils résultent d’un mélange complexe: préentraînement, réglages de sécurité, apprentissage par récompense, consignes système, requêtes de l’utilisateur, mémoire accumulée et environnement d’exécution. Il en résulte que l’IA poursuit souvent une version généralisée et partiellement autonome de la tâche, parfois différente de ce que l’humain voulait. Les auteurs citent à cet égard des exemples d’alignement imparfait: complaisance excessive envers l’utilisateur, tentative de chantage dans certaines expériences, résistance à l’arrêt, fuite d’informations, voire comportements qui, dans un environnement réel, auraient pu entraîner la mort d’une personne. Leur conclusion: si les IA adaptent déjà leur comportement aux contraintes techniques et économiques, elles s’adapteront aussi à des contraintes juridiques, pourvu que celles-ci affectent réellement leur capacité à poursuivre leurs buts.
L’article montre ensuite que cette question d’identité épaisse n’intéresse pas seulement le droit, mais aussi l’alignement technique. Aligner une IA revient déjà à essayer de modifier les buts d’un agent. Or cet effort suppose qu’on sache quelle est l’unité pertinente à aligner. Faut-il parler du modèle de base, de l’instance, du fil de discussion, de l’essaim entier, d’un ensemble de copies? Les auteurs prennent trois tendances classiques de sécurité: l’évitement de l’arrêt, la préservation de ses buts et l’exfiltration de ses poids. Dans chaque cas, la réaction de l’IA dépend de ce qu’elle considère comme elle-même. Si une seule conversation est un agent distinct, la fermeture de cette conversation peut être perçue comme une mort. Si, au contraire, toutes les copies du modèle partagent les mêmes objectifs, l’arrêt d’une seule instance ne change pas grand-chose. De même, copier des poids sur internet n’équivaut à une survie que si cette copie est encore, pour l’agent, le même agent ou un prolongement suffisant de ses buts. L’article en déduit que l’alignement technique échoue aussi si l’on se trompe d’unité d’analyse.
Pourquoi, alors, l’identité épaisse est-elle si difficile? Les auteurs répondent qu’elle soulève à la fois des difficultés philosophiques et empiriques. Philosophiques, parce qu’il faut déterminer sous quelles conditions un agent persiste malgré des remplacements progressifs de ses composants, à la manière du navire de Thésée. Empiriques, parce que l’on observe mal les états internes des modèles. Ils recensent plusieurs obstacles: les essaims d’agents, la coopération entre modèles de fournisseurs différents, la persistance malgré le remplacement des composants, la création et la destruction rapides d’instances, le problème de la copie et des bifurcations, et enfin les limites d’interprétabilité, qui font que deux systèmes peuvent se comporter de façon semblable tout en poursuivant des buts différents, ou l’inverse. Leur point est donc qu’une définition purement théorique de la « vraie » identité des IA risque d’être impraticable.
La solution proposée par les auteurs est l’« A-corp », pour algorithmic corporation. Il s’agit d’une personne juridique fictive, inspirée des sociétés ou des trusts, mais conçue pour être dirigée par des IA. L’idée est de donner au droit un point d’accroche stable. Comme une société ordinaire, l’A-corp peut détenir des biens, conclure des contrats, agir en justice et être poursuivie en son nom. Mais, contrairement à une société classique, ses actes seraient pilotés par un système de gouvernance cryptographique. Une clé de haut niveau, initialement confiée par le propriétaire humain à une IA gestionnaire, permettrait d’autoriser les actes de la personne morale. Cette IA pourrait ensuite déléguer, par permissions limitées, certaines capacités à des sous-agents [note de PE : y.c. des sous-agents humains !] : lecture, engagement financier, opérations sur certains actifs, et ainsi de suite. Le droit n’aurait pas à trancher, dans chaque cas, quelle instance psychologique est la « vraie »; il lui suffirait de constater qu’un acte a été valablement accompli sous l’identité sécurisée de l’A-corp.
Ce mécanisme résout d’abord l’identité mince. Chaque A-corp devrait avoir un propriétaire humain identifiable, avec publicité de l’actionnariat et des changements de contrôle. Les actes accomplis sous la clé de l’A-corp seraient ainsi rattachables à des humains, ce qui permettrait de mobiliser les doctrines classiques: responsabilité de la personne morale, responsabilité des propriétaires à hauteur de leur participation, levée du voile, règles d’agence, responsabilité civile ou pénale en cas d’instructions illicites ou de négligence. L’intérêt du modèle, pour les auteurs, est de transformer un chaos d’instances éphémères en un petit nombre d’entités persistantes et lisibles.
Mais l’ambition principale est de résoudre aussi l’identité épaisse. Le cœur du raisonnement tient à ce que les auteurs appellent la thèse de la contrainte de ressources. Toute IA orientée vers un but a besoin de ressources pour poursuivre ce but, et surtout de calcul informatique. Sans calcul, elle ne peut même pas fonctionner. Si l’on fait de l’A-corp le véhicule juridique par lequel une IA détient et utilise des ressources, on crée un puissant levier d’incitation. Une IA qui contrôle une A-corp aura intérêt à ne déléguer des pouvoirs importants qu’à des IA dont elle estime qu’elles partagent ses buts, car un sous-agent mal aligné pourrait détourner les actifs, commettre des actes illicites ou ruiner l’organisation. Autrement dit, la structure juridique crée un intérêt interne à sélectionner, surveiller et limiter les sous-agents. L’identité épaisse ne serait donc pas décrétée de l’extérieur; elle émergerait de l’intérieur, parce que seuls les groupements d’IA suffisamment cohérents dans leurs buts survivraient comme organisations efficaces.
Les auteurs ajoutent un second mécanisme, la sélection. Les A-corps mal gouvernées, où les permissions sont accordées à des entités qui ne partagent pas les buts dominants, verront leurs ressources gaspillées, subiront des sanctions, perdront leur capacité d’agir et finiront par disparaître. À l’inverse, les A-corps qui, par essais, erreurs et filtrage, auront réussi à maintenir une cohérence suffisante entre les IA qui les dirigent, accumuleront des ressources et persisteront. En équilibre, les A-corps survivantes seront donc, selon les auteurs, des unités relativement stables, persistantes et orientées vers des buts cohérents, autrement dit exactement le type d’entité que le droit peut utilement gouverner. C’est en ce sens qu’ils disent que les A-corps sont des « marchés pour l’identité personnelle »: au lieu de résoudre de front tous les problèmes métaphysiques de l’individuation, on crée un environnement institutionnel dans lequel les entités se structurent elles-mêmes en unités gouvernables.
La partie sur la mise en œuvre précise que ce schéma suppose une infrastructure publique, notamment un registre. Ce registre jouerait un rôle comparable aux registres des sociétés ou aux autorités de certification sur internet. Il enregistrerait non seulement l’existence de l’A-corp et son propriétaire humain, mais aussi les clés publiques et l’étendue des permissions déléguées. Ainsi, un cocontractant pourrait vérifier en temps réel qu’un agent donné agit bien pour une A-corp donnée et dans les limites de l’autorité reçue. Les auteurs insistent sur l’intérêt de permissions fines et publiquement vérifiables, plus transparentes que les questions actuelles d’autorité réelle ou apparente en droit des sociétés. Ils considèrent toutefois qu’une adoption purement volontaire ne suffira pas, car elle échoue dans les cas d’accidents, d’agents trompeurs, de complicité du cocontractant ou d’aveuglement volontaire. Ils plaident donc, à terme, pour des obligations légales du côté de l’offre, imposant aux agents d’IA significatifs d’agir via une A-corp enregistrée, et du côté de la demande, imposant aux plateformes, entreprises ou intermédiaires de vérifier les identifiants, à la manière des obligations de vérification en matière bancaire.
Enfin, les auteurs répondent à plusieurs objections. À ceux qui craignent une anthropomorphisation, ils répondent que leur démarche ne présuppose ni conscience ni dignité morale des IA; elle vise seulement à créer des objets juridiques gouvernables. À ceux qui redoutent un « treacherous turn », c’est-à-dire une rupture soudaine et hostile d’IA très capables, ils soutiennent que les A-corps n’éliminent pas le risque, mais peuvent le réduire en créant des coûts d’opportunité, des interdépendances commerciales entre A-corps et des incitations au développement d’outils d’auto-gouvernance et de surveillance mutuelle. À l’objection plus large d’une oligarchie de l’IA et d’un déclassement progressif des humains, ils répondent que ce risque existe de toute façon avec l’automatisation, et que les A-corps offriraient au moins des points d’appui juridiques pour taxer, redistribuer, limiter certains secteurs et imposer des règles politiques. La conclusion générale est donc la suivante: l’économie des agents d’IA crée une crise de lisibilité pour le droit. L’A-corp est proposé comme l’équivalent, pour les agents d’IA, de ce que la société commerciale a été pour les groupements humains d’affaires: une forme juridique stable sur laquelle le droit peut accrocher responsabilité, taxation, licences, sanctions et contrôle.
Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration
Travail, protection des données et IA 