About: Philippe Ehrenström, La décision individuelle automatisée discriminatoire dans le recrutement assisté par l’intelligence artificielle, in: Florence Guillaume/Jonathan Bory (eds.), Droit et intelligence artificielle, Bern 2025, pp. 171-184 (https://staempflirecht.ch/fr/droit-et-intelligence-artificielle/ean-9783727225093):
The article analyses the risks of discrimination associated with the use of artificial intelligence systems in recruitment and examines the instruments that Swiss law, supplemented by European AI and data protection law, offers to candidates.
The author starts from the observation that many employers already automate the sorting of CVs or the evaluation of applications using models that learn from historical data and can therefore reproduce or even amplify existing discrimination, for example based on gender, origin, age or disability.
He first recalls the Swiss framework for combating discrimination in recruitment, which is characterised by the absence of a general ban in the private sector. Protection derives mainly from respect for personality rights and various special standards.
The article then recalls that algorithmic recruitment has been classified as a ‘high-risk AI system’, particularly when the tool is used to decide on access to employment. This results in a significant risk to the candidate’s personal rights.
The decision to reject a candidate solely on the basis of a score generated by an AI system constitutes an automated individual decision. The data subject has, in principle, the right not to be subject exclusively to such a decision, to request the intervention of a natural person and to obtain information on the logic underlying the processing, its significance and its intended effects.
These rights open up the possibility of using the information obtained as evidence in a lawsuit to challenge a discriminatory refusal to hire. The article discusses the procedural avenues and the particular difficulties they may present in Swiss law.
In conclusion, the author considers that Swiss data protection law offers an important lever against discriminatory automated recruitment decisions, but that practical obstacles remain and that broader reflection on a right to non-discrimination adapted to AI systems remains necessary in Swiss labour law.
Me Philippe Ehrenström, attorney, LLM, CAS in Data Protection, CAS in Law and Artificial Intelligence
Über: Philippe Ehrenström, La décision individuelle automatisée discriminatoire dans le recrutement assisté par l’intelligence artificielle, in : Florence Guillaume/ Jonathan Bory (éd.), Droit et intelligence artificielle, Bern 2025, S. 171–184 (https://staempflirecht.ch/fr/droit-et-intelligence-artificielle/ean-9783727225093)
Der Artikel analysiert die Diskriminierungsrisiken im Zusammenhang mit dem Einsatz künstlicher Intelligenz bei der Personalbeschaffung und untersucht die Instrumente, die das Schweizer Recht, ergänzt durch das europäische Recht zur KI und zum Datenschutz, den Bewerbern bietet.
Der Autor geht von der Feststellung aus, dass viele Arbeitgeber die Sortierung von Lebensläufen oder die Bewertung von Bewerbungen bereits automatisieren, indem sie sich auf Modelle stützen, die aus historischen Daten lernen und somit bestehende Diskriminierungen, beispielsweise aufgrund von Geschlecht, Herkunft, Alter oder Behinderung, reproduzieren oder sogar verstärken können.
Er erinnert zunächst an den Schweizer Rahmen für die Bekämpfung von Diskriminierung bei der Einstellung, der durch das Fehlen eines generellen Verbots im privaten Sektor gekennzeichnet ist. Der Schutz ergibt sich hauptsächlich aus der Achtung der Persönlichkeitsrechte und verschiedenen Sonderbestimmungen.
Der Artikel erinnert dann daran, dass die algorithmische Rekrutierung als „risikoreiches KI-System” eingestuft wurde, insbesondere wenn das Tool zur Entscheidung über den Zugang zu einer Stelle eingesetzt wird. Daraus ergibt sich ein erhebliches Risiko für die Persönlichkeitsrechte des Bewerbers.
Die Entscheidung, einen Bewerber allein auf der Grundlage einer von einem KI-System generierten Punktzahl abzulehnen, stellt eine automatisierte Einzelentscheidung dar. Die betroffene Person hat grundsätzlich das Recht, sich nicht ausschließlich einer solchen Entscheidung zu unterwerfen, die Intervention einer natürlichen Person zu verlangen und Informationen über die der Verarbeitung zugrunde liegende Logik, ihre Bedeutung und ihre voraussichtlichen Auswirkungen zu erhalten.
Diese Rechte eröffnen die Möglichkeit, die erhaltenen Informationen als Beweismittel in einem Gerichtsverfahren zu verwenden, um eine diskriminierende Ablehnung anzufechten. Der Artikel erörtert die Verfahrenswege und die besonderen Schwierigkeiten, die sich daraus im Schweizer Recht ergeben können.
Abschließend kommt der Autor zu dem Schluss, dass das Schweizer Datenschutzrecht einen wichtigen Hebel gegen diskriminierende automatisierte Einstellungsentscheidungen bietet, dass jedoch praktische Hindernisse bestehen bleiben und dass im Arbeitsrecht weiterhin umfassendere Überlegungen zu einem auf KI-Systeme zugeschnittenen Recht auf Nichtdiskriminierung erforderlich sind.
L’article analyse de manière systématique la manière dont le RGPD transpose ses deux catégories centrales – « personne concernée » et « responsable du traitement » – dans la relation de travail, où elles deviennent respectivement « salarié » et « employeur ».
L’auteur soutient que cette transposition n’est pas neutre : les droits et obligations pensés pour un contexte de marché numérique et de protection des consommateurs ne correspondent pas entièrement aux besoins de protection en droit du travail, ce qui crée un effet de « perte en traduction » lorsque le RGPD est appliqué au traitement des données des salariés.
Dans l’introduction, l’auteur rappelle que la surveillance au travail est un thème ancien en Europe, mais profondément transformé par les technologies numériques. Les outils de monitoring sont plus fréquents, plus continus et plus intrusifs, ce qui renforce le pouvoir de l’employeur. Depuis la directive de 1995 et désormais avec le RGPD, l’employeur qui traite des données est qualifié de responsable du traitement et le salarié de « personne concernée ». Le RGPD prévoit des marges de manœuvre nationales, notamment à l’article 88, ainsi que des lignes directrices du G29, mais plusieurs travaux récents estiment qu’il manque toujours un cadre véritablement adapté à la relation de travail. L’article ne propose pas de réforme détaillée ; il se concentre sur un « contrôle de subjectivité »: les figures de « personne concernée » et de « responsable du traitement », telles que construites par le RGPD, correspondent-elles réellement à la position du salarié et de l’employeur dans la relation de travail, compte tenu de la subordination, de la dépendance économique et du rôle des fournisseurs technologiques?
Dans un premier temps, l’auteur examine le salarié comme « personne concernée ». Il rappelle la définition large de la personne concernée (toute personne identifiable par des données) puis montre que le cœur de la protection repose sur les droits des articles 12 à 22 RGPD: droits d’accès, de rectification, d’effacement, de limitation, d’opposition et de ne pas faire l’objet d’une décision entièrement automatisée. L’idée générale est de permettre à l’individu, informé de manière claire par le responsable du traitement, de comprendre ce qui est fait de ses données, d’exercer un contrôle et, le cas échéant, de s’y opposer. En toile de fond, le RGPD présuppose un sujet actif, informé et autonome, que certains auteurs décrivent comme un « sujet libéral » : quelqu’un qui lit les notices d’information, évalue les risques, et exerce ses droits pour défendre ses propres intérêts.
L’article montre que cette figure de « personne concernée moyenne » est largement héritée du droit de la consommation de l’UE. Dans ce dernier, la référence constante est celle du « consommateur moyen, normalement informé et raisonnablement attentif et avisé ». Le RGPD et le droit de la consommation partagent le même objectif de base : créer la confiance dans le marché intérieur par la transparence et des droits individuels, afin de favoriser la croissance de l’économie numérique. La personne concernée moyenne est, comme le consommateur moyen, supposée capable de comprendre l’information fournie et de faire des choix raisonnés une fois informée. Les droits sont conçus sur ce postulat, et l’article 80 RGPD confirme ce caractère individualiste : la représentation collective (par exemple par un syndicat) ne peut pas, sauf droit national contraire, exercer à la place des individus leurs droits d’accès, de rectification, d’effacement, etc., mais uniquement les soutenir dans des recours devant l’autorité de contrôle ou les tribunaux.
Or, souligne l’auteur, cette construction ne se transpose pas aisément dans l’univers du travail. Le salarié n’est pas un consommateur libre de changer de vendeur ; il est lié par un contrat de travail marqué par la subordination juridique et la dépendance économique. En droit du travail, l’employeur dispose d’un pouvoir d’organisation, de contrôle et de sanction ; le salarié risque des conséquences directes sur son emploi et ses moyens d’existence. La « marge d’autonomie » du salarié est donc limitée, et son « agency » réelle varie fortement selon le contexte, les alternatives sur le marché du travail ou sa situation personnelle. Pour cette raison, le droit du travail ne se contente pas d’informer et de laisser l’individu décider : il impose des normes impératives (durée du travail, salaire minimum, santé et sécurité, etc.) et interdit en principe la renonciation à certaines protections.
Transposé au champ des données, cela signifie que le salarié-personne concernée est structurellement vulnérable. Même correctement informé, il peut hésiter à exercer ses droits d’accès, de rectification ou d’opposition par crainte d’être perçu comme « difficile » ou non coopératif. Il peut aussi accepter des pratiques de surveillance intrusives faute d’alternative professionnelle. Certes, le RGPD prévoit des garde-fous plus forts pour les données sensibles et permet aux États membres d’adopter des règles spécifiques pour le travail, et le G29 considère que le consentement du salarié est en principe invalide à cause du déséquilibre de pouvoir. Mais la structure de base des droits reste celle d’un individu autonome qui doit « activer » lui-même la protection par des démarches individuelles. Dans un contexte de subordination, ce modèle protège imparfaitement les salariés, même si, formellement, ils restent des personnes concernées au sens plein du RGPD. C’est le premier « effet de perte en traduction »: un dispositif pensé comme prolongement de la protection du consommateur est appliqué à des travailleurs qui ont besoin d’un niveau de protection plus proche de celui du droit du travail que du droit de la consommation.
Dans un second temps, l’article se concentre sur l’employeur comme « responsable du traitement ». Le RGPD définit le responsable comme l’entité qui détermine les finalités et les moyens du traitement. En droit du travail, il est admis que l’employeur entre naturellement dans cette catégorie : il fixe l’organisation du travail, décide des objectifs de productivité, du contrôle des performances, des outils de surveillance, etc. Sur cette base, les articles 24, 25 et 35 lui imposent des obligations d’accountability : responsabilité générale de conformité, mise en œuvre de la protection des données dès la conception et par défaut, réalisation de DPIA en cas de risques élevés, ce qui inclut souvent les traitements de données des salariés. Le RGPD suppose ainsi que le responsable du traitement a la capacité de concevoir ou paramétrer les systèmes de traitement, de comprendre leurs risques pour les droits des personnes et de les ajuster pour respecter les principes de licéité, minimisation, proportionnalité, sécurité, etc.
L’auteur montre cependant que ce schéma ne correspond pas toujours à la réalité des entreprises. De nombreuses grandes plateformes (Amazon et d’autres) développent effectivement en interne des systèmes sophistiqués qui organisent le travail en s’appuyant sur une collecte massive de données. Mais beaucoup d’employeurs achètent sur le marché des produits de gestion et de surveillance de la main-d’œuvre conçus et opérés par des fournisseurs spécialisés : logiciels d’analyse de la voix dans les call centers, dispositifs de suivi vidéo des chauffeurs, outils d’« analytique RH » capables de calculer des indices de « risque syndical », etc. Dans ces situations, le fournisseur agit comme sous-traitant au sens de l’article 28 RGPD, tandis que l’employeur reste, en droit, responsable du traitement.
Le RGPD organise alors une répartition des rôles: le responsable doit choisir des sous-traitants offrant des garanties suffisantes, conclure un contrat de traitement, contrôler le respect des instructions, s’assurer que le sous-traitant l’aide à répondre aux demandes des personnes concernées et à réaliser les DPIA. Mais, en pratique, les obligations du sous-traitant demeurent relativement limitées et largement dépendantes de ce que le responsable lui demande. L’adhésion à des codes de conduite ou des mécanismes de certification est facultative. Le sous-traitant n’a qu’une obligation générale d’assistance, à la demande du responsable, pour évaluer les risques ou documenter la conformité. Le texte part du principe que le contrôleur conserve, en dernier ressort, la compréhension et la maîtrise du traitement.
L’article souligne ici une seconde asymétrie : sur le marché des technologies de surveillance et de gestion du personnel, ce sont souvent les fournisseurs qui maîtrisent l’architecture technique, les algorithmes et les risques concrets, tandis que l’employeur se comporte davantage comme un client non spécialiste qui achète une « solution clé en main ». Il est pourtant juridiquement censé vérifier les garanties, paramétrer le système pour respecter le RGPD et évaluer les risques, alors même qu’il dépend fortement des informations que veut bien lui fournir le prestataire. On aboutit à une situation paradoxale où l’employeur est tenu à de fortes obligations de conception et de contrôle, mais sans que le sous-traitant soit véritablement obligé de lui donner tous les moyens d’y parvenir. C’est le second « effet de perte en traduction »: le RGPD traite l’employeur comme un « créateur » du traitement, alors que, dans bien des cas, il est un utilisateur relativement dépendant d’un prestataire qui, lui, n’est que faiblement régulé sur le plan de la conception des systèmes.
Sur cette base, l’auteur propose une lecture d’ensemble: le RGPD repose sur deux présupposés d’autonomie qui ne tiennent pas pleinement dans la relation de travail. Côté salarié, il suppose une personne concernée moyenne, proche du consommateur moyen, capable d’exercer ses droits individuellement, ce qui sous-estime la subordination et la dépendance économique. Côté employeur, il suppose un responsable du traitement maître d’œuvre du système de traitement, alors que la réalité de plus en plus fréquente est celle d’un employeur client d’un écosystème de prestataires technologiques qui conservent l’essentiel de la compétence technique et du pouvoir d’innovation. Dans les deux cas, il existe un « décalage d’agence » entre les rôles que le RGPD attribue aux acteurs et leurs capacités effectives dans la relation de travail.
L’article conclut que cette double divergence montre les limites d’une régulation du traitement des données au travail fondée uniquement sur un instrument général comme le RGPD. D’autres instruments récents de l’UE, comme le règlement sur l’IA ou la directive sur le travail via plateforme, vont déjà plus loin dans la prise en compte du contexte de travail: ils interdisent certaines pratiques (par exemple certaines formes d’analyse des émotions au travail), reconnaissent des droits spécifiques aux travailleurs de plateformes et imposent des obligations plus détaillées aux fournisseurs de systèmes d’IA et aux plateformes. L’auteur ne les analyse pas en détail, mais y voit un signe que le législateur commence à raisonner en termes de conditions de travail, et pas seulement de protection des données. Sa thèse centrale est qu’il faut poursuivre dans cette voie: dépasser l’idée que la protection des données des salariés peut être assurée par simple application du RGPD et développer des cadres spécifiquement pensés pour la relation de travail, qui prennent au sérieux la subordination des salariés, la dépendance technique des employeurs vis-à-vis des fournisseurs de technologies et, plus largement, les valeurs propres du droit du travail (dignité, sécurité économique, inclusion sociale) dans un environnement de travail de plus en plus structuré par les données et l’IA.
L’art. 336 al. 1 let. d CO prévoit que le congé est abusif lorsqu’il est donné parce que l’autre partie fait valoir de bonne foi des prétentions résultant du contrat de travail (congé représailles).
La notion de « prétention résultant du contrat de travail » s’entend au sens large et comprend la loi, les conventions collectives de travail, les règlements d’entreprise, voire la pratique. Outre les salaires et les vacances, le fait que l’employé se plaigne d’une atteinte à sa personnalité ou à sa santé et sollicite la protection de l’employeur peut aussi constituer une telle prétention.
Pour que le congé soit considéré comme abusif, il faut que les prétentions aient été formulées de bonne foi. Cette dernière protège autant l’employeur que le travailleur. D’une part, la réclamation ne doit pas permettre à un travailleur de bloquer un congé en soi admissible ou de faire valoir des prétentions totalement injustifiées ; d’autre part, il importe peu que les prétentions invoquées de bonne foi soient réellement fondées : il suffit que le travailleur soit légitimé, de bonne foi, à penser qu’elles l’étaient. En principe, la bonne foi du travailleur est présumée.
Les prétentions émises par l’employé doivent encore avoir joué un rôle causal dans la décision de l’employeur de le licencier. Ainsi, le fait que l’employé émette de bonne foi une prétention résultant de son contrat de travail n’a pas nécessairement pour conséquence de rendre abusif le congé donné ultérieurement par l’employeur. Encore faut-il que la formulation de la prétention en soit à l’origine et qu’elle soit à tout le moins le motif déterminant du licenciement.
Dans un cas d’espèce, il a ainsi été retenu que le licenciement de l’employée n’était pas abusif. Un important conflit personnel opposait certes celle-ci à sa supérieure hiérarchique, sans que des actes de harcèlement moral ne soient établis. Ladite supérieure avait une manière inadéquate de s’adresser à l’ensemble des collaborateurs, mais elle ne s’en prenait pas personnellement à l’employée et n’était pas animée par une volonté de lui nuire directement. De plus, l’employeuse avait pris diverses mesures concrètes pour remédier au conflit opposant les précitées, qui était, au demeurant, temporellement éloigné du licenciement litigieux. A cela s’ajoutait que le motif invoqué à l’appui de celui-ci, soit une réorganisation du service, était avéré. (CAPH/107/2024 du 20.12.2024, consid 3)
Dans un autre arrêt (CAPH/173/2022 du 3 novembre 2022, consid. 2.2.1-2.2.2), la Chambre des prud’hommes a retenu qu’il semblait peu vraisemblable que l’employeur, après avoir accepté de verser à l’employé un salaire sensiblement supérieur au salaire minimum prévu par la CCT, ait décidé de le licencier pour une prétention en remboursement de CHF 285.–, montant qu’il avait d’ailleurs payé quand même à bien plaire et à première réquisition. En soi, le bref laps de temps qui s’est écoulé entre la demande et le licenciement ne suffit pas à établir un lien de causalité. Au contraire, les différents éléments du dossier tendaient à confirmer qu’il s’agit d’un simple concours de circonstances.
Dans une autre affaire enfin, (CAPH/111/2021 du 7 juin 2021 consid. 4) l’employeuse avait, de manière constante, indiqué avoir licencié l’employé pour des motifs économiques. Elle se trouvait dans une situation financière délicate qui l’obligeait à se séparer d’une partie de son personnel. Les allégations de l’employeuse s’agissant des difficultés économiques rencontrées avaient été corroborées par les déclarations des témoins. Le travailleur conteste l’exigence de motifs économiques en faisant valoir qu’après son départ, la société avait engagé du personnel d’exploitation, mais également administratif, supplémentaire. Toutefois, s’il ressort en effet des enquêtes que du personnel d’exploitation a été engagé afin de développer l’activité de l’employeuse, il est en revanche aussi établi que le poste de l’employé n’avait pas été repourvu. Par ailleurs, la quasi-totalité des témoins ont confirmé la diminution de l’effectif global de l’entreprise. En outre, des anciens employés ont confirmé au Tribunal avoir aussi été licencié pour des motifs économiques au même moment. Il s’ensuit que la réalité du motif de congé invoquée par l’employeuse, à savoir l’existence de difficultés économiques, a été établie. Enfin, si l’employé a démontré avoir, avant son licenciement, réclamé le paiement de son salaire durant son incapacité de travail, il ne prouve en revanche pas que ses revendications seraient à l’origine du congé, respectivement qu’elles auraient joué un rôle déterminant dans celui-ci. Le simple fait d’émettre de bonne foi et de manière répétée des prétentions résultant du contrat de travail avant le licenciement ne suffit en effet pas pour conclure à l’existence d’un congé-représailles.
La recourante, avocate indépendante jusqu’en 2018, enseigne dès 2016 comme suppléante puis vacataire dans une école de culture générale. Victime en mars 2018 d’une rupture d’anévrisme avec graves séquelles, elle obtient le 22 avril 2020 une rente AI entière dès le 1er février 2019, avec incapacité de travail de 100 % dans toute activité. Malgré l’obligation de signaler toute modification, elle ne transmet pas cette décision à sa hiérarchie, tout en poursuivant son activité d’enseignante, puis en étant engagée dès le 1er août 2024 comme maîtresse d’enseignement professionnelle. En juin 2025, dans le cadre de la détection précoce, le Département découvre l’existence de la rente entière AI et, sans avoir auparavant averti l’intéressée ni recueilli ses explications, met fin à aux rapports de service. L’enseignante recourt en invoquant notamment la violation de son droit d’être entendue.
La Cour rappelle d’abord que le droit d’être entendu, garanti par l’art. 29 al. 2 Cst., comprend notamment le droit de prendre position avant qu’une décision ne soit rendue, d’offrir des moyens de preuve pertinents et d’obtenir qu’il y soit donné suite lorsque cela peut influer sur l’issue du litige. Ce droit a aussi une dimension personnelle : il permet à l’administré de participer à une décision qui affecte sa situation juridique.
En matière de rapports de travail de droit public, la jurisprudence admet que ce droit peut être satisfait par un échange informel, à condition que l’employé ait compris qu’une résiliation était envisagée à son encontre et qu’il connaisse les faits qui lui sont reprochés. Le statut du corps enseignant prévoit en outre expressément que la décision de résiliation est notifiée après audition de l’intéressé.
En l’espèce, le Département a résilié les rapports de service de l’enseignante peu après avoir appris l’octroi à son profit d’une rente AI entière, et ce sans l’avertir de son intention de la licencier, sans l’entendre, même de manière informelle, et sans lui permettre de proposer des preuves. Aucune situation d’urgence ne justifiait de passer outre cette étape. Le droit d’être entendu a donc été violé. La Cour examine ensuite si ce vice peut être « guéri » en instance de recours, compte tenu de son plein pouvoir d’examen en fait et en droit (effet dévolutif complet du recours). La réparation n’est admise que pour des atteintes non graves, ou lorsque le renvoi ne serait qu’une formalité inutile, ce qui suppose que le justiciable ait pu faire valoir ses arguments aussi efficacement devant l’instance de recours que devant l’autorité de première instance.
En l’espèce, le Département n’a procédé à aucune instruction sur des éléments déterminants: il n’a ni sollicité l’avis du médecin-conseil de l’État, ni interrogé l’AI, ni entendu la directrice de l’Ecole sur les informations reçues. Il a ainsi méconnu la maxime inquisitoire et son obligation d’établir les faits pertinents avant de licencier. Ce n’est par ailleurs qu’en réponse au recours que le Département invoque une rupture du lien de confiance due à la dissimulation de la rente AI, grief absent de la décision de licenciement. L’enseignante ne découvre donc ce reproche que devant la Cour, où elle apporte des éléments) qu’elle n’a jamais pu soumettre préalablement au Département.
Dans ces conditions, la Cour ne peut pas, sans se substituer au pouvoir d’appréciation de l’employeur et sans pouvoir examiner l’opportunité de la décision, trancher elle-même la question de la rupture du lien de confiance ni celle de l’aptitude au travail. Un renvoi n’est pas une formalité vide de sens : une instruction complémentaire (notamment audition de la directrice, avis médicaux pertinents, clarification des connaissances respectives de l’AI et du Département) est de nature à modifier substantiellement l’appréciation du comportement de l’enseignante et, partant, la mesure à prendre. La conséquence juridique de la violation grave du droit d’être entendu est donc l’annulation de la décision de résiliation et le renvoi du dossier au Département pour compléter l’instruction et rendre une nouvelle décision, après avoir régulièrement entendu l’intéressée.
(Arrêt de la Chambre administrative de la Cour de justice du canton de Genève ATA/1222/2025 du 4 novembre 2025)
« Bien que l’avocat du défendeur ne l’ait pas reconnu directement, nous reconnaissons que la loi inventée dans le mémoire du défendeur résulte probablement de l’utilisation de l’intelligence artificielle. Nous reconnaissons également qu’il est devenu courant de qualifier les cas et les principes inventés par l’intelligence artificielle d’« hallucinations ». Nous rejetons cette terminologie, car elle occulte à la fois la nature et la gravité de la situation à laquelle nous sommes confrontés. Le mot « hallucination » signifie généralement « perception d’objets qui n’existent pas, résultant généralement d’un trouble du système nerveux ou d’une réaction à des drogues (comme le LSD) ». Merriam-Webster’s Collegiate Dictionary 524 (10e éd. 1993). Ici, cependant, d’après ce que nous comprenons, l’intelligence artificielle générative ne perçoit pas une loi inexistante comme le résultat d’un trouble. Elle génère plutôt des lois inexistantes conformément à sa conception. Et ces lois inexistantes sont, depuis plusieurs années, soumises à plusieurs reprises aux tribunaux. »
A propos de : Cope, Kevin L. and Frankenreiter, Jens and Hirst, Scott and Posner, Eric A. and Schwarcz, Daniel and Thorley, Dane, Grading Machines: Can AI Exam-Grading Replace Law Professors? (December 03, 2025). Virginia Public Law and Legal Theory Research Paper No. 2025-80, Virginia Law and Economics Research Paper No. 2025-24, Available at SSRN: https://ssrn.com/abstract=
Des modèles d’IA de type « large language models » peuvent-ils corriger des examens de droit à la place des professeurs, ou au moins à côté d’eux ? Les auteurs partent du constat que ces modèles sont déjà utilisés pour analyser des contrats, rédiger des mémoires ou résumer des décisions, mais qu’on ne sait presque rien de leur capacité à évaluer un raisonnement juridique écrit, comme dans les examens classiques de droit.
Ils rappellent d’abord que l’idée de correction automatique n’est pas nouvelle. Dès les années 1960, des systèmes d’« automated essay scoring » ont tenté de noter des dissertations en se basant sur des caractéristiques superficielles des textes. Ces systèmes ont suscité beaucoup de critiques, notamment parce qu’ils étaient incapables de juger la qualité de l’argumentation. L’arrivée des modèles de langage modernes change la donne : les transformers permettent désormais de traiter de longs textes, de repérer des relations entre les mots et, en pratique, de produire ou d’analyser des réponses juridiques assez sophistiquées. Parallèlement, ces modèles ont commencé à être testés sur des tâches juridiques variées et sur les examens de droit eux-mêmes, y compris le barreau américain. Jusqu’ici, toutefois, la recherche s’est concentrée sur la capacité de l’IA à « passer » l’examen comme un étudiant, pas à le corriger comme un professeur.
Les auteurs expliquent ensuite pourquoi la correction d’examens de droit est un cas de test particulièrement exigeant. Les questions sont des « cas pratiques » longs, à réponse rédigée, pour lesquels il n’existe pas une seule bonne réponse formatée. Les étudiants doivent repérer des problèmes, appliquer des règles, discuter de plusieurs solutions possibles. Cela rend impossible un barème purement algorithmique de type « clé de correction » et complique aussi la mesure de la qualité de la correction humaine. Ils soulignent d’ailleurs que la correction humaine est loin d’être parfaite : les notes sont des signaux bruités du « vrai » niveau de l’étudiant, affectés par la fatigue, l’humeur, les biais implicites ou de simples erreurs d’attention.
À partir de là, les auteurs formulent leur objectif de recherche. Il ne s’agit pas de construire un modèle d’IA sur-mesure pour minimiser l’erreur à tout prix, mais de voir si des modèles commerciaux, utilisés avec des instructions simples, peuvent produire des notes suffisamment proches de celles du professeur pour être utiles en pratique. Comme on ne connaît pas le « vrai » niveau des étudiants, ils prennent comme référence le professeur lui-même : dans la plupart des usages envisagés (vérifier une correction, fournir un retour à l’étudiant, créer des benchmarks), le but est que l’IA imite la manière dont le professeur corrige, non qu’elle invente un autre standard.
Pour tester cela, ils rassemblent un ensemble de données provenant de quatre examens finaux dans quatre grandes facultés de droit américaines, dans des matières de base (procédure civile, contrats, responsabilité civile) et en droit des sociétés. Chaque examen comporte plusieurs questions de cas pratiques, et chaque professeur avait établi un barème plus ou moins détaillé pour corriger. Les copies ont été anonymisées.
Sur cette base, les auteurs définissent quatre manières différentes de demander à l’IA de corriger. La première, dite « ouverte », consiste à lui fournir la question, la réponse de l’étudiant et le nombre maximum de points, en lui demandant simplement de proposer une note. L’IA s’appuie alors uniquement sur sa compréhension générale du droit et de la logique juridique. La deuxième méthode ajoute au prompt le barème du professeur : les éléments à traiter et la pondération de chacun. L’IA reste libre dans la façon de combiner ces informations, mais on l’oriente vers les critères réellement utilisés par le correcteur humain. La troisième méthode pousse plus loin cette logique : on exige que l’IA attribue une sous-note pour chaque élément du barème, qui est ensuite additionnée pour obtenir la note de la question, un peu comme le ferait un professeur dans un tableau Excel. Cette méthode est plus lourde à mettre en place, car elle nécessite d’adapter le prompt à la structure précise de chaque barème. Enfin, la quatrième méthode abandonne l’idée de noter directement sur une échelle de points : on montre à l’IA deux réponses d’étudiants à la même question et on lui demande laquelle est meilleure. À partir de la totalité de ces comparaisons par paires, les auteurs reconstruisent un classement et des notes relatives à l’aide d’un modèle statistique de type « compétition sportive ». Cette dernière approche est théoriquement intéressante, mais très coûteuse en calcul, puisque le nombre de comparaisons croît très vite avec le nombre d’étudiants.
Les résultats sont ensuite présentés de manière systématique. Même avec la méthode la plus simple, sans barème, l’IA produit des notes qui suivent assez bien celles des professeurs : la corrélation statistique est déjà élevée, ce qui signifie que l’IA distingue globalement les bonnes et les mauvaises copies. Quand on ajoute le barème du professeur au prompt, la concordance devient très forte : pour certains examens, la corrélation dépasse 0,9, ce qui, en termes simples, veut dire que l’ordre des étudiants et les écarts entre leurs notes sont très proches de ceux de la correction humaine. Les auteurs observent aussi que les désaccords portent surtout sur certains points isolés, mais qu’ils se compensent lorsqu’on regarde la note totale de l’examen.
Les méthodes plus sophistiquées ne font pas vraiment mieux. La variante qui force l’IA à donner des sous-notes par critère produit des résultats presque identiques à la méthode avec barème simple, mais au prix d’une mise en œuvre nettement plus lourde. Les comparaisons par paires aboutissent, elles aussi, à des notes globales très corrélées aux notes du professeur, mais la distribution des notes est un peu différente et l’effort informatique est considérable. Les auteurs en concluent que, pour un usage pratique par des enseignants, la méthode la plus intéressante est tout simplement celle qui combine IA et barème détaillé : elle est relativement simple à paramétrer et atteint déjà un niveau de concordance difficile à améliorer.
Un point important de leur raisonnement consiste à comparer ce niveau de concordance à la variabilité de la correction humaine elle-même. Pour l’un des examens, l’un des professeurs a accepté de « re-corriger » une question sans se référer à sa première notation. Les auteurs comparent alors trois choses : la première correction humaine, la deuxième correction humaine, et la correction par l’IA utilisant le barème. Ils constatent que les deux séries de notes du professeur sont très proches l’une de l’autre, comme on pouvait l’espérer, mais pas identiques. La correction de l’IA s’en écarte un peu plus, mais reste dans le même ordre de grandeur de divergence. Pour d’autres examens, la corrélation entre l’IA et la correction humaine est même comparable à celle observée entre deux séries de notes humaines. Cela suggère que les écarts IA–professeur ne sont pas fondamentalement différents des écarts qu’on peut déjà observer entre corrections humaines effectuées à des moments distincts.
Les auteurs examinent ensuite les facteurs qui semblent améliorer ou dégrader les performances de l’IA. L’un des plus visibles est le degré de précision du barème. L’examen dont le barème était le plus fin, avec une liste d’éléments binaires (présent / absent) pour chaque question, est aussi celui pour lequel la concordance IA–professeur est la plus élevée. À l’inverse, l’examen où le barème se limitait à des indications très générales aboutit aux résultats les moins bons, quoique toujours élevés. Cela conduit les auteurs à l’hypothèse – qui demanderait d’autres études – qu’un barème structuré et précis est une condition importante pour tirer pleinement parti de l’IA comme correcteur.
Dans la discussion, les auteurs abordent ensuite les limites et les enjeux éthiques. Même si l’IA imite très bien la correction des professeurs, elle peut commettre des erreurs « différentes », potentiellement perçues comme plus choquantes. On peut craindre, par exemple, que le modèle soit sensible à certains styles linguistiques ou structures de phrase corrélés à l’origine ou au profil socio-culturel des étudiants. Ils notent aussi que les étudiants, les employeurs et les institutions peuvent avoir moins confiance dans une note attribuée par une machine, même si elle est en pratique très proche de celle d’un humain. De plus, certaines règles internes de facultés ou d’accréditation exigent que ce soit le professeur qui attribue les notes, ce qui pose un obstacle juridique et politique à une automatisation complète.
Cependant, ils insistent sur le fait qu’il serait trompeur de comparer l’IA à un correcteur humain idéal. La correction humaine souffre de problèmes bien documentés : incohérences entre copies similaires, influence de la fatigue, effet de halo (une bonne impression générale entraîne une sur-évaluation de tous les aspects), et parfois biais liés au genre, à l’origine ou au niveau de langue présumé. Dans les copies où la divergence IA–professeur était la plus forte, les auteurs ont d’ailleurs identifié des cas où le professeur avait manifestement mal appliqué son propre barème, en accordant trop de points. Les machines ne sont pas nécessairement plus justes, mais elles ne se fatiguent pas, et il est au moins théoriquement possible de tester et d’ajuster leurs biais sur la base de données.
Partant de ce constat, les auteurs proposent une approche prudente. À court terme, ils ne préconisent pas de remplacer purement et simplement la correction humaine par l’IA. En revanche, ils voient plusieurs usages complémentaires. L’IA peut servir de « second lecteur » pour signaler les copies où sa note diverge fortement de celle du professeur, invitant ce dernier à vérifier s’il n’a pas commis une erreur ou s’il souhaite maintenir sa note pour des raisons qu’il peut expliciter. Elle peut aussi fournir aux étudiants des retours rapides sur des examens blancs ou des devoirs non notés, en particulier si le professeur partage son barème. Cela pourrait aider les écoles de droit américaines à satisfaire les nouvelles exigences de l’ABA en matière d’évaluations formatives, sans multiplier la charge de travail des enseignants.
Les auteurs évoquent enfin des prolongements possibles hors du cadre universitaire. Des cabinets pourraient développer des barèmes internes pour certains types de travaux (notes de recherche, projets de mémoires, projets de contrats) et utiliser l’IA pour offrir aux jeunes avocats un retour structuré, plus fréquent que celui que les associés peuvent matériellement fournir. De même, les techniques de correction automatique pourraient servir à évaluer de manière standardisée les performances des systèmes d’IA juridiques eux-mêmes, en utilisant l’IA corrigeant des réponses d’IA, dès lors que des rubriques claires sont établies.
En conclusion, l’article soutient que, dans l’état actuel de la technologie, un modèle de langage général moderne, utilisé avec un barème détaillé, est déjà capable de reproduire très largement la correction d’un professeur de droit. Les obstacles à une substitution complète sont surtout institutionnels, politiques et psychologiques. En revanche, pour des usages de contrôle de qualité, de retour formatif aux étudiants et de construction de benchmarks juridiques, l’IA correctrice apparaît d’ores et déjà comme un outil prometteur, dont la précision devrait encore augmenter avec l’évolution rapide des modèles.
A propos de : Plaintiff’s Complaint for Damages, Robert Gruendel vs FIGURE AI, United States District Court, Northern District of California, Case no : 5 :25 – cv – 10094, 21 novembre 2025 :
La plainte est introduite par Robert Gruendel, ingénieur spécialisé en sécurité des robots, contre la société Figure AI, Inc., une entreprise de robotique basée en Californie qui développe des robots humanoïdes « généralistes » destinés à des usages industriels et potentiellement domestiques, reposant sur un système d’intelligence artificielle appelé Helix AI.
Selon la plainte, Gruendel est recruté en 2024 comme « Principal Robotic Safety Engineer » et chef de la sécurité produit. Il rapporte directement au CEO, avec la mission annoncée de définir et faire respecter une stratégie globale de sécurité, pour protéger les employés de Figure et les futurs utilisateurs des robots. Dès sa première semaine sur site en Californie, il constate l’absence de procédures formelles de sécurité, d’outil de remontée d’incidents et de processus d’évaluation des risques, ainsi que l’absence de véritable service interne de santé et sécurité (EHS), remplacé par un simple consultant issu du secteur des semiconducteurs. Il développera alors une « product safety roadmap » pour les différentes générations de robots (F.02, F.03, F.04, etc.), avec des exigences intégrées dans les spécifications produit et validées initialement par le CEO et le Chief Engineer. Il insiste en particulier sur les besoins de formation des employés, de dispositifs techniques de sécurité et de détection de présence, notamment en vue d’un déploiement ultérieur dans des foyers privés où la création de zones de sécurité physiques serait peu réaliste.
La plainte souligne la tension entre ce travail de sécurisation et la culture interne revendiquée de Figure, fondée sur des valeurs de vitesse (« Move Fast & Be Technically Fearless »), d’optimisme agressif et d’objectif prioritaire de mise rapide sur le marché d’un humanoïde commercialisable. Gruendel affirme que plusieurs de ses propositions de réduction des risques sont rejetées ou édulcorées au motif qu’elles nuiraient à l’attrait du produit pour les investisseurs ou à l’esthétique du robot.
En parallèle, Gruendel développe un plan de sécurité pour l’entrée des robots dans les foyers, identifiant les normes de sécurité applicables, les exigences réglementaires et les risques juridiques. Il en briefe le Chief Engineer en personne, mais le CEO ne participe pas et ne réagit pas à un résumé qu’il lui adresse. Il explique que la détection d’êtres vivants, la classification des objets et la capacité à arrêter ou ralentir le robot pour éviter des blessures sont des conditions centrales pour autoriser une présence domestique des robots. Il travaille aussi sur la sécurité lors de la collecte de données en conditions réelles, notamment à domicile, en soulignant la nécessité de réaliser des « risk assessments » formels pour démontrer la diligence de l’employeur en matière de sécurité des employés qui entraînent les modèles d’IA sur le terrain.
En 2025, Gruendel interagit avec plusieurs investisseurs de Figure auxquels il présente la feuille de route de sécurité produit et un « white paper » détaillant la stratégie de sécurité par génération de robots. Selon lui, cette stratégie, présentée aux investisseurs comme un plan solide et structurant, est ensuite sensiblement « déclassée » ou affaiblie peu après la clôture de la levée de fonds..
Un épisode central concerne les tests d’impact sur le robot F.02 en juillet 2025. Lors de ces tests, un ingénieur programme le robot pour frapper à pleine puissance. Les mesures montreraient des forces vingt fois supérieures au seuil de douleur humaine tel que défini dans la norme ISO 15066, utilisée pour les robots collaboratifs en environnement partagé. Gruendel estime que ces impacts dépasseraient, par un facteur supérieur à deux, la force nécessaire pour fracturer le crâne d’un adulte. Il informe le CEO par Slack que le robot est capable d’infliger des blessures graves et permanentes. Le message serait resté sans réponse. Il prévient également le Chief Engineer, en recommandant de tenir les employés davantage à distance. Dans la foulée, le nouveau responsable EHS, organise une réunion de discussion des mesures de réduction des risques.
Gruendel décrit aussi de nombreux « near misses » non documentés, révélés par des retours d’employés et une enquête anonyme interne qu’il a mise en place. Il cite notamment un incident où un F.02, après dysfonctionnement, aurait donné un coup dans un réfrigérateur en acier inoxydable, creusant une entaille de 6 mm dans la porte, à proximité immédiate d’un employé. Face à ces données, il met à jour les évaluations de risques pour la collecte de données à domicile, en prévoyant des mesures comme la formation renforcée, la délimitation claire des zones de stationnement des personnes, l’utilisation de tapis ou barrières, et la présence constante d’un observateur de sécurité muni d’un arrêt d’urgence (E-Stop).
La plainte insiste sur l’importance de l’E-Stop comme mesure de sécurité minimale et composante clé du raisonnement de risque qu’il a formalisé, notamment dans les documents présentés aux investisseurs. Or, en août 2025, le Chief Engineer aurait décidé de mettre fin à un projet de certification de l’E-Stop, ce qui, selon Gruendel, remet en cause la fiabilité de ce dispositif. Il envoie alors un courriel détaillé à Edelberg, avec copie aux départements commercial et juridique, pour rappeler la nécessité de prouver la fiabilité de l’arrêt d’urgence pour la sécurité des employés. Deux membres de l’équipe commerciale lui auraient ensuite fait part de leur inquiétude de le voir consigner ces critiques par écrit.
Dans la même période, Gruendel constate qu’une fonction de sécurité sur le robot F.02 a été supprimée par un ingénieur en raison de son aspect esthétique. Il interpelle le CEO par Slack pour lui demander si les modifications de sécurité doivent être approuvées par lui. Le CEO répondrait qu’il ne sait pas de quoi il parle et qu’il est trop occupé. Gruendel finit par négocier une solution intermédiaire avec l’ingénieur, mais en retient le signal d’une dévalorisation de la sécurité dans les arbitrages internes.
Parallèlement, après que le CEO a indiqué ne pas être convaincu par ses évaluations des risques juridiques liés à l’usage domestique des robots, Gruendel est chargé d’identifier un cabinet d’avocats externe spécialisé en sécurité des produits de consommation. Il mène des entretiens avec plusieurs cabinets et, fin août 2025, prévoit de passer à l’étape suivante avec un grand cabinet. Lorsqu’il apprend que le CEO soutient le projet de collaboration avec ce cabinet, il lui écrit que c’est « le moment fort de sa semaine », mais il en profite aussi pour l’alerter sur une « phase de rétrogradation de la sécurité », en énumérant plusieurs exemples. Quelques jours plus tard, le CEO conteste cette description, et Gruendel réplique avec d’autres exemples, tout en se disant satisfait de pouvoir enfin discuter de sécurité. Il affirme que, sur la durée, le CEO aurait progressivement réduit la fréquence de leurs réunions et cessé de répondre à beaucoup de ses messages à mesure que ses alertes se multipliaient.
Fin août 2025, Gruendel écrit également à un responsable de Helix AI pour récapituler une réunion où il a montré des comportements dangereux de robots, dont une photo d’un robot à environ deux pieds de frapper la tête d’une personne. Le 29 août, il coanime une formation à la sécurité des opérateurs de téléopération, en insistant sur les risques élevés pour les employés liés aux capacités physiques et à l’imprévisibilité de robots pilotés par une IA comme Helix AI, qu’il décrit par ailleurs comme entraînant des risques spécifiques par rapport à des contrôleurs de machines classiques (hallucinations, décisions inexplicables, tendances de « self-preservation », apparence de conscience).
Le 2 septembre 2025, quatre jours après cette formation mettant en avant les risques des robots pour les employés et quelques semaines après ses critiques écrites les plus précises sur l’abandon de la certification de l’E-Stop et la dangerosité potentielle des robots pour les employés et futurs clients, Gruendel est convoqué par le vice-président chargé de la croissance et informé de son licenciement immédiat. Le motif donné est un « changement de direction commerciale » lié au marché domestique. Selon la plainte, ce motif est un prétexte: il avait reçu peu de temps auparavant une augmentation salariale et des éloges pour ses performances, et son travail sur la sécurité à domicile faisait précisément partie de la stratégie prétendument abandonnée. Il souligne que sa documentation finale sur les forces générées par les robots, vingt fois supérieures au seuil de douleur et potentiellement suffisantes pour causer des blessures graves, avait été finalisée juste avant sa mise à pied.
Sur le plan juridique, la plainte soutient que ces faits constituent des représailles interdites en vertu du Code du travail californien. Sous l’angle de la section 1102.5, Gruendel affirme avoir divulgué, en interne, à des supérieurs hiérarchiques dotés de pouvoirs décisionnels, des informations qu’il avait des raisons de considérer comme révélant des violations de lois et de règlements en matière de sécurité au travail, y compris des exigences OSHA et des normes de sécurité de l’État de Californie. Sa rupture serait intervenue à cause de ces divulgations, en violation de l’interdiction de sanctionner un employé qui refuse de participer à une activité illégale ou qui signale une non-conformité. Au titre de la section 98.6, il invoque la protection des employés qui se plaignent ou dénoncent des violations des lois du travail ou des règles de sécurité. La plainte insiste sur la proximité temporelle entre ses démarches et son licenciement (moins de 90 jours), ce qui, selon le droit californien actuel (SB 497), fait naître une présomption réfragable de représailles.
Enfin, l’action pour « wrongful termination in violation of public policy » s’appuie sur l’idée que la Californie reconnaît une politique publique fondamentale de protection des lanceurs d’alerte en matière de sécurité, d’encouragement à la dénonciation de risques pour la santé et la sécurité, et d’interdiction des licenciements motivés par ces démarches. En licenciant Gruendel pour avoir soulevé des risques graves liés à des robots humanoïdes dotés d’IA, Figure aurait violé cette politique. La plainte réclame la réparation des pertes économiques (salaires, avantages, opportunités de carrière, atteinte à la réputation professionnelle), des dommages compensatoires et généraux, des pénalités statutaires, des dommages punitifs pour représailles prétendument volontaires et malveillantes, ainsi que les honoraires d’avocat et les intérêts avant et après jugement.
Commentaire : on verra le sort de cette procédure, et notamment l’argument du congé-représailles, mais c’est la première fois que l’auteur de ces lignes accède ainsi à la cuisine interne de fabricants de robots humanoïdes. La science-fiction à nos portes, on relira Isaac Asimov !
Le billet de blog d’Imogen Parker, Transcribing trust: is transcription the use case that shows AI’s transformative power? Publié le 11.11.2025 sur le site du Global Government Forum (https://www.globalgovernmentforum.com/transcribing-trust-is-transcription-the-use-case-that-shows-ais-transformative-power/) part d’un constat: dans le secteur public britannique, les outils d’IA de transcription – parfois appelés « scribes IA », « scribes ambiants » ou technologies de reconnaissance vocale – sont en plein essor. Des modèles de fondation récents permettent une reconnaissance automatique de la parole beaucoup plus précise et flexible qu’auparavant. Le gouvernement UK a lancé un programme d’« AI Exemplars » qui finance, entre autres, des outils de prise de notes et de compte rendus, comme Justice Transcribe pour la justice, Discharge Summaries pour la santé ou Minute pour les collectivités locales. À côté de ces solutions publiques, on trouve des produits commerciaux (par exemple pour le travail social) et les fonctions de transcription intégrées dans des outils généralistes comme Microsoft Copilot. Les chiffres cités évoquent environ un tiers des travailleurs sociaux utilisant déjà des outils d’IA générative avec une fonction de transcription.
Sur cette base, l’auteure constate un réel optimisme des décideurs publics : la transcription pourrait être un cas d’usage emblématique de la « puissance transformatrice » de l’IA, notamment en termes de gains d’efficacité. Cela repose sur plusieurs éléments. Les grands modèles de langage peuvent désormais être ajustés à de nombreuses tâches spécifiques. La charge de « paperasserie » est un grief récurrent des professionnels de première ligne, en particulier dans la santé et le social où la documentation est de loin l’activité la plus chronophage. Des outils de transcription fiables pourraient faire gagner un temps substantiel. Ils pourraient aussi jouer un rôle d’« égaliseur » en aidant des professionnels très compétents dans la relation humaine mais moins à l’aise avec l’écrit ou l’administratif. Autrement dit, on est face à un cas où l’IA semble répondre précisément à un problème identifié depuis longtemps.
Mais pour savoir si ces promesses peuvent réellement se concrétiser, il ne suffit pas de mesurer quelques gains de productivité. Il faut, selon l’auteure, répondre à une série de questions plus larges. Les plus évidentes concernent le taux d’erreur des transcriptions et la valeur ajoutée en termes d’efficacité. Cependant, d’autres enjeux doivent structurer les plans d’évaluation dès maintenant.
Le premier bloc de questions porte sur les modèles de fondation qui sous-tendent ces outils. Les phénomènes de « fabrication » d’informations ou « hallucinations » sont bien connus : les modèles peuvent produire un contenu inexact ou fictif. L’absence de cadres robustes de tests, de contrôles de sécurité et de transparence pour ces modèles accentue le risque. Des données biaisées ou un langage toxique peuvent être intégrés à l’outil, avec des effets négatifs même si le modèle a été affiné pour un domaine particulier, comme la santé. Les systèmes de reconnaissance vocale peuvent produire des transcriptions erronées qui véhiculent des représentations déformées ou stigmatisantes des personnes enregistrées. Dès lors, les évaluations doivent porter non seulement sur la précision globale, mais aussi sur la capacité des utilisateurs à détecter et corriger les erreurs, et sur les conséquences des contenus non seulement inexacts mais potentiellement nuisibles pour les individus.
Le deuxième bloc concerne la protection des données, la sécurité et la confidentialité. L’usage de modèles de fondation, souvent fournis par de grands acteurs privés, soulève la question de ce qui est fait des données – parfois très sensibles – qui transitent par ces outils. Selon l’auteure, les solutions gratuites ou grand public offrent rarement une protection significative des données. Elle rappelle l’avertissement du responsable national de l’information clinique du NHS anglais, qui a constaté une utilisation diffuse d’outils de transcription dans la pratique clinique alors qu’ils ne respectaient pas les exigences du NHS en matière de protection des données et de sécurité clinique. Le NHS a demandé l’arrêt de tout outil non conforme. Ce type d’intervention illustre le besoin de clarifier les conditions techniques et juridiques préalables à l’usage de ces outils, surtout dans des environnements régulés comme la santé.
Au-delà de ces aspects de fond, il faut analyser la performance des outils en conditions réelles. Une question clé est le degré de fidélité de la transcription par rapport à l’échange oral. Comment ces systèmes se comportent-ils avec différents accents, langues, dialectes, argots, avec des pathologies qui affectent la parole, avec du bruit de fond ou des interlocuteurs qui parlent en même temps ? Comment se comparent-ils à des transcripteurs humains, et certains groupes de personnes sont-ils plus pénalisés par l’automatisation que d’autres ?
L’auteure attire aussi l’attention sur les effets de ces outils sur le contenu même des échanges entre professionnels et usagers. Savoir que tout est transcrit modifie-t-il la façon dont on parle, la franchise de la discussion, le degré de confort des personnes ? Quelles règles de consentement et de « bonne pratique » devraient encadrer l’usage de la transcription, notamment dans des contextes sensibles comme les ressources humaines, le travail social ou la police ? Il faut aussi se demander si la prise de notes ne risque pas de se réduire à ce qui est prononcé à voix haute, au détriment d’éléments non verbaux comme le langage corporel, les silences ou les mouvements, qui peuvent être significatifs dans certaines professions.
Vient ensuite la question de l’usage des transcriptions. Pour que la transcription apporte des bénéfices, les professionnels doivent pouvoir s’appuyer sur ces textes. Cela pose des questions de recevabilité et de gouvernance. Les transcriptions automatiques sont-elles admissibles comme preuve ou comme base de décisions formelles et de procédures contradictoires ? Qui porte la responsabilité juridique de leur exactitude dans des contextes à forts enjeux, et qui répond des défaillances techniques ou des biais, sachant que les modèles de fondation sont peu régulés ?
Sur le plan des pratiques professionnelles, l’introduction de ces outils implique probablement une redistribution des rôles et des obligations. Il peut émerger un « devoir » nouveau de vérifier les textes produits par la machine. Si une erreur technique cause un dommage, qui en répondra, l’éditeur du logiciel, l’administration, le professionnel qui a signé le document ? Par ailleurs, si des gains de productivité sont réalisés, à qui profiteront-ils ? Les agents disposeront-ils réellement de plus de temps pour la relation avec les bénéficiaires, la formation ou la réflexion éthique, ou les gains seront-ils absorbés par une augmentation des charges de dossiers ? Ces questions doivent faire partie des évaluations d’impact, faute de quoi les bénéfices attendus risquent de se dissoudre dans les contraintes organisationnelles.
L’auteure explique ensuite que parler de « transcription » est déjà réducteur. Beaucoup d’outils offrent désormais des fonctions supplémentaires : résumé automatique, rédaction de rapports, voire assistance à la décision. Ces fonctions peuvent renforcer les gains d’efficacité, mais elles complexifient fortement l’évaluation. Les erreurs ou biais dans les résumés ou les recommandations sont plus difficiles à repérer que dans une simple transcription, alors même que leurs conséquences sur la décision peuvent être plus importantes.
Elle illustre ce point par une recherche de Sam Rickman portant sur la « justice contre-factuelle ». En utilisant des grands modèles de langage pour générer des dizaines de milliers de résumés de notes de cas réelles, l’étude examinait si la sortie de l’IA variait selon le genre attribué à la personne, à entrée identique. Résultat : un modèle (Llama 3) produisait des résumés très similaires pour des hommes et des femmes, alors qu’un autre modèle (Gemma) générait des différences marquées. Dans un exemple cité, le même cas est résumé de manière plus défavorable lorsque la personne est présentée comme un homme, et de façon plutôt positive lorsqu’il s’agit d’une femme. Cet exemple montre que deux modèles généralistes comparables peuvent adopter des « visions » du monde divergentes, avec des effets potentiels sur l’évaluation des situations.
Au-delà du biais, ces fonctions de résumé soulèvent des questions sur la hiérarchisation de l’information. Dans quelle mesure les résumés d’IA reflètent-ils les priorités qu’un professionnel humain aurait mises en avant ? Quel niveau de confiance les agents accordent-ils à ces résumés, et comment cela influe-t-il sur leur compréhension des dossiers et leur mémorisation des échanges ? Si les professionnels se reposent trop sur les synthèses automatiques, ils risquent d’avoir une vision plus distanciée et moins nuancée des situations individuelles.
En conclusion, l’auteure présente brièvement les travaux en cours de l’Ada Lovelace Institute, qui consacre cette année un programme entier à l’étude des outils de transcription dans le secteur du travail social. L’objectif est d’accumuler de la preuve sur le terrain, à partir des pratiques des travailleurs sociaux, pour documenter les usages réels, les bénéfices et les risques, et pour proposer des cadres d’évaluation adaptés. Un premier document de type « explainer » doit présenter le fonctionnement de ces outils ainsi que leurs principaux risques et avantages, avant la publication d’une recherche plus complète. L’ensemble de ce raisonnement vise à montrer que la transcription est bien un cas d’usage prometteur pour l’IA dans le secteur public, mais que sa réussite dépendra étroitement de la manière dont seront traitées les questions de précision, de biais, de protection des données, de responsabilité et d’impact sur les professions.
L’article de Michele Molè, «Commodified, Outsourced Authority: A Research Agenda for Algorithmic Management at Work », Italian Labour Law e-Journal, Issue 2, Vol. 17 (2024), p. 169-188 (https://doi.org/10.6092/issn.1561-8048/20836) soutient que la gestion algorithmique du personnel doit être comprise comme une forme nouvelle d’autorité patronale à la fois marchandisée et externalisée. L’auteur parle de « boss-as-a-service » pour désigner ces systèmes fournis par des sociétés informatiques, achetés sur des places de marché comme AWS, puis intégrés dans l’organisation du travail. L’idée centrale est que, lorsque ces outils sont utilisés dans le cadre d’un contrat de travail classique, une partie de l’autorité de l’employeur est en réalité exercée, en pratique, par le fournisseur de la solution, avec lequel l’employeur partage ses prérogatives de direction.
Le point de départ est empirique. Sur AWS Marketplace et d’autres plateformes similaires, on trouve des centaines de produits de « workforce management » et de surveillance, vendus sous forme d’abonnements et destinés à organiser, évaluer et surveiller les salariés. La doctrine s’est surtout concentrée sur le renforcement du pouvoir de l’employeur qui en résulte (surveillance accrue, évaluation automatisée, asymétries d’information renforcées) et sur les moyens de limiter cet excès de pouvoir au bénéfice des travailleurs, en insistant sur la transparence, la responsabilité de l’employeur et la participation des salariés. L’article souligne que cette approche laisse dans l’ombre un aspect essentiel : le fait que cette autorité renforcée est, très souvent, médiée par des prestataires extérieurs qui conçoivent, opèrent et « louent » des capacités de commandement et de contrôle sur les salariés.
L’auteur commence par rappeler, à partir du droit italien mais avec des parallèles en droit néerlandais, français, allemand et européen, ce qu’est classiquement l’autorité de l’employeur. Le contrat de travail place l’employeur « à la tête de l’entreprise » et lui confère le pouvoir de donner des instructions, d’organiser le travail, de contrôler l’exécution et de sanctionner, dans les limites de la loi. Cette autorité naît du contrat mais le dépasse, car l’organisation et le contrôle évoluent avec la dynamique de l’entreprise. L’usage d’outils informatiques – au sens large, y compris l’IA – pour coordonner, surveiller ou évaluer le travail est classiquement regardé comme un simple mode d’exercice de ce pouvoir de direction. Les outils de gestion algorithmique sont ainsi considérés comme des « procédures informatisées de coordination de la main-d’œuvre », dont l’employeur valide les résultats et se sert pour gérer, superviser et discipliner les salariés.
L’article décrit ensuite la mutation introduite par le marché des outils de surveillance et de gestion. Des produits comme Cogito Dialog (analyse de la voix des téléconseillers), DriverI (caméras intelligentes pour conducteurs) ou Syrg (prédiction des départs de salariés) permettent, pour un coût relativement modéré, de mettre en place des formes de micro-surveillance et de gestion fine qui seraient matériellement impossibles avec du personnel humain. Le point n’est pas de savoir si ces outils tiennent leurs promesses techniques, mais d’observer qu’ils sont fournis par des entreprises spécialisées, via des contrats de services, à des employeurs qui les intègrent dans leurs hiérarchies internes. Concrètement, l’employeur acquiert un service qui évalue la « bonne » façon de parler à un client ou de conduire un véhicule, et se repose ensuite sur ces évaluations pour gérer les salariés. Cela crée un schéma triangulaire employeur–prestataire–salarié, dans lequel le prestataire participe à la définition et à l’exercice de l’autorité.
Pour rendre cette idée plus tangible, l’auteur analyse deux exemples vendus sur AWS. Cogito Dialog est proposé en mode « Software as a Service » avec un abonnement annuel d’environ 200 000 dollars. L’employeur ne devient pas propriétaire du logiciel ni de son infrastructure, il paie pour accéder à un service hébergé, via une interface de type tableau de bord, qui écoute les conversations, les évalue et fournit des alertes ou des scores. De même, Calabrio ONE, autre solution de centre d’appel, est vendu sous forme de modules tarifés séparément (qualité, gestion des effectifs, analytique multicanal, etc.). Le visuel de la page 8 montre une grille de prix où chaque « capacité managériale » a son abonnement annuel. L’employeur peut ainsi composer un « boss » algorithmique à la carte : un module enregistre et évalue les interactions, un autre planifie les horaires, un autre encore prédit les performances. Une fois ces services activés, ce ne sont plus les managers internes qui, sur la base de règles maison, évaluent les salariés et font les plannings, mais l’architecture décidée par la société qui opère Calabrio ONE. L’employeur reste formellement responsable des décisions, mais, dans les faits, il se contente souvent d’avaliser les résultats fournis par ces systèmes.
Pour analyser ce phénomène, l’article s’appuie sur les travaux de Philip Agre en « social computing ». Agre montre que le travail géré par des systèmes informatiques est « mis en scène » au moyen de schémas de représentation qui décomposent les activités en unités formalisables. Là où le taylorisme fragmentait les gestes physiques pour définir « la meilleure façon » de travailler, la gestion algorithmique fragmente les activités en données et en catégories interprétables par la machine. Agre parle de « grammaires de l’action » : des ensembles de règles qui traduisent les comportements possibles dans un langage que le système peut lire et traiter. Pour fabriquer un « boss-as-a-service », le prestataire traverse, selon l’auteur, cinq étapes : analyser le travail existant et en extraire des unités pertinentes (par exemple, des indices de cordialité ou d’agacement dans la voix), articuler une grammaire qui décrit toutes les combinaisons admissibles de ces unités, imposer cette grammaire en la rendant normative pour le client, l’« instrumenter » en connectant le système à l’organisation de l’employeur, puis laisser le système « élaborer » en interprétant continuellement les activités des salariés et en produisant des signaux et décisions. L’employeur qui adopte Cogito ou Calabrio n’écrit pas lui-même cette grammaire : il achète un ensemble de catégories, métriques et normes pré-programmées. Il laisse donc le prestataire définir, dans ce champ fonctionnel, ce qu’est un bon ou un mauvais comportement au travail.
Sur cette base, l’auteur soutient que l’autorité de l’employeur est en partie déléguée et partagée. Le salarié, en concluant un contrat de travail, s’engage à suivre les instructions de l’employeur. Mais si ces instructions sont produites ou cadrées par la grammaire d’un prestataire informatique, le salarié se trouve, de facto, soumis à des règles qu’il n’a pas négociées avec son employeur mais qui lui parviennent par le filtre d’un service externe. L’employeur, lui, ne maîtrise pas les logiques internes du système et se limite souvent à constater les scores et recommandations fournis par le tableau de bord. L’autorité n’est donc plus un « fait de direction » exercé de manière souveraine à l’intérieur de l’entreprise, mais un pouvoir partagé où le prestataire conçoit et opère une partie des fonctions de direction et de contrôle.
L’article examine ensuite les raisons économiques et organisationnelles qui poussent les employeurs à accepter ce partage. En mobilisant Coase et Ciborra, l’auteur rappelle que l’entreprise existe, en théorie, pour économiser des coûts de transaction par rapport au marché. Or, avec les « bosses-as-a-service », une partie de la coordination et du contrôle peut à nouveau être achetée sur le marché, à un coût potentiellement plus faible que celui d’équipes internes, tout en offrant davantage d’information et de prédictibilité. Le tableau de la page 13 met en contraste deux scénarios théoriques. Dans le premier, un « boss humain » dispose d’une information limitée, supporte des coûts élevés de coordination et agit dans un cadre contractuel relativement ouvert et imprévisible. Dans le second, un « boss algorithmique » dispose d’analyses de données abondantes, de règles standardisées, de coûts de coordination plus faibles et encadre des salariés qui doivent suivre la grammaire d’actions imposée par le système. En pratique, les entreprises se situent entre ces deux extrêmes et opèrent des choix fins : elles peuvent externaliser la surveillance en temps réel et la planification des horaires, tout en gardant, par exemple, la fixation des objectifs stratégiques ou des promotions à la main de managers humains. Cette flexibilité ne change pas le constat de fond : l’autorité [de l’employeur] devient un bien partiellement marchand, modulable et achetable, que l’employeur consomme comme un service externe.
Dans une dernière étape, l’article met ces constats en relation avec le Règlement européen sur l’IA (règlement 2024/1689). Ce texte distingue clairement les « fournisseurs » de systèmes d’IA et leurs « utilisateurs professionnels », appelés « déployeurs ». Les systèmes d’IA utilisés pour la gestion des travailleurs sont qualifiés de « haut risque », ce qui déclenche un ensemble d’obligations lourdes pour les fournisseurs : gestion des risques, qualité des données, documentation, transparence, robustesse, cybersécurité. Les employeurs-déployeurs ont, pour leur part, des devoirs de surveillance et d’information, mais le schéma global reste celui d’une protection « à la consommateur » pour un utilisateur qui ne maîtrise pas la technologie. Le règlement impose par exemple que le fournisseur donne aux employeurs des informations claires sur le fonctionnement du système, exige que des dispositifs de contrôle humain soient possibles et que l’employeur puisse interrompre ou corriger les décisions de l’IA. Mais, souligne l’article, ces garde-fous ne suppriment pas la marchandisation et l’externalisation de l’autorité : ils encadrent simplement l’usage, en laissant intacte la position du fournisseur comme concepteur exclusif de la grammaire d’action et des outils de supervision.
L’auteur conclut en appelant à un agenda de recherche juridique spécifique sur cette autorité marchandisée et externalisée. Il propose que la doctrine examine si les mécanismes de l’AI Act suffisent à compenser la perte de contrôle de l’employeur sur des pans entiers de la gestion du personnel, et s’interroge sur la nécessité éventuelle de règles de droit du travail plus ciblées. Une piste serait de définir, par la loi, quels aspects du pouvoir de direction peuvent être confiés à des prestataires externes et lesquels doivent rester entre les mains de l’employeur, compte tenu de la protection des travailleurs. Plus largement, l’article invite à analyser comment le marché des « bosses-as-a-service » reconfigure les « îlots de pouvoir conscient » que sont les entreprises, en déplaçant une partie de l’autorité managériale vers des acteurs technologiques extérieurs, et à réfléchir à la manière dont le droit du travail doit réagir à cette recomposition.
NB : dans cet article, très intéressant, je retiens notamment l’idée de la définition des attributions inaliénables de l’employeur. Après tout, c’est un système que l’on connait ailleurs : ce que le CA peut déléguer ou non dans la SA etc.
Travail, protection des données et IA 