A propos de : Narayanan, A. (2026). What if algorithmic fairness is a category error? In S. Nyholm, A. Kasirzadeh, & J. Zerilli (Eds.), Contemporary debates in the ethics of artificial intelligence (pp. 77–96). Wiley-Blackwell. ISBN 9781394258819. (https://www.cs.princeton.edu/~arvindn/publications/algorithmic_fairness_category_error.pdf):

Arvind Narayanan part du constat suivant : on ne peut pas évaluer sérieusement les effets d’un système de décision automatisée en ne regardant que l’algorithme, car les dommages (ou les bénéfices) proviennent surtout de la façon dont l’outil est intégré dans une organisation, avec ses objectifs, ses contraintes, ses incitations et ses rapports de pouvoir. Il soutient que le débat « peut-on rendre les algorithmes équitables ? » se trompe souvent d’objet : les propriétés statistiques mises en avant par la littérature sur la “fairness” ont, en pratique, un lien faible et parfois flou avec ce qui arrive réellement aux personnes. Surtout, réduire la question de la justice à la seule discrimination (différences de traitement ou de résultats entre groupes) est trop étroit pour couvrir l’ensemble des atteintes possibles : perte de protections procédurales, impossibilité de contester une décision, effets de stigmatisation, transfert de coûts vers les plus vulnérables, consolidation de systèmes institutionnels dysfonctionnels, ou encore décisions “préventives” qui changent la nature même de l’intervention publique.

L’auteur illustre cette critique à partir du cas emblématique des outils de prédiction du risque en matière pénale (par ex. COMPAS). Le débat public et académique s’est largement cristallisé sur les écarts d’erreurs entre groupes raciaux, au point d’éclipser d’autres objections morales et juridiques pourtant fondamentales : l’idée de détenir quelqu’un sur la base d’un risque futur (logique de “précrime”), les difficultés de compréhension et de contestation des scores, les effets indirects sur les communautés, ou le risque que ces outils servent de “rustine” empêchant des réformes plus profondes. Pour Narayanan, cette focalisation sur la discrimination est devenue un rituel (notamment via les “audits de biais”) et a structuré tout un écosystème. Il explique ensuite pourquoi ce cadrage a été si attractif pour des acteurs très différents : pour les ingénieurs, il transforme un problème social complexe en problème technique “propre” ; pour les juristes, il offre des points d’accroche dans des cadres existants (droit antidiscrimination, responsabilité) et donc des débats doctrinaux immédiatement activables ; pour les médias et le public, la discrimination déclenche une intuition morale forte et facile à raconter ; pour certains défenseurs de l’intérêt public, il permet de remettre à l’agenda des injustices anciennes via des mesures chiffrées ; et, paradoxalement, pour les entreprises, il peut être moins menaçant qu’une remise en cause structurelle, ce qui facilite la récupération du mouvement sous l’étiquette “éthique de l’IA” ou “IA responsable”, parfois au prix d’ajustements techniques superficiels et de procédures de conformité déconnectées des problèmes de fond.

L’exemple de l’automatisation du recrutement sert à montrer comment l’obsession du biais peut devenir un “pansement sur un pansement”. Narayanan observe que l’industrie met en avant des audits de biais comme argument commercial, alors qu’une question préalable est souvent laissée dans l’ombre : ces outils fonctionnent-ils réellement, c’est-à-dire prédisent-ils quelque chose de pertinent (validité) ? Il décrit des produits fondés sur des signaux très discutables (analyse vidéo, “jeux” comportementaux) et note que, même si l’on supposait l’absence de disparités classiques entre groupes, il subsisterait des torts importants : dégradation de la dignité des candidats, procédures humiliantes, concentration des effets sur des métiers moins qualifiés et moins protégés, et substitution d’une apparence de rationalité à des processus de sélection déjà peu fiables. Il propose une hypothèse générale : des organisations adoptent ces outils non seulement pour des raisons de coût, mais aussi parce qu’ils évitent d’affronter le fait que certaines décisions sont intrinsèquement difficiles et que les procédures existantes sont défaillantes.

À partir d’un retour d’expérience sur dix ans de controverses, l’auteur identifie trois grandes raisons pour lesquelles la “fairness” n’a, selon lui, que marginalement réduit les dommages. Premièrement, les disparités mesurées sont souvent le symptôme de dysfonctionnements institutionnels plus profonds ; corriger un indicateur de biais ne répare pas une politique publique ou une pratique organisationnelle mal conçue. Deuxièmement, beaucoup d’échecs tiennent au manque de garanties procédurales pendant l’usage concret du système : explications compréhensibles, possibilité d’appel, contrôle humain réel, voies de rectification des données, et, plus largement, “contestabilité” des décisions. Il souligne que ces protections coûtent cher parce qu’elles exigent du temps humain, ce qui entre en tension avec l’objectif même de l’automatisation, et que l’on observe fréquemment un décalage entre la promesse commerciale (“tout est automatisé”) et la clause de sauvegarde (“un humain reste responsable”), sans mécanisme robuste pour que cet humain puisse effectivement corriger. Troisièmement, certains cas relèvent de choix de société irréductiblement politiques, notamment lorsqu’il s’agit de redistribution ou de compensation d’injustices historiques : décider quel niveau d’écart est acceptable, ou jusqu’où une entreprise doit corriger des inégalités structurelles, ne peut pas être “résolu” par une définition mathématique d’équité. Le débat approprié est alors celui de la légitimité démocratique et de l’acceptabilité sociale, et une solution techniquement élégante mais politiquement intenable suscitera une résistance frontale.

Face à ces limites, Narayanan propose de déplacer la question : plutôt que d’optimiser “l’équité d’un modèle”, il faut se demander comment concevoir des “bureaucraties algorithmiques”, c’est-à-dire des systèmes de décision où règles, modèles, agents humains, procédures et contexte social forment un tout. Il critique le modèle naïf selon lequel des décideurs fixeraient d’abord des objectifs clairs, puis des techniciens apprendraient automatiquement la “meilleure” politique, ensuite appliquée mécaniquement. En s’appuyant sur des travaux classiques en science de l’administration (notamment l’idée que les administrations “bricolent” des compromis plutôt qu’elles n’exécutent un objectif parfaitement défini), il insiste sur le problème suivant : l’automatisation exige d’expliciter des objectifs et des valeurs, alors que, dans la pratique, ces valeurs sont souvent implicites, situées et négociées au fil des cas. Le risque est que la définition des objectifs soit capturée soit par l’acteur le plus insistant, soit, plus grave, par les contraintes techniques et les choix des équipes de modélisation, sans mandat légitime. Il plaide donc pour des processus permettant d’expliciter des objectifs programmables, issus de compromis entre parties prenantes et lisibles pour le public, tout en reconnaissant que cette explicitation devra probablement se faire en interaction avec la construction, l’évaluation et l’explication des modèles, plutôt que “une fois pour toutes” en amont.

L’auteur identifie aussi des pistes de recherche plus concrètes que la seule optimisation de métriques d’équité. Il propose d’utiliser davantage des analyses coûts-bénéfices, avec prudence, pour éclairer des arbitrages souvent laissés implicites : par exemple, où placer un seuil de risque en matière de détention provisoire, en mettant en regard sécurité publique et atteintes à la liberté, ou encore choisir entre améliorer la précision d’un ciblage et élargir l’accès à une prestation (quitte à accepter une précision moindre). Il souligne que la modélisation devrait passer plus souvent de la “prédiction” à “l’intervention” : deux personnes classées “à risque” peuvent nécessiter des réponses très différentes, et c’est l’efficacité de l’aide proposée, pas seulement la qualité d’un score, qui importe. Il insiste également sur les effets indirects (spillovers) d’une décision sur d’autres personnes ou sur des communautés, dimension souvent absente des évaluations classiques, et sur la nécessité de quantifier des coûts aujourd’hui peu mesurés, comme le coût de l’implication humaine (contrôle, recours, médiation) ou le coût de conformité, sans que ces chiffres servent d’alibi pour affaiblir la régulation.

Enfin, Narayanan consacre une partie importante au rôle des agents de terrain (juges, travailleurs sociaux, modérateurs, etc.). L’idée qu’un algorithme peut simplement remplacer leur jugement est, selon lui, largement fausse, car la discrétion humaine sert précisément à gérer les cas atypiques, à tenir compte de considérations morales non codées, et à éviter la cruauté mécanique. Les recherches montrent que l’effet réel d’un score dépend fortement de la façon dont les agents l’utilisent, l’ignorent, le contournent ou modifient ses entrées. D’où un programme ambitieux : concevoir des “algorithmes de terrain” capables d’interagir avec les personnes, de fournir des explications et des informations sur les droits et les recours, de détecter les cas limites, de s’adapter ou d’escalader vers un humain, et de gérer une partie des contestations. Il reconnaît toutefois qu’en 2025 ces capacités sont hors de portée dans leur forme complète, et que les grands modèles de langage posent des risques spécifiques (réponses trompeuses, vulnérabilité à des entrées adversariales, apparence de compréhension, possibilités de manipulation). Dans l’intervalle, il recommande de privilégier des outils d’aide à la décision plutôt que des systèmes de remplacement, et de traiter l’équité comme un phénomène issu d’un couplage humain-outil (interface, explications, biais d’automatisation, capacité de l’utilisateur à contester), pas comme une propriété interne d’un modèle.

La conclusion est un appel à dépasser l’opposition entre, d’un côté, une “fairness” très mathématisée mais souvent trop étroite, et, de l’autre, des critiques structurelles nécessaires mais parfois peu connectées aux détails techniques. Narayanan esquisse l’idée d’une “troisième vague” : une approche qui accepte le caractère politique de ces choix, tout en restant suffisamment précise et empirique pour guider des réformes institutionnelles réelles, en élargissant fortement la boîte à outils au-delà des seules métriques de biais.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence Artificielle