Dans un article publié en septembre 2026 dans le vol. 79 de la Stanford Law Review Online (Classifying and Countering AI Proxy Discrimination, https://review.law.stanford.edu/wp-content/uploads/sites/3/2026/09/Swisher-79-Stan.-L.-Rev.-Online-93.pdf), Keith Swisher part du constat que le droit américain de la non-discrimination a été construit pour un monde dans lequel les discriminations reposaient sur des catégories identifiables, telles que la race, le sexe, l’origine nationale, l’âge ou le handicap. Or les systèmes d’intelligence artificielle bouleversent ce schéma parce qu’ils peuvent produire des résultats discriminatoires sans jamais utiliser explicitement ces catégories.

L’affaire Mobley v. Workday illustre le problème.

Derek Mobley, noir, âgé de plus de quarante ans et handicapé, avait postulé à plus de cent emplois auprès d’employeurs utilisant la plateforme de sélection automatisée de Workday et avait été systématiquement rejeté. Il soutenait que l’algorithme écartait les candidats présentant des caractéristiques semblables aux siennes. Ses prétentions fondées sur la discrimination intentionnelle se sont toutefois heurtées à une difficulté fondamentale : un algorithme n’a pas d’intention propre. Les demandes fondées sur l’impact discriminatoire demeuraient pendantes au moment de la publication de l’article.

Swisher rappelle que le droit américain des droits civils repose sur le paradigme des « classes protégées ». Le Title VII interdit à l’employeur de discriminer notamment en raison de la race, de la couleur, de la religion, du sexe ou de l’origine nationale ; d’autres textes appliquent la même logique au logement, au handicap ou au droit de vote. Le droit recherche donc traditionnellement une caractéristique protégée, son utilisation dans la décision et le désavantage qui en résulte. Même la théorie du disparate impact, qui permet d’appréhender certaines discriminations indépendamment de toute intention, demeure rattachée à ces catégories : il faut démontrer qu’une pratique apparemment neutre produit un effet défavorable disproportionné sur un groupe protégé.

Or les systèmes d’apprentissage automatique ne classent généralement pas les individus selon ces catégories juridiques. Ils construisent leurs propres classifications à partir de dizaines, centaines ou milliers de variables. Un système de recrutement peut tenir compte de la formation, de la distance entre le domicile et le lieu de travail, du vocabulaire employé dans un CV, des interruptions de carrière ou des résultats de tests comportementaux. Un système de crédit utilise l’historique des paiements, le niveau d’endettement et de nombreuses autres données. Ces critères paraissent neutres, mais ils peuvent être fortement corrélés à la race, au sexe ou à d’autres caractéristiques protégées. Dans une société déjà structurée par des inégalités, l’adresse, le parcours scolaire, l’emploi antérieur ou l’historique judiciaire peuvent ainsi permettre à un algorithme de reconstituer indirectement l’appartenance à un groupe protégé. L’algorithme peut donc produire l’équivalent fonctionnel d’une classification raciale sans jamais enregistrer la race elle-même.

C’est ce que l’auteur appelle la « proxy discrimination », ou discrimination par variable de substitution. Elle n’est pas nouvelle, mais l’IA lui donne une dimension différente : la substitution ne résulte plus nécessairement du choix conscient d’un décideur humain. Elle peut émerger de l’interaction complexe d’un grand nombre de données. Les doctrines fondées sur l’intention sont alors particulièrement mal adaptées. Depuis Washington v. Davis et Personnel Administrator v. Feeney, la jurisprudence exige, pour certaines formes de discrimination constitutionnelle, que l’auteur ait agi en raison de l’effet discriminatoire et non simplement malgré cet effet. Appliquer cette exigence à un processus statistique d’optimisation n’a guère de sens, puisque l’algorithme n’a aucune intention. L’intention discriminatoire des concepteurs ou des utilisateurs reste évidemment possible, mais elle ne permet pas d’appréhender les discriminations qui apparaissent spontanément dans le fonctionnement du modèle.

La théorie du disparate impact est plus prometteuse, mais elle rencontre une autre difficulté. Elle demande en principe d’identifier la pratique responsable de l’effet discriminatoire. Or, lorsque le résultat découle de l’interaction de cent variables, aucune d’entre elles ne peut nécessairement être isolée comme cause du désavantage. Même lorsqu’un critère tel que le code postal apparaît fortement corrélé à la race, l’entreprise peut soutenir qu’il mesure en réalité un élément légitime, par exemple la durée du trajet ou les caractéristiques du marché local du travail. Le droit cherche ainsi une « pratique discriminatoire » déterminée alors que le phénomène résulte parfois de l’architecture globale du système.

Pour dépasser cette difficulté, Swisher mobilise d’abord la philosophie des sciences. Il reprend la distinction d’Ian Hacking entre les catégories naturelles et les catégories « interactives ». Certaines classifications sociales ne se contentent pas de décrire les personnes ; elles modifient leur situation. Qualifier un prévenu de « haut risque » peut conduire à sa détention, à la perte de son emploi et à une désorganisation familiale qui augmenteront ensuite les facteurs de risque mesurés par le système. Classer un emprunteur comme risqué entraîne des taux d’intérêt plus élevés et un accès plus difficile au crédit, ce qui peut à son tour aggraver sa situation financière. Ces classifications peuvent donc devenir partiellement autoréalisatrices. En outre, tout système de classification comporte des choix normatifs : sélectionner certaines variables, définir l’objectif à prédire et décider ce qui constitue une différence pertinente ne sont jamais des opérations purement neutres.

L’auteur en tire une première proposition centrale : au lieu de demander si le système « utilise » une caractéristique protégée, il faut rechercher si ses classifications sont informationnellement liées à cette caractéristique. Il propose à cette fin de recourir à la notion de « mutual information », ou information mutuelle, issue de la théorie de l’information. Cet indicateur mesure la dépendance statistique entre deux variables. Si la classification produite par un algorithme permet de déduire avec une forte probabilité la race, le sexe, l’âge ou le handicap d’une personne, la classification constitue fonctionnellement un substitut de la caractéristique protégée.

Swisher suggère donc d’introduire dans le droit de la non-discrimination un seuil d’information mutuelle. Au-delà de ce seuil, la classification algorithmique serait présumée discriminatoire. Il compare ce mécanisme à la « Four-Fifths Rule » utilisée en matière d’emploi : lorsqu’un groupe protégé est sélectionné à un taux inférieur à 80 % de celui du groupe le plus favorisé, cela constitue un indice d’impact disparate. La différence est que le test proposé ne compare pas directement les taux de sélection ; il mesure la quantité d’information relative à la caractéristique protégée contenue dans la classification elle-même.

L’auteur donne l’exemple d’un système examinant mille candidatures, cinq cents candidats blancs et cinq cents candidats noirs. Il recommande quatre cents candidats blancs mais seulement cent candidats noirs. Sans utiliser explicitement la race, sa décision permet donc de la prédire avec une assez forte précision. L’intérêt du test est d’appréhender le système dans son ensemble sans obliger le demandeur à identifier une variable précise comme cause de la discrimination. Le choix du seuil demeurerait nécessairement conventionnel, mais Swisher souligne que le droit antidiscriminatoire utilise déjà des seuils de cette nature.

La deuxième réforme proposée consiste à instaurer des « Classification Impact Assessments » ou CIA, c’est-à-dire des évaluations d’impact centrées spécifiquement sur les classifications générées par l’algorithme. L’idée s’inspire notamment des études d’impact environnemental : certains risques doivent être examinés avant le déploiement d’un système plutôt qu’après la survenance du dommage. Toute IA utilisée dans un domaine sensible devrait répondre à trois questions : quelles catégories le système crée-t-il ? Dans quelle mesure sont-elles liées aux caractéristiques protégées ? Quelles conséquences prévisibles auront-elles pour les membres de ces groupes ? L’analyse devrait aussi examiner les effets dynamiques et les boucles de rétroaction susceptibles d’amplifier les inégalités.

Ces évaluations devraient viser les domaines où les droits fondamentaux sont particulièrement en jeu : emploi, logement, crédit, éducation, immigration, justice pénale, prestations sociales ou liberté individuelle. Pour les grands modèles de langage, il faudrait aussi tester des échantillons de prompts, puisque les réponses et les discriminations peuvent dépendre des requêtes formulées. Les difficultés techniques ne justifieraient pas l’inaction : simulations, données synthétiques, déploiements limités et regulatory sandboxes permettraient des tests préalables.

Sur le plan institutionnel, Swisher envisage que les autorités compétentes dans chaque domaine administrent ces évaluations, par exemple l’Equal Employment Opportunity Commission pour l’emploi. Il insiste sur la nécessité d’un cadre public. L’affaire Mobley montre en effet les limites d’un contrôle laissé aux entreprises : un tribunal a refusé en 2026 de communiquer certaines données de tests de biais de Workday après avoir admis qu’elles avaient été préparées sous la direction des avocats de l’entreprise et pouvaient bénéficier de l’attorney-client privilege. Un tel régime risque d’encourager les entreprises à faire conduire leurs audits par leurs conseils juridiques pour soustraire les résultats à la communication. Une obligation légale d’évaluation créerait au contraire une exigence indépendante du contentieux.

La CIA comprendrait idéalement trois phases : communication à l’autorité des données d’entraînement, des variables, de l’architecture du modèle et des résultats de validation ; analyse technique, notamment au moyen du test d’information mutuelle et d’une étude des effets prévisibles ; puis participation des communautés concernées, organisations de défense des droits civils et experts. Swisher rapproche cette approche du règlement européen sur l’IA, qui impose des obligations particulières aux systèmes à haut risque et prévoit des évaluations de conformité avant leur mise sur le marché. Le modèle américain qu’il propose resterait toutefois spécifiquement structuré autour des objectifs du droit américain des droits civils.

La troisième réforme concerne la conception même des systèmes : la « fairness by design ». Aujourd’hui, selon l’auteur, la configuration par défaut consiste à optimiser la précision prédictive, puis éventuellement à corriger les biais. Ce choix conduit naturellement les modèles à exploiter toutes les corrélations disponibles dans les données, y compris celles provenant d’inégalités historiques. Swisher propose d’inverser cette logique : dans les domaines sensibles, le respect d’une contrainte d’équité devrait devenir la configuration par défaut. Le système devrait notamment respecter un plafond d’information mutuelle entre ses classifications et les caractéristiques protégées. Celui qui souhaiterait dépasser ce plafond devrait démontrer un intérêt impérieux et l’absence d’alternative moins discriminatoire.

Cette inversion déplacerait également la charge de la justification. Aujourd’hui, le demandeur doit établir l’impact discriminatoire et affronter ensuite les arguments de nécessité économique. Dans le modèle proposé, l’entité qui déploie l’IA devrait justifier tout écart à la règle de conception équitable. Swisher estime ce déplacement particulièrement approprié puisque l’entreprise détient les informations essentielles sur le modèle, les données d’entraînement et les performances, alors que les candidats ou salariés n’y ont généralement pas accès.

L’auteur examine enfin une difficulté constitutionnelle. Après Students for Fair Admissions, l’attention portée à la race dans la conception d’un algorithme pourrait être attaquée comme une classification raciale. Swisher considère toutefois que la différence est fondamentale : limiter la corrélation d’un système avec la race ne revient pas à attribuer un avantage ou un désavantage individuel en fonction de celle-ci. Il s’agit de concevoir une règle facialement neutre afin d’éviter qu’elle ne reproduise indirectement des discriminations. L’intervention porte sur l’architecture du système, non sur le traitement racial d’une personne déterminée.

La conclusion est donc qu’il ne faut pas abandonner le droit des classes protégées, mais le compléter. Les IA peuvent produire à grande échelle des classifications qui ne portent aucun nom juridiquement suspect tout en reproduisant presque exactement les divisions que le droit interdit. Pour l’auteur, une politique efficace doit combiner trois instruments : un test quantitatif permettant de détecter l’utilisation fonctionnelle de proxies, une évaluation préalable des classifications et de leurs effets, et une obligation d’intégrer l’équité dès la conception des systèmes. À défaut, l’application à l’IA d’un droit conçu essentiellement pour des décideurs humains risque de laisser une partie importante des discriminations algorithmiques hors d’atteinte et de transférer de fait aux entreprises technologiques la définition des catégories qui conditionnent l’accès à l’emploi, au crédit, au logement ou à d’autres droits essentiels.

Me Philippe Ehrenström, avocat, DPO – LLM, CAS en Droit et intelligence artificielle, CAS en Protection des données – Entreprise et administration