L’article Ivana Bartoletti, Fair AI: Utopia, aspiration or deception? The human cost of automated efficiency (in : Algorithmic Rule : AI and the Future of Democracy in Sweden and Beyond, Simon Vinge/Maja Fjoestad (édit.), novembre 2025, p. 99-106 ; https://feps-europe.eu/wp-content/uploads/2025/09/Algorithmic-rule.pdf)) analyse les enjeux liés à l’utilisation de l’intelligence artificielle dans les services publics, en soulignant à la fois les promesses d’efficacité et les risques d’injustice qu’elle comporte.

L’IA peut optimiser des processus administratifs, améliorer l’accès aux prestations et permettre une allocation plus ciblée de ressources limitées. Ces perspectives sont particulièrement attrayantes dans les secteurs où les coûts augmentent et où les administrations cherchent à faire plus avec moins.

Toutefois, l’auteur rappelle que toute technologie est façonnée par la société qui la produit et risque, en l’absence de cadre adéquat, de reproduire voire d’amplifier les inégalités existantes. Les systèmes d’IA s’appuient inévitablement sur des données historiques, qui reflètent des structures sociales, économiques et culturelles marquées par des biais. Ainsi, les promesses d’objectivité et de neutralité peuvent masquer des effets discriminatoires concrets.

Le texte souligne que cet enjeu est particulièrement sensible dans les services publics, où les décisions touchent des personnes souvent vulnérables, telles que des bénéficiaires de l’aide sociale, des demandeurs d’emploi ou des usagers dépendant de services essentiels. Lorsque les systèmes algorithmiques se trompent ou reproduisent des biais, les conséquences peuvent être lourdes : exclusion d’aides, refus d’accès à des droits, surveillance accrue ou marginalisation. De plus, les personnes concernées disposent rarement de moyens de contester ou même de comprendre la logique des décisions automatisées, ce qui crée un déséquilibre supplémentaire entre l’administration et les administrés. L’article montre que l’opacité de nombreux systèmes d’IA fragilise la confiance dans les institutions publiques en donnant l’impression que des décisions importantes sont prises par des mécanismes inaccessibles et inquestionnables.

L’auteur met en évidence que le problème de biais ne provient pas seulement des données. Il peut apparaître à chaque étape : conception du modèle, choix des variables, interprétation des résultats, conditions d’utilisation. Il ne suffit donc pas de « nettoyer » les jeux de données. Une vision globale est nécessaire, impliquant des obligations de transparence, d’audit, de contrôle démocratique et de recours individuel. Plusieurs études mentionnées montrent que les biais discriminatoires produits par des algorithmes suscitent souvent moins de contestation que les biais humains équivalents. Cette tolérance accrue résulte du prestige attaché à la technique, perçue à tort comme objective ou neutre.

Deux cas européens illustrent ces dérives. À Hambourg, des systèmes biométriques utilisés dans des procédures administratives se sont avérés moins fiables pour les personnes à la peau foncée, entraînant des difficultés d’accès aux services. En Autriche, un algorithme de profilage des demandeurs d’emploi, censé améliorer l’efficacité des politiques d’insertion, a au contraire reproduit des inégalités structurelles, notamment en défavorisant les femmes et les personnes âgées. Ces cas montrent que, sans garanties solides, l’IA peut renforcer les discriminations au lieu de les corriger.

L’article discute ensuite la question de savoir si les biais algorithmiques peuvent réellement être éliminés. Il met en avant la difficulté de définir la notion même de « fairness » : plusieurs approches mathématiques existent, mais elles sont souvent incompatibles entre elles.

L’exemple d’Amsterdam est particulièrement instructif. La ville avait entrepris un projet ambitieux, Smart Check, visant à analyser les demandes d’aide sociale en intégrant des principes de transparence et de justice. Malgré des efforts importants, le système n’a pas atteint son objectif de fiabilité et de neutralité et a finalement été abandonné. Cette expérience montre que, même lorsque l’intention est d’agir de manière responsable et que les concepteurs sont conscients des enjeux éthiques, les conditions ne sont pas toujours réunies pour garantir l’absence de discrimination. Le constat est que l’IA, en s’appuyant sur des données inscrites dans des contextes sociaux, tend à reproduire des rapports de pouvoir et des inégalités historiques.

L’auteur souligne que la réponse à ces défis ne peut être seulement technique. La lutte contre la discrimination algorithmique suppose des choix politiques, des mécanismes institutionnels de contrôle et une capacité réelle pour les individus de contester les décisions automatisées. Des cadres juridiques existent déjà, notamment en matière de protection des données, de non-discrimination et de droits fondamentaux. L’IA ne s’exerce pas dans un vide normatif. Toutefois, l’ampleur et l’opacité des systèmes algorithmiques requièrent des instruments supplémentaires, en particulier en matière d’audit, de transparence et de gouvernance.

Dans ce contexte, le rôle du droit européen est central. Le texte se réfère notamment à l’AI Act de l’Union européenne, qui établit une classification des systèmes d’IA selon le niveau de risque et impose des exigences plus fortes pour ceux utilisés dans des domaines sensibles, dont les services publics. Mais l’article insiste sur le fait que ce règlement n’est qu’un cadre d’entrée sur le marché et ne se substitue pas aux législations existantes en matière d’égalité et de droits fondamentaux. Il invite à ne pas surestimer l’AI Act, tout en affirmant qu’il constitue une étape importante dans la mise en place d’une gouvernance démocratique de l’IA.

L’auteur conclut que l’enjeu principal ne consiste pas à empêcher l’utilisation de l’IA dans les services publics, mais à garantir que son introduction s’accompagne de conditions strictes de transparence, d’explicabilité, de contrôle humain et de responsabilité. L’IA peut soutenir des objectifs d’équité si elle est intégrée dans un projet politique orienté vers la réduction des inégalités. Elle ne peut produire d’elle-même la justice qu’elle prétend incarner.

Les administrations, les législateurs et les acteurs publics doivent donc investir dans des capacités d’évaluation, de supervision et de partage de connaissances. La coopération entre autorités, chercheurs et société civile apparaît comme une condition indispensable à une utilisation de l’IA compatible avec la démocratie et l’État de droit.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence Artificielle