Quelques réflexions tirées de R. Rilla et al., Recognising, Anticipating, and Mitigating LLM Pollution of Online Behavioural Research, arXiv :2508.01390v1 [cs.CY] 2 août 2025 (https://arxiv.org/abs/2508.01390):

Introduction

L’article analyse un phénomène émergent qui affecte la recherche comportementale en ligne : la « pollution par les modèles de langage » (LLM Pollution). Ce terme désigne les situations où des participants, censés répondre à des études destinées à évaluer la cognition et le comportement humains, recourent à des modèles d’intelligence artificielle pour traduire, reformuler, générer ou même déléguer entièrement leurs réponses. Dès lors, les données produites ne sont plus exclusivement humaines, ce qui remet en cause la validité scientifique de ces travaux.

Le problème est d’autant plus aigu que les grandes plateformes de recrutement de participants, comme Prolific ou MTurk, fondent leur attrait sur la promesse de réponses authentiquement humaines, contrôlées et vérifiées. Or, des observations récentes montrent qu’une part importante des contributions est en réalité partiellement ou totalement produite par des systèmes automatisés. Les auteurs notent que, dans certains cas, jusqu’à 45 % des réponses collectées dans des expériences pilotes présentaient des indices évidents d’intervention d’un modèle de langage. Ces indices allaient de formulations atypiques et excessivement fluides à des réponses trahissant l’absence d’expérience humaine.

Cette intrusion des modèles de langage dans la recherche n’est pas seulement une extension des anciennes menaces posées par les robots ou les participants frauduleux. Elle est plus difficile à détecter, plus sophistiquée, et produit des effets insidieux sur l’intégrité des échantillons, la qualité des données et les conclusions tirées.

Trois variantes de la pollution par LLM

Les auteurs distinguent trois formes principales, qui interagissent entre elles.

La première est la médiation partielle. Ici, le participant continue à remplir le questionnaire ou la tâche lui-même, mais s’appuie ponctuellement sur un modèle pour traduire, reformuler ou optimiser ses réponses. Les productions finales semblent humaines, mais sont en réalité façonnées par la machine. Cette médiation peut réduire la variabilité naturelle des réponses, introduire des biais culturels propres aux données d’entraînement des modèles et donner l’illusion d’une plus grande homogénéité. Elle fausse ainsi la distribution statistique des réponses et nuit à l’interprétation de phénomènes psychologiques censés refléter la diversité humaine.

La deuxième est la délégation totale. Le participant confie l’ensemble de la tâche à un agent basé sur un modèle de langage, capable de lire les instructions, naviguer sur les pages, cliquer sur les boutons, remplir les champs et produire les réponses. Ces agents, comme certains systèmes propriétaires ou solutions open source, fonctionnent avec peu ou pas de supervision humaine. Ils peuvent même adopter des stratégies de dissimulation, imitant des styles d’écriture différents, ce qui rend leur détection encore plus difficile. La délégation totale rompt le lien essentiel entre le protocole et la cognition humaine : les chercheurs analysent alors des comportements purement artificiels, mais sans le savoir.

La troisième est le débordement comportemental, ou spillover. Même en l’absence d’utilisation directe de modèles, les participants peuvent modifier leur comportement parce qu’ils soupçonnent leur présence. Ainsi, ils peuvent introduire volontairement des fautes de frappe pour se démarquer d’une écriture trop parfaite, ou au contraire réduire leurs efforts en estimant que d’autres trichent avec l’aide de machines. Certains peuvent hésiter à donner des réponses sincères, par crainte d’être observés par un système automatisé. Cette anticipation crée des effets secondaires qui biaisent également les résultats, même sans intervention technique d’un modèle de langage.

Les menaces pour la validité scientifique

Les trois variantes décrites créent des menaces multiples. La médiation partielle brouille la frontière entre humain et machine, tout en introduisant des biais systématiques. La délégation totale supprime toute base humaine à la recherche. Le débordement comportemental engendre des distorsions sociales et psychologiques, impossibles à corriger a posteriori.

Ces phénomènes compromettent à la fois la validité interne des expériences (la capacité à isoler des effets causaux précis) et leur validité externe (la possibilité de généraliser les résultats). Plus largement, ils posent un risque épistémologique : la recherche comportementale en ligne pourrait perdre son objet, c’est-à-dire la compréhension des mécanismes humains, au profit d’un mélange non identifié d’humain et de machine.

Étude de cas et premières mesures de détection

Un cas pratique présenté par les auteurs illustre l’ampleur du problème. Dans une étude pilote, 45 % des participants avaient copié ou collé du texte, suggérant un recours massif aux modèles. Même après l’introduction de protections comme des tests de type reCAPTCHA, des questions pièges invisibles, ou la désactivation du copier-coller, des réponses générées par des modèles continuaient d’apparaître, parfois de manière indétectable par les mécanismes mis en place. L’expérience montre que les mesures existantes ne suffisent pas et que l’arsenal technique doit être diversifié et renforcé.

Stratégies de mitigation : une approche à plusieurs niveaux

Les auteurs soulignent que la lutte contre cette pollution s’apparente déjà à une course aux armements : à chaque nouvelle méthode de détection, correspondent des stratégies d’évitement plus sophistiquées. L’objectif réaliste n’est pas d’éliminer complètement les réponses générées, mais d’en réduire la faisabilité et d’augmenter le coût pour les utilisateurs tentés d’y recourir.

Les mesures envisagées se répartissent sur plusieurs niveaux. Au niveau des chercheurs, il est recommandé de concevoir des protocoles qui rendent le recours aux modèles moins aisé. Cela peut passer par la présentation multimodale des instructions (par exemple en vidéo ou en images), par des restrictions techniques sur l’interface de réponse (blocage du copier-coller, enregistrement vocal), ou par l’introduction de tests spécifiques exploitant les faiblesses connues des modèles, tels que des illusions visuelles ou des scénarios nécessitant une véritable théorie de l’esprit. Ces dispositifs visent à compliquer l’automatisation.

D’autres stratégies relèvent de la détection a posteriori. Il s’agit d’intégrer des questions pièges invisibles, de surveiller les comportements de frappe, de mouvements de souris ou de changements d’onglets, ou encore d’utiliser des détecteurs commerciaux de texte généré. Toutefois, chacun de ces outils présente des limites, que ce soit en termes de précision, de transparence ou de contournement possible par des systèmes de plus en plus performants.

La gestion du débordement comportemental est plus délicate, car elle implique la psychologie des participants. Rappeler explicitement qu’il est interdit d’utiliser des modèles peut décourager certains, mais renforcer la suspicion chez d’autres. Trop insister sur la présence de contrôles peut paradoxalement accentuer les comportements de signalement ou de dissimulation. Pour réduire ces effets pervers, il est nécessaire d’établir des normes partagées de participation équitable et d’authenticité, en réaffirmant la valeur de la contribution humaine.

Enfin, des actions doivent être portées au niveau des plateformes elles-mêmes, qui doivent assumer une responsabilité accrue dans l’intégrité des données. Cela inclut la clarification des conditions d’utilisation, la mise en place de mécanismes de signalement et de remboursement, et le déploiement de protections techniques standardisées. À une échelle plus large, la communauté scientifique doit élaborer des standards communs, partager les meilleures pratiques et, lorsque nécessaire, réinvestir dans des environnements physiques ou supervisés, là où la fiabilité des données est cruciale.

Perspectives et conclusion

Les auteurs insistent sur le fait que la pollution par les modèles n’est pas toujours le fruit d’une intention malveillante. Souvent, les participants cherchent simplement à améliorer leur compréhension des instructions, à gagner du temps ou à s’exprimer plus clairement. Mais même ces usages apparemment bénins introduisent des distorsions invisibles qui affectent la recherche.

La question de savoir ce qui constitue une « pollution » se complexifie : à mesure que l’usage des modèles s’intègre dans la vie quotidienne, il deviendra difficile de considérer ces comportements comme des anomalies. La recherche devra peut-être adapter ses cadres théoriques à un monde où cognition humaine et outils intelligents s’entremêlent en permanence.

À court terme, la priorité reste la préservation de la validité des méthodes actuelles, par des mesures de prévention et de détection adaptées. À long terme, il faudra redéfinir ce que signifie étudier le comportement humain dans un contexte où ce comportement est lui-même façonné par des intelligences artificielles.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence Artificielle