La société W LLC commercialise un « AI Content Detector » auprès des consommateurs qui cherchent à déterminer si un contenu en ligne a été élaboré à l’aide d’une technologie d’intelligence artificielle générative, telle que ChatGPT, ou s’il a été rédigé par un être humain. L’entreprise affirme que l’AI Content Detector a été développé à partir d’un large éventail de documents, notamment des articles de blog et des entrées de Wikipédia, afin de le rendre plus précis pour l’utilisateur moyen (marketing p.ex.). La Federal Trade Commission US (FTC), dans un projet de plainte, affirme cependant que le modèle d’IA qui alimente l’AI Content Detector n’a été formé ou affiné que pour classer efficacement des contenus académiques. La FTC a donc publié un projet de plainte demandant à W LLC de cesser de faire de la publicité sur la précision de ses produits de détection par intelligence artificielle (IA), à moins qu’elle ne présente des preuves compétentes et fiables montrant que ces produits sont aussi précis qu’ils le prétendent.

Résumé du document :

Le document est donc un projet de  plainte déposée par la FTC à l’encontre de la société W LLC, anciennement connue sous le nom de C AI. Cette entreprise, établie en A, commercialise des outils d’intelligence artificielle destinés à détecter si un texte ou une image a été généré par une IA. L’outil principal mis en cause est le « AI Content Detector », présenté comme capable d’identifier avec une précision de 98,3 % si un texte a été produit par des modèles d’IA comme ChatGPT, GPT-4, Bard ou Claude. Ce service est proposé en ligne, gratuitement dans une version limitée, ou par abonnement mensuel payant à XX dollars.

Selon la FTC, ces allégations sont trompeuses. W n’a pas développé elle-même le modèle d’intelligence artificielle utilisé dans son détecteur. Elle s’est contentée d’utiliser un modèle open source appelé « RoBERTa-academic-detector », mis au point par des étudiants norvégiens dans le cadre d’un travail universitaire. Ce modèle a été entraîné exclusivement sur des résumés d’articles scientifiques, ce qui le rend inadapté à la détection de textes de nature marketing ou rédactionnelle, qui constituent pourtant l’usage principal promu par W LLC auprès de ses clients.

En outre, l’entreprise n’a réalisé aucun test indépendant pour vérifier la précision de son détecteur dans les conditions réelles d’utilisation. Elle s’est appuyée uniquement sur les résultats publiés par les développeurs du modèle, alors qu’en pratique ses résultats montreraient une précision bien inférieure à celle annoncée : environ 74,5 % dans les meilleurs cas, et seulement 53,2 % pour la détection de contenu IA dans des textes non académiques. Cela signifie que dans les situations concrètes rencontrées par les utilisateurs de W, le taux de réussite du détecteur est à peine supérieur à un tirage par pile ou face. Malgré cela, W a affirmé de façon répétée, sur ses sites Web, ses vidéos YouTube et ses publicités Google, que son détecteur atteignait une précision de 98,3 % et qu’il était « l’un des plus fiables du marché ».

La société est également accusée d’avoir élargi sans fondement le champ d’action de son détecteur, en prétendant qu’il permettait d’identifier des textes générés non seulement par ChatGPT, mais aussi par Bard, Claude et GPT-4, alors que le modèle n’a été entraîné qu’avec du contenu produit par ChatGPT. Elle a en outre affirmé que son détecteur avait été entraîné sur une grande variété de contenus, comme des blogs, des articles de Wikipedia ou des essais, alors que ce n’est pas le cas. Toutes ces déclarations ont été utilisées pour inciter les consommateurs à payer un abonnement ou à recourir à ses services, sans que les performances vantées ne soient vérifiées ni vérifiables.

La FTC considère donc que ces pratiques constituent des actes de nature trompeuse, en violation de la section 5(a) du FTC Act, qui interdit les pratiques déloyales ou trompeuses dans le commerce. Le projet de plainte vise à ouvrir à terme une procédure formelle à l’encontre de W LLC, dans l’intérêt du public.

Pour un avocat suisse, cette affaire met en lumière les risques juridiques auxquels s’exposent les entreprises qui commercialisent des produits reposant sur des algorithmes, en particulier lorsqu’elles prétendent à des niveaux de performance élevés qui ne correspondent pas à la réalité.

(Repéré par Luis Alberto Montezuma : https://www.linkedin.com/posts/luisalbertomontezuma_ftc-ugcPost-7322688332952399873-ASWN?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAX2b5oB2W8RFgEb7aoRz8wscswBHlxf0Mg avec un lien vers le projet de plainte)

Me Philippe Ehrenström, avocat LLM