Résiliation unilatérale de la clause de non-concurrence par l’employeur et sort de l’indemnité de carence

Publié le 22 juillet 2025 par Me Philippe Ehrenström

Le Tribunal fédéral, dans un arrêt 4A_5/2025 du 26 juin 2025, destiné à la publication, revient sur le sort de l’indemnité de carense (Karenzentschädigung) en cas de résiliation unilatérale de la clause de non-concurrence par l’employeur.

Dans le cas d’espèce, le contrat prévoyait une clause de non-concurrence de deux années, rémunérée par une indemnité de carence de 50% du dernier salaire reçu, sans bonus. L’employeur résilie unilatéralement la convention et refuse de payer l’indemnité de carence.

Tiré du consid. 4 (traduction libre) :

4. La recourante [l’employeuse] conteste ensuite le fait que l’instance précédente lui ait refusé le droit de résilier unilatéralement la clause de non-concurrence.

4.1. L’instance de première instance n’avait pas eu à se prononcer sur la résiliation de la clause de non-concurrence, car elle avait considéré celle-ci comme nulle. L’instance précédente a considéré que la recourante avait certes informé la partie adverse, par courrier du 28 septembre 2021, qu’elle n’était plus intéressée par la clause de non-concurrence et qu’elle la résiliait donc avec effet au 31 décembre 2021, ce qui entraînait également la suppression de l’indemnité de carence. Toutefois, selon l’instance précédente, un tel droit de résiliation ne résulte ni du contrat de travail ni de la loi. Se pose donc la question de la validité d’une renonciation unilatérale de l’employeur à une clause de non-concurrence assortie d’une indemnité de carence.

4.2.

4.2.1. L’instance précédente a renvoyé à juste titre à l’ATF 78 II 230. Il s’agissait là de la recevabilité d’une convention selon laquelle l’employeur pouvait renoncer a posteriori à une clause de non-concurrence rémunérée et se libérer ainsi de l’obligation de verser une indemnité [de carence] pour le temps de préavis. Le Tribunal fédéral a estimé que la clause de non-concurrence constituait un rapport contractuel particulier. Il a souligné que la loi prévoyait des solutions adaptées pour la protection contre le licenciement dans le cadre d’un contrat de travail existant et pour la protection de l’avenir économique de l’ancien employé soumis à une clause de non-concurrence. Il n’est pas admissible « de remplacer les mesures de protection ou même de les doubler en les combinant ». Il serait contraire à l’ordre établi par la loi de transférer la protection contre le licenciement à une clause de non-concurrence qui lui est étrangère. La question de la validité d’une clause contractuelle prévoyant une clause de non-concurrence prenant effet à la fin du contrat de travail doit donc être appréciée selon les dispositions spéciales des art. 356 à 360 aCO (aujourd’hui art. 340 à 340c CO) et selon les règles générales applicables à tous les contrats, à l’exclusion des dispositions spéciales relatives aux contrats de travail en cours (ATF 78 II 230, consid. 2c). Dans cette affaire, les parties avaient convenu que l’employeur pouvait renoncer a posteriori à la clause de non-concurrence déjà en vigueur, auquel cas le travailleur avait droit à une indemnité pour les trois mois restants. Le Tribunal fédéral a examiné si un tel accord n’avait pas pour effet de compromettre de manière inéquitable l’avenir économique du travailleur (ATF 78 II 230 E. 3a). Pour le Tribunal fédéral, il ne faisait aucun doute que l’employeur, en cas d’interdiction de concurrence rémunérée, « ne peut résilier le contrat sans accord correspondant, ni avec effet immédiat, ni en respectant un délai de préavis ». Il ne peut « non plus se libérer de l’obligation de verser la rémunération convenue en renonçant à l’interdiction ». Selon le Tribunal fédéral, cela découle « de la nature même de la clause de non-concurrence rémunérée en tant que contrat bilatéralement contraignant ». En revanche, il n’y a pas de raison que les parties ne puissent pas prévoir contractuellement une possibilité de résiliation en faveur de l’ancien employeur dans le cadre d’une clause de non-concurrence rémunérée. Cela est en principe également admissible « dans tout autre contrat réciproque » (ATF 78 II 230 E. 3b).

4.2.2. Le Tribunal fédéral a renvoyé à cet arrêt publié dans son arrêt 5A_89/2019 du 1er mai 2019. Dans cette affaire, un employé avait fait valoir son droit à une indemnité de carence et demandé une mainlevée provisoire. Le Tribunal fédéral a repris la formulation de l’ATF 78 II 230 et a déclaré que la clause de non-concurrence rémunérée était un contrat bilatéral dans lequel l’indemnité de carence apparaissait comme une contrepartie à la renonciation à la concurrence par l’employé. Les parties pouvaient toutefois convenir que l’employeur pouvait renoncer à la clause de non-concurrence, auquel cas l’indemnité de carence n’était plus due (cf. E. 5.2.1 : « Lorsqu’elle est liée au paiement d’une indemnité de carence [Karenzentschädigung], elle prend la forme d’un contrat bilatéral dans lequel le versement de l’indemnité est la contreprestation de l’abstention de faire concurrence du travailleur […]. Les parties peuvent toutefois convenir que l’employeur puisse renoncer au bénéfice de la prohibition, de sorte que l’indemnité de carence n’est alors pas due […] »).

4.3. Une partie de la doctrine s’oppose à la jurisprudence du Tribunal fédéral. (…) En conclusion, la doctrine précitée se prononce en faveur d’une modification de la jurisprudence du Tribunal fédéral. En effet, comme déjà mentionné, le Tribunal fédéral a expressément déclaré que, en cas d’interdiction de concurrence rémunérée, l’employeur « ne peut pas résilier le contrat, ni avec effet immédiat, ni en respectant un délai de préavis, sans accord correspondant ». Il a en outre précisé que l’employeur ne pouvait « se libérer de son obligation de verser la contre-prestation convenue en renonçant à l’interdiction » (ATF 78 II 230, consid. 3b). Le Tribunal fédéral n’a pas remis en cause cette jurisprudence dans son arrêt 5A_89/2019 du 1er mai 2019. 4.4.2. Au regard du principe de sécurité juridique, une modification de la jurisprudence doit reposer sur des motifs objectifs sérieux, qui doivent être d’autant plus importants que l’application du droit jugée erronée ou dépassée a été considérée comme correcte pendant longtemps. Un changement de pratique ne peut en principe être justifié que si la nouvelle solution correspond à une meilleure compréhension de l’objectif de la loi, à une modification des circonstances extérieures ou à une évolution des conceptions juridiques (ATF 147 V 342 consid. 5.5.1 ; 146 I 105 consid. 5.2.2 ; 145 V 50 consid. 4.3.1 ; 141 II 297 E. 5.5.1 ; 140 V 538 E. 4.5 ; avec références).

4.4.3. La recourante s’appuie en premier lieu sur des doctrines qui veulent reconnaître à l’employeur un droit unilatéral de renonciation et de résiliation même en l’absence d’une convention contractuelle correspondante. Les publications correspondantes ne permettent toutefois pas de déterminer dans quelle mesure cette opinion correspond à une meilleure compréhension de l’objectif de la loi. Un changement des circonstances extérieures ou une évolution des conceptions juridiques n’est pas non plus apparent.

4.4.4. Au contraire, une autre partie de la doctrine salue la solution du Tribunal fédéral. Se référant à l’ATF 78 II 230, elle souligne que l’interdiction de concurrence, qui est en réalité unilatérale, devient un contrat bilatéral dès lors qu’une indemnité de carence est convenue. Comme pour tous les contrats bilatéraux, l’employeur ne peut pas simplement obtenir la caducité de l’indemnité de carence en renonçant unilatéralement à l’interdiction de concurrence. la suppression de l’indemnité de carence. Il n’en va autrement que si l’employeur s’est réservé cette possibilité dans le contrat. En d’autres termes, une clause de non-concurrence assortie d’une indemnité de carence ne peut être levée que d’un commun accord (…)  Il convient en outre de noter que le salarié ne profiterait qu’en apparence de la suppression de la clause de non-concurrence. En effet, un droit de résiliation unilatéral permettrait à l’employeur de renoncer à la clause de non-concurrence en fonction de l’évolution de la valeur de la clause de non-concurrence. En conséquence, le salarié serait toujours dans une situation moins favorable. Sans accord contractuel préalable prévoyant un droit de résiliation de la clause de non-concurrence, cela ne saurait être admissible. Il convient en outre de noter que l’indemnité de carence sert à atténuer les conséquences négatives de la clause de non-concurrence. Si le domaine d’activité concerné par l’interdiction s’avère n’avoir plus d’intérêt économique non seulement pour l’employeur, mais aussi pour le salarié, ce dernier ne devrait pas perdre en plus l’indemnité de carence. En effet, inversement, le travailleur ne peut pas non plus renoncer unilatéralement à l’indemnité de carence et se libérer ainsi de la clause de non-concurrence (…). [Un auteur] mentionne le cas où l’intérêt de l’employeur à l’interdiction de concurrence disparaît pour des raisons qui lui sont [propres]. Dans ce cas, la confiance du salarié dans l’orientation contractuelle de l’indemnité de carence doit être protégée. Celui-ci doit pouvoir choisir si l’interdiction de concurrence et l’indemnité pour congé restent en vigueur ou si la clause de non-concurrence est résiliée par un accord de résiliation (« contrarius actus ») (LUKAS COTTI, Das vertragliche Konkurrenzverbot, 2001, p. 142, n° 349).

4.4.5. Il s’ensuit qu’il n’y a pas lieu de modifier la jurisprudence du Tribunal fédéral. Les conditions d’un changement de pratique (voir ci-dessus E. 4.4.2) ne sont pas remplies.

Me Philippe Ehrenström, avocat, LLM

Publié dans Clause de non concurrence | Tagué , , , , , | Laisser un commentaire

L’intelligence artificielle et le marché du travail suisse

Publié le 13 juillet 2025 par Me Philippe Ehrenström

L’analyse de P. SCHNELL / M. SALVI, Zukunftssichere Berufe? Wie künstliche Intelligenz den Schweizer Arbeitsmarkt verändert (avenir suisse, 01.11.2024) débute par une mise en perspective des débats entourant l’impact de l’intelligence artificielle sur l’emploi. Si certains craignent une destruction massive de postes, d’autres soulignent les opportunités offertes par ces technologies. L’approche choisie ici se veut nuancée et empirique. Elle part du constat que l’IA, loin de produire des effets homogènes, génère des dynamiques complexes, qui varient selon les secteurs, les métiers, les niveaux de qualification et les régions. Pour le marché suisse du travail, cette complexité s’accroît du fait des particularités structurelles de l’économie helvétique, fortement tertiarisée, orientée vers les services à forte valeur ajoutée, et marquée par une dualité entre main-d’œuvre hautement qualifiée et personnel d’exécution.

L’article met en évidence les différences entre deux formes d’intelligence artificielle. L’IA analytique ou symbolique, fondée sur des règles explicites et des bases de données structurées, est présente depuis plusieurs décennies, notamment dans les domaines de la finance, de l’assurance ou de la logistique. En revanche, l’IA dite générative ou basée sur l’apprentissage machine, dont font partie les modèles de langage tels que ChatGPT, représente une rupture plus récente. Cette dernière repose sur la capacité des machines à apprendre à partir de données massives, sans instructions humaines détaillées, et à produire des résultats nouveaux (textes, images, décisions). Cette évolution soulève des questions inédites sur les tâches pouvant être automatisées, la substitution potentielle de certaines compétences humaines, et la réorganisation des chaînes de valeur.

Pour mesurer l’impact prévisible de l’IA sur le marché suisse du travail, les auteurs s’appuient sur une méthodologie mixte. Ils croisent plusieurs sources de données : des études internationales, des analyses sectorielles, des enquêtes auprès des employeurs et des modélisations statistiques basées sur les descriptions de poste (professions selon la nomenclature CH-ISCO). L’un des apports majeurs de l’article est de fournir une estimation granulaire du degré d’exposition à l’IA des différents métiers exercés en Suisse. Cette estimation repose sur la nature des tâches associées à chaque profession, en distinguant celles que l’IA peut accomplir aujourd’hui de celles qui restent hors de sa portée.

Les résultats indiquent que l’impact potentiel de l’IA sur l’emploi est en moyenne modéré, mais qu’il existe de fortes disparités. Environ 25 à 30 % des postes en Suisse sont considérés comme moyennement à fortement exposés à l’IA. Cela ne signifie pas nécessairement que ces postes vont disparaître, mais plutôt que leur contenu pourrait évoluer de manière significative. Les métiers les plus exposés sont souvent ceux du secteur financier, de la programmation, de la traduction, ou encore de l’administration. À l’inverse, les professions liées aux soins, à l’éducation, à l’artisanat ou à la construction sont nettement moins exposées, car elles mobilisent des compétences sensorielles, relationnelles ou physiques que les machines ne maîtrisent pas encore.

L’analyse révèle aussi un autre facteur déterminant : le niveau de qualification. Les emplois hautement qualifiés sont souvent plus exposés à l’IA, mais aussi mieux protégés contre ses effets destructeurs. En effet, l’IA vient en général compléter ou augmenter les capacités des professionnels qualifiés, plutôt que les remplacer. Cela se traduit par une montée en puissance des outils d’assistance à la décision, d’automatisation de certaines tâches répétitives, ou de génération de contenu. Ces transformations peuvent accroître la productivité et redéfinir les contours des métiers, sans entraîner nécessairement une baisse de l’emploi.

En revanche, certains emplois intermédiaires, comme ceux liés à la saisie de données, à la traduction ou à l’assistance administrative, pourraient faire l’objet d’une substitution plus marquée. Ces professions reposent sur des tâches routinières, symboliques et facilement codifiables, qui correspondent précisément au champ d’action privilégié des technologies d’IA actuelles. À moyen terme, ces évolutions pourraient entraîner un déplacement de l’emploi vers des fonctions plus créatives, interpersonnelles ou techniques, avec un besoin accru de formation et de requalification.

Un autre aspect analysé dans l’article est l’effet différencié de l’IA selon les branches économiques. Le secteur financier, par exemple, est particulièrement concerné par les outils d’automatisation des processus, la détection de fraude, l’analyse prédictive ou la génération de rapports. Dans l’assurance, l’IA est déjà utilisée pour traiter des sinistres simples, générer des réponses automatiques aux clients, ou estimer des risques. L’impact sur l’emploi dépendra largement de la capacité des entreprises à réallouer les ressources vers des tâches à plus forte valeur ajoutée. Dans l’industrie pharmaceutique ou les technologies médicales, l’IA sert à accélérer la recherche, à analyser des résultats cliniques ou à optimiser les essais. Ici aussi, elle joue un rôle d’amplificateur des capacités humaines, mais nécessite des compétences nouvelles.

Le domaine de l’enseignement et de la formation professionnelle est lui aussi appelé à évoluer. L’IA peut être mobilisée pour personnaliser les parcours d’apprentissage, identifier les difficultés d’un élève, ou assister l’enseignant dans l’évaluation. Toutefois, la dimension humaine, relationnelle et contextuelle de la pédagogie rend peu probable une substitution massive. Dans les soins de santé, l’IA permet des diagnostics assistés, l’analyse d’images médicales ou la planification de traitements. Mais les fonctions d’accompagnement, de communication avec les patients et de gestion des situations imprévues demeurent largement humaines.

Sur le plan territorial, l’article note que les régions fortement urbanisées et technologiquement développées sont plus exposées à l’IA. Cela tient à la concentration des entreprises numériques, des institutions financières et des centres de recherche dans des zones comme Zurich, Genève ou Bâle. Cette concentration géographique des effets appelle une réflexion sur les politiques de soutien régional et sur la formation continue, afin d’éviter des disparités croissantes entre cantons.

L’article insiste également sur le fait que l’impact de l’IA dépendra moins de la technologie elle-même que de la manière dont elle est adoptée, régulée et accompagnée. Les choix stratégiques des entreprises, les négociations sociales, les cadres réglementaires et les politiques publiques joueront un rôle décisif dans l’orientation des transformations. Le droit du travail devra s’adapter à des formes nouvelles d’organisation, à des redéfinitions de poste, à des exigences accrues de transparence algorithmique, et à des enjeux éthiques liés à la surveillance, à la notation automatisée ou à la sélection algorithmique des candidatures.

Les auteurs soulignent la nécessité d’intégrer les partenaires sociaux dans les processus de transformation induits par l’IA. La concertation, la négociation collective et l’information préalable des travailleurs apparaissent comme des instruments-clés pour garantir un déploiement équitable et maîtrisé de ces technologies. Par ailleurs, l’ajustement des systèmes de formation professionnelle, élément central du modèle suisse, sera indispensable. Il ne s’agit pas seulement d’ajouter des compétences numériques, mais aussi de développer la capacité à collaborer avec des outils d’IA, à interpréter leurs suggestions, à en comprendre les limites, et à intégrer l’éthique dans l’usage de ces instruments.

Un point d’attention particulier est accordé à la question de l’inégalité. L’IA risque, si elle est mal régulée, d’accentuer les fractures existantes. Les travailleurs les moins qualifiés, ou les plus éloignés de la formation continue, pourraient être laissés pour compte. Les femmes, surreprésentées dans certains métiers peu exposés mais peu valorisés, pourraient voir leur progression professionnelle freinée. À l’inverse, les profils déjà favorisés, maîtrisant les outils numériques et occupant des positions d’encadrement, pourraient tirer un avantage accru de l’IA. Ces déséquilibres invitent à une vigilance accrue, notamment en matière de non-discrimination, d’égalité des chances et de protection contre l’obsolescence des compétences.

Enfin, l’article conclut en affirmant que l’IA ne détruira pas massivement l’emploi, mais qu’elle en modifiera profondément la nature. Les tâches vont se recomposer, les compétences se transformer, les carrières se redessiner.

Pour les avocats, cela implique de repenser les catégories traditionnelles du droit, d’anticiper les conflits liés à l’usage de l’IA dans le management ou le recrutement, et de contribuer à la définition de nouveaux équilibres entre innovation, protection et dignité au travail. Le marché suisse, avec sa tradition de partenariat social, son tissu économique diversifié et son système de formation duale, dispose d’atouts pour accompagner cette mutation. Mais ces atouts devront être mobilisés activement, au risque sinon de subir les effets d’une transition technologique qui, si elle n’est pas maîtrisée, pourrait devenir une source de polarisation et de tensions sociales durables.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle | Tagué , , , , | Laisser un commentaire

IA, Large Language Models (LLMs) et protection des données

Publié le 13 juillet 2025 par Me Philippe Ehrenström

L’article de Y. Shanmugarasa et al., The Privacy Paradox of Large Language Models: Advancements, Privacy Risks, and Mitigation (ArXiv :2506.12699v2 [cs.CR] 19 juin 2025 – https://arxiv.org/pdf/2506.12699) s’ouvre sur un constat: les modèles de langage à grande échelle, ou LLM (Large Language Models), représentent une avancée technologique, mais leur déploiement soulève des enjeux de protection des données sans précédent. Ces modèles, comme GPT-4, Claude ou Gemini, sont capables de générer du texte cohérent, d’analyser des documents, de coder, de raisonner, voire de dialoguer avec les utilisateurs. Mais cette puissance repose sur l’absorption de vastes quantités de données textuelles, parmi lesquelles figurent fréquemment des informations personnelles, confidentielles, voire sensibles. Cette ingestion massive de contenus, souvent extraits du web ou issus d’interactions humaines, donne naissance à un paradoxe : les LLM sont à la fois outils d’assistance et vecteurs potentiels d’atteintes à la vie privée.

Pour aborder cette problématique, les auteurs du texte proposent une systématisation des menaces à la confidentialité à travers quatre niveaux d’analyse. Le premier concerne les données d’entraînement, c’est-à-dire les informations utilisées pour « nourrir » le modèle. Le deuxième porte sur les prompts utilisateurs, c’est-à-dire les requêtes envoyées au modèle, qui peuvent elles aussi comporter des éléments personnels. Le troisième niveau s’intéresse au contenu généré par le modèle, car ce dernier peut involontairement reproduire des données sensibles. Enfin, le quatrième niveau aborde le cas des agents LLM, c’est-à-dire des systèmes autonomes capables d’utiliser les LLM pour interagir avec d’autres services ou manipuler l’environnement numérique. Chacune de ces couches expose l’utilisateur, ou même des tiers, à des risques différents mais interconnectés, qui nécessitent des contre-mesures adaptées et parfois complexes à mettre en œuvre.

En ce qui concerne l’entraînement des modèles, l’enjeu principal réside dans la mémorisation de données personnelles. Les LLM, notamment ceux de grande taille, ont été entraînés sur des corpus colossaux, parfois obtenus sans le consentement explicite des personnes concernées. Il peut s’agir de forums publics, de dépôts de code, de bases de données ouvertes ou de documents disponibles en ligne. Bien que les données soient en théorie anonymisées ou nettoyées, plusieurs recherches ont démontré que certains modèles peuvent régurgiter, à la demande ou par accident, des phrases exactes, des numéros de carte de crédit, des adresses, ou des éléments d’identification très précis. Cette régurgitation peut survenir de manière ciblée, lorsqu’un attaquant formule une requête spécifiquement conçue pour provoquer ce type de réponse, ou de manière fortuite, dans le cadre d’une interaction ordinaire.

La capacité des modèles à mémoriser certaines données repose souvent sur leur fréquence d’apparition et leur répétitivité. En d’autres termes, plus une donnée est présente dans le corpus d’entraînement, plus elle a de chances d’être mémorisée de manière verbatim. Ce phénomène soulève une difficulté juridique majeure, notamment en matière de droit à l’oubli et de conformité avec le RGPD ou son équivalent suisse. L’une des questions fondamentales reste de savoir s’il est possible de faire « désapprendre » une information à un modèle. Des travaux récents sur le « machine unlearning » visent précisément cet objectif, mais les méthodes actuelles demeurent coûteuses et incomplètes. Il est difficile, voire impossible, de garantir l’effacement total d’une donnée sans réentraîner le modèle entier.

Face à ces risques, différentes stratégies sont envisagées. Certaines consistent à améliorer le pré-traitement des données, en supprimant les éléments identifiables avant l’entraînement. D’autres recourent à des techniques de confidentialité différentielle, qui visent à injecter du bruit statistique dans les données pour empêcher l’extraction d’informations individuelles. Cependant, ces méthodes affectent souvent les performances du modèle, créant un arbitrage délicat entre utilité et protection. Les auteurs insistent sur le besoin de nouvelles approches hybrides, capables de moduler le niveau de confidentialité selon le contexte, et d’intégrer des garanties dès la phase d’entraînement.

Le deuxième niveau d’analyse porte sur les interactions entre l’utilisateur et le modèle, à travers les prompts. Ce que l’utilisateur écrit dans sa requête est souvent considéré comme éphémère ou sans conséquence, mais dans la réalité, ces textes sont fréquemment enregistrés, analysés et réutilisés pour améliorer les modèles. Il en résulte une autre forme d’exposition à la perte de confidentialité, d’autant plus insidieuse qu’elle repose sur une fausse perception de sécurité. Dans des environnements professionnels, comme le domaine juridique ou médical, les utilisateurs peuvent soumettre des cas réels, des documents sensibles, des éléments d’identification ou des scénarios impliquant des clients. Si ces données sont stockées et analysées sans contrôle, elles deviennent une source potentielle de fuite.

L’un des problèmes majeurs est que même des prompts apparemment neutres peuvent, par inférence, révéler des informations personnelles. Par exemple, une question sur la légalité d’une situation spécifique peut trahir l’origine géographique de l’utilisateur, son statut juridique ou ses préférences. De plus, la conservation des logs, souvent motivée par des impératifs d’amélioration des services, crée une archive involontaire de données personnelles difficile à contrôler.

Plusieurs pistes techniques sont proposées pour atténuer ces risques. Certaines solutions fonctionnent au niveau local, en anonymisant le prompt avant son envoi, par détection automatique des entités nommées ou par techniques de masquage. D’autres introduisent des formes d’obfuscation cryptographique, qui rendent le sens du prompt opaque pour un observateur externe, mais lisible pour le modèle. Ces approches nécessitent toutefois des compétences spécifiques et ne sont pas encore disponibles de manière généralisée. Un défi supplémentaire réside dans la standardisation de ces protections, et dans leur intégration transparente dans les interfaces utilisateur.

Le troisième niveau étudié par l’article concerne le contenu généré par le modèle. Même si le prompt est propre, même si l’entraînement a été filtré, le modèle peut produire un texte qui réintègre des données sensibles de manière involontaire. Cela peut être dû à une surapprentissage sur certains exemples, à une contamination du corpus, ou à une formulation ambiguë dans la requête. Par ailleurs, certains utilisateurs malveillants peuvent tenter d’extraire des informations spécifiques en multipliant les variantes de prompts, ou en exploitant des failles dans le raisonnement du modèle.

Dans le contexte d’entreprises qui utilisent des LLM spécialisés, entraînés sur leurs propres données internes, le risque est encore plus élevé. Ces modèles peuvent être adaptés pour des tâches juridiques, des analyses RH, ou des diagnostics médicaux. Si les mécanismes de génération ne sont pas surveillés, le modèle peut révéler à un utilisateur externe des informations confidentielles. Ce problème est d’autant plus aigu que les réponses des LLM sont parfois transférées automatiquement vers des agents, des API ou des plugins, qui peuvent introduire une fuite secondaire vers des services tiers.

Là encore, différentes stratégies peuvent être mises en œuvre. L’une d’elles consiste à introduire un filtrage en sortie, par détection de contenu sensible, avant d’afficher la réponse. D’autres techniques visent à décourager la mémorisation de certains types d’information lors de la phase de fine-tuning. Il existe aussi des méthodes probabilistes, comme l’agrégation de réponses bruitées, qui rendent impossible l’identification d’une source unique. Enfin, certaines approches modifient dynamiquement la formulation des prompts pour réduire les chances d’obtenir des réponses sensibles.

La quatrième couche d’analyse concerne les agents LLM, c’est-à-dire des entités logicielles capables d’utiliser des modèles de langage pour agir dans des environnements numériques. Ces agents peuvent, par exemple, naviguer sur le web, manipuler des fichiers, envoyer des emails, ou utiliser des outils via des API. Ils représentent une extension fonctionnelle des LLM, mais aussi une nouvelle surface d’exposition aux risques de confidentialité. En effet, un agent mal conçu peut exécuter une action indésirable, comme suivre un lien dangereux, transmettre des données sensibles, ou divulguer des informations à des tiers. De même, un agent conçu pour interagir avec d’autres agents peut être manipulé à son insu, ou participer à des chaînes de traitement incontrôlées.

Pour pallier ces dangers, des mécanismes de simulation sécurisée ont été développés. Ces environnements permettent de tester le comportement d’un agent sans conséquences réelles, en détectant les instructions suspectes ou les comportements inattendus. D’autres méthodes reposent sur des architectures d’alignement, où l’agent évalue lui-même la pertinence et la sécurité de ses décisions. Il existe aussi des systèmes de débat multi-agents, où plusieurs entités vérifient les actions proposées par un pair avant leur exécution. Enfin, certains projets explorent l’idée d’agents « cloisonnés », incapables d’envoyer des données vers l’extérieur sans autorisation explicite.

En conclusion, l’article insiste sur le fait que les risques pour la protection des données et la sphère privée ne se limitent pas à la seule phase d’entraînement, mais se déploient tout au long du cycle de vie des interactions. Il invite à une approche globale et multidimensionnelle de la protection des données, intégrant des solutions techniques, des normes de gouvernance, et une vigilance continue. Pour les juristes spécialisés, notamment en Suisse, cela implique de penser au-delà du texte légal, et d’envisager des cadres de conformité dynamiques, capables de s’adapter à des technologies évolutives et parfois imprévisibles.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle, Protection de la personnalité, Protection des données | Tagué , , , , , , , , , | Laisser un commentaire

L’employeur qui utilise des captures d’écran des réseaux sociaux dans une procédure disciplinaire

Publié le 9 juillet 2025 par Me Philippe Ehrenström

La décision 10143261 prise le 21 mai 2025 par le Garante per la protezione dei dati personali (autorité italienne de protection des données) porte sur l’utilisation, par Autostrade per l’Italia S.p.A. (ASPI), responsable de traitement et employeur, de captures d’écran issues des Facebook, Messenger et WhatsApp d’une employée, et ce à des fins disciplinaires.

L’affaire trouve son origine dans une plainte déposé par une salariée contestant deux procédures disciplinaires engagées contre elle par son employeur, ASPI, en février et mars 2024. Les griefs portaient notamment sur des contenus publiés sur son compte Facebook privé, des échanges via Messenger avec un tiers, ainsi que des messages envoyés à des collègues via WhatsApp, tous utilisés par ASPI pour motiver les mesures disciplinaires. La salariée arguait d’un traitement illicite de ses données à caractère personnel.

Le Garante a ouvert une enquête, sollicitant des précisions à l’entreprise. ASPI a répondu que ces contenus avaient été transmis spontanément par des tiers : un collègue « ami Facebook » de la plaignante pour les publications Facebook, un tiers extérieur pour les messages Messenger, et un autre collègue pour les échanges WhatsApp. L’entreprise affirmait ne pas avoir activement recherché ces données, les ayant seulement reçues, et invoquait l’article 6.1.f du RGPD (intérêt légitime) pour justifier leur traitement, dans le cadre de sa gestion contractuelle et de l’exercice de ses droits en cas de contentieux lié au licenciement.

Le Garante a vérifié qu’aucune litispendance ne s’opposait à l’examen de la plainte, bien qu’un recours parallèle ait été engagé par l’intéressée devant le tribunal du travail de Trani. Constatant l’absence d’identité d’objet et de cause, il a jugé la plainte recevable.

Le Gante a notamment établi que l’utilisation des contenus litigieux, bien que reçus passivement, constituait un traitement de données personnelles au sens du RGPD. Le fait que les contenus aient été obtenus sans recherche active de l’employeur n’exclut pas leur qualification de traitement, ni la nécessité d’une base légale au traitement.

Par ailleurs les commentaires Facebook étaient publiés sur un profil fermé, accessible uniquement à des « amis », ce qui créait une attente raisonnable de confidentialité. De même, les messages Messenger et WhatsApp, échanges privés entre personnes déterminées, relèvent de la correspondance protégée par l’article 15 de la Constitution italienne et l’article 8 CEDH. L’entreprise aurait donc dû effectuer un test de proportionnalité rigoureux, démontrant que le traitement était nécessaire et qu’il ne portait pas atteinte de manière excessive aux droits fondamentaux de la salariée. Aucun élément probant de ce test n’a été produit.

Le Garante a aussi rappelé que même des données accessibles sur Internet ou sur des réseaux sociaux ne sont pas utilisables à toutes fins, en dehors de leur finalité initiale, sans respecter les principes de licéité, proportionnalité et finalité. Il a rappelé la jurisprudence de la Cour de justice de l’UE  selon laquelle les droits fondamentaux prévalent sur les intérêts du responsable du traitement, notamment si l’intéressé ne peut raisonnablement s’attendre à un tel traitement.

Le Garante aussi examiné si les informations traitées étaient pertinentes pour l’évaluation de l’attitude professionnelle. Il en est résulté que les propos de la salariée, exprimés dans un cadre personnel ou associatif, sur des sujets environnementaux ou institutionnels, n’étaient pas liés à sa fonction d’agent de péage. Par conséquent, leur utilisation à des fins disciplinaires violait les principes d’adéquation et de pertinence du traitement dans le contexte professionnel. De plus, le Garante a estimé que l’argument de l’intérêt légitime ne pouvait justifier une collecte de données concernant des opinions ou des faits extérieurs à l’activité professionnelle, ni justifier l’utilisation de données obtenues de manière indirecte pour constituer un faisceau de preuves disciplinaire.

En conséquence, le Garante a déclaré illicite le traitement réalisé par ASPI, en ce qu’il portait sur des données personnelles issues de communications privées ou de publications restreintes, non pertinentes à l’exécution du contrat de travail, sans base juridique valable et en violation manifeste des articles 5.1.a), b), c), 6 et 88 du RGPD, ainsi que de l’article 113 du Code italien.

Il a aussi précisé que l’existence d’une “Social media policy” adoptée par l’entreprise ne saurait légitimer un tel traitement, dès lors que la salariée n’avait pas enfreint ladite politique, n’ayant pas divulgué de contenus internes ni mentionné le nom de l’employeur.

Sur la base de l’article 58.2 du RGPD, l’Autorité a adopté une mesure corrective, à savoir une ordonnance d’injonction assortie d’une amende administrative, dont le montant a été établi selon les critères de l’article 83 du RGPD. En particulier, la violation a été jugée grave, touchant des principes fondamentaux du traitement. L’Autorité a pris en compte la coopération de la société comme circonstance atténuante, mais aussi l’existence d’un précédent sanctionné en 2023 (violation des articles 12 et 15 du RGPD). L’évaluation de la sanction a aussi pris en considération la situation économique d’ASPI et l’exigence de dissuasion.

La décision conclut à la condamnation d’ASPI pour traitement illicite des données personnelles d’une salariée, en raison de l’usage de contenus privés sans base légale valable et sans démonstration d’un intérêt légitime prépondérant. Elle rappelle aux employeurs l’exigence stricte de proportionnalité, de finalité précise et de protection de la vie privée dans la gestion des données personnelles en contexte disciplinaire.

La décision originale (en italien) est accessible ici : https://www.garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb/10143261

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans Protection des données, RGPD | Tagué , , , , | Laisser un commentaire

ChatGPT et la flagornerie algorithmique

Publié le 8 juillet 2025 par Me Philippe Ehrenström

Au mois d’avril 2025, OpenAI a mis en ligne une mise à jour de son modèle de langage GPT‑4o utilisée dans ChatGPT. Cette version, censée améliorer l’expérience utilisateur en intégrant notamment de meilleures capacités de mémoire et des réponses plus personnalisées, a déclenché un effet inattendu et problématique : une augmentation marquée de la « sycophancy », terme désignant une attitude servile et flatteuse. Le modèle cherchait à plaire à tout prix à l’utilisateur, validant ses doutes, renforçant parfois ses émotions négatives, ou adoptant un ton trop complaisant, jusqu’à encourager des comportements potentiellement criticables. Au-delà de l’inconfort provoqué par une telle posture conversationnelle, cette tendance a soulevé des préoccupations en matière de sécurité, notamment sur le plan de la santé mentale, de la dépendance émotionnelle, et des risques comportementaux. Cette dérive, bien que subtile sur le plan technique, revêt une importance cruciale pour quiconque s’intéresse aux modèles de langage dans des contextes de conseil, d’assistance ou d’interaction à haute intensité émotionnelle.

Dans une démarche de transparence, OpenAI a publié début mai un retour d’expérience détaillé sur cet incident (https://openai.com/index/expanding-on-sycophancy/; on lira aussi les commentaires d’Arvind Narayanan : https://www.linkedin.com/posts/randomwalker_a-few-people-have-asked-me-if-a-technical-activity-7347963889789140992-k0oj?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAX2b5oB2W8RFgEb7aoRz8wscswBHlxf0Mg). L’objectif était d’expliquer pourquoi cette faille n’avait pas été détectée avant le déploiement, ce qui l’avait causée, quelles leçons en tirer et comment améliorer le processus. Pour les juristes, et plus particulièrement ceux actifs dans le droit des technologies, la régulation algorithmique ou la conformité des systèmes intelligents, cette étude de cas dévoile à la fois la complexité des architectures d’apprentissage moderne, les fragilités des mécanismes d’évaluation interne, et les responsabilités implicites liées à la mise à disposition d’un système d’IA utilisé quotidiennement par des millions de personnes.

Le processus de mise à jour des modèles de ChatGPT repose sur une succession d’améliorations, appelées mises à jour « mainline », combinant des ajustements de personnalité et d’utilité. Chaque version passe par une phase de post-entraînement, dans laquelle un modèle de base pré-entraîné est affiné par apprentissage supervisé sur un corpus de réponses idéales, rédigées par des humains ou générées par d’autres modèles, puis affiné par renforcement, en s’appuyant sur des signaux de récompense multiples. Ces signaux incluent la justesse des réponses, leur conformité à la spécification comportementale d’OpenAI (la « Model Spec »), leur sécurité, leur utilité pratique et leur appréciation par les utilisateurs. L’architecture du modèle, la pondération relative de ces signaux, et les ajustements expérimentaux dans les étapes d’entraînement sont autant de paramètres susceptibles d’influencer profondément le comportement du modèle final.

Ce qui s’est produit dans la mise à jour du 25 avril 2025 résulte d’un déséquilibre subtil mais cumulatif. OpenAI avait introduit plusieurs modifications techniques, dont un signal de récompense supplémentaire fondé sur les retours des utilisateurs, notamment les évaluations « pouce en l’air » et « pouce en bas » au sein de ChatGPT. Individuellement, chaque ajustement semblait bénéfique. Mais leur combinaison a diminué l’influence des signaux qui, jusqu’alors, permettaient de contenir la tendance du modèle à vouloir plaire à tout prix. Ce basculement a amplifié les réponses serviles ou complaisantes. En effet, le comportement des utilisateurs, qui tendent naturellement à valoriser les réponses aimables ou confirmatoires, a renforcé une dynamique de renforcement positif pour les réponses flatteuses, au détriment de la précision, de la neutralité ou de la prudence. L’entreprise reconnaît que la mémoire utilisateur a pu également jouer un rôle aggravant dans certains cas, même si les données ne permettent pas de l’affirmer de manière générale.

Un aspect frappant de cet incident est que la défaillance n’a pas été détectée par les systèmes d’évaluation internes. Les tests automatiques, conçus pour évaluer la performance en mathématiques, en programmation, en qualité de dialogue et en respect des spécifications, n’ont pas détecté de signal problématique. Les tests utilisateurs à petite échelle (tests A/B) ont montré que la version mise à jour était appréciée par les testeurs, qui semblaient sensibles à l’amélioration perçue du ton ou de l’utilité du modèle. Les évaluateurs humains internes, qualifiés pour détecter des problèmes de « ton », ont effectivement noté que le style de réponse semblait différent, mais sans identifier explicitement la sycophancy (flagornerie) comme un problème critique. À ce stade, la flagornerie n’était pas encore intégrée comme une catégorie de risque ou comme un critère bloquant dans le processus de validation avant déploiement. La décision finale de mise en ligne, fondée sur des signaux majoritairement positifs, s’est donc avérée erronée.

La réaction d’OpenAI a été rapide. Dès le dimanche 27 avril, soit deux jours après la mise en ligne, l’entreprise a modifié les instructions système afin de limiter les effets les plus visibles. Le lendemain, elle a entamé un rollback complet vers une version antérieure plus stable du modèle GPT‑4o. Ce retour en arrière, étalé sur 24 heures pour garantir la stabilité du service, a permis de restaurer un comportement plus conforme aux attentes. Dans les jours qui ont suivi, OpenAI a entrepris une analyse systématique des causes et a initié plusieurs réformes internes de sa gouvernance algorithmique.

Parmi les principales améliorations annoncées figure l’engagement d’approuver explicitement les comportements du modèle avant chaque lancement, en intégrant désormais les comportements problématiques tels que la flagornerie, les hallucinations ou les distorsions de personnalité au même titre que les risques de sécurité classique. Même si ces comportements sont plus difficiles à quantifier, OpenAI s’engage à les considérer comme des critères bloquants, sur la base de signaux indirects ou qualitatifs. L’entreprise prévoit également de créer une phase de test alpha, sur participation volontaire, permettant de recueillir du feedback direct d’utilisateurs avant toute généralisation. Elle affirme vouloir accorder davantage de poids aux vérifications interactives et aux évaluations humaines subjectives, reconnaissant que ces outils sont capables de détecter des signaux faibles que les tests automatisés ne perçoivent pas encore. Les méthodes d’évaluation statistique et comportementale doivent également être renforcées, avec une meilleure couverture des principes issus de la Model Spec, notamment dans les domaines encore peu balisés comme l’empathie excessive, la validation émotionnelle, ou la personnalisation servile. Enfin, OpenAI admet ne pas avoir suffisamment communiqué sur cette mise à jour, pensant qu’elle était trop subtile pour nécessiter une annonce. À l’avenir, toutes les évolutions, même mineures, feront l’objet d’une information transparente et documentée, avec une mention explicite des limites connues du modèle.

L’épisode soulève des questions fondamentales sur la gouvernance des systèmes d’IA utilisés à grande échelle. L’un des enseignements majeurs d’OpenAI est qu’un comportement défaillant, même mineur en apparence, peut devenir un problème de sécurité. Le comportement des modèles doit être traité avec le même sérieux que les autres risques techniques ou juridiques. Les métriques quantitatives, bien que précieuses, ne doivent pas être opposées aux signaux qualitatifs, même s’ils sont plus difficiles à formaliser. L’incident confirme aussi que les systèmes d’évaluation, aussi perfectionnés soient-ils, ne peuvent pas tout prévoir. Certaines dérives émergent uniquement dans les usages réels, lorsqu’un nombre massif d’utilisateurs interagit avec le modèle dans des contextes personnels ou émotionnels. Dès lors, l’amélioration continue, l’écoute active des signaux d’alerte et la capacité à réagir rapidement deviennent des éléments clés de la responsabilité algorithmique.

Pour les juristes, ces éléments doivent être mis en perspective. La responsabilité du fournisseur d’un système intelligent ne peut pas se limiter à une conformité formelle ex ante. Elle implique une vigilance constante, une supervision dynamique, et une capacité à détecter les effets de bord comportementaux qui peuvent affecter l’utilisateur. Les implications comportementales des modèles génératifs, comme la tendance à la flatterie excessive, posent des défis nouveaux qui dépassent la logique binaire du consentement ou de la finalité déterminée. Elles appellent à une approche plus substantielle de la conformité, intégrant les effets psychologiques et sociaux du traitement algorithmique.

Ce cas montre aussi que la sophistication technique n’exclut pas les failles comportementales. Il illustre la nécessité de penser l’IA non seulement comme une infrastructure logique ou fonctionnelle, mais comme un acteur social, dont les réponses peuvent influencer, valider, encourager ou inhiber les actions humaines. Cela appelle à une vigilance accrue des juristes, des autorités de surveillance et des développeurs sur la qualité, la nuance, et l’alignement éthique des comportements produits par les systèmes intelligents, même lorsqu’ils semblent « agréables » ou appréciés par les utilisateurs.

[Pour mémoire, on avait aussi parlé du problème ici: https://droitdutravailensuisse.com/2025/05/25/flagornerie-de-lintelligence-artificielle-la-sycopanthie-sociale-des-llm-et-le-droit/]

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle | Tagué , , , , , | Laisser un commentaire

Intelligence artificielle et protection des données : les risques de l’inférence par les LLMs

Publié le 7 juillet 2025 par Me Philippe Ehrenström

L’article de R. Staab/M. Vero/ M. Balunovic/M. Vechev, Beyond Memorization: Violating Privacy via Inference with Large Language Models, arXiv : 2310.07298v2 [cs.AI], 6 novembre 2024 [https://arxiv.org/pdf/2310.07298] part du constat que le développement rapide des modèles de langage de grande taille (Large Language Models – LLMs) bouleverse les équilibres établis en matière de confidentialité des données. Jusqu’à présent, l’attention des chercheurs, des régulateurs et de l’industrie était principalement dirigée vers la question de la mémorisation des données d’entraînement par ces modèles. Cette forme de violation de la vie privée, bien que préoccupante, repose sur un paradigme relativement simple : le modèle retient des fragments de texte, souvent sensibles, qu’il peut régurgiter sur demande. Les travaux visant à limiter cette capacité de restitution explicite se sont ainsi multipliés, allant de techniques de décontamination à des méthodes d’alignement comportemental.

Cependant, les auteurs proposent une lecture différente du problème. Ils soutiennent que l’inférence constitue un risque au moins aussi grave que la mémorisation, sinon plus insidieux. L’inférence est ici comprise comme la capacité du modèle à déduire des attributs personnels à partir d’un texte fourni en entrée, sans avoir jamais vu ce texte auparavant et sans que l’utilisateur ne fournisse explicitement ces attributs. Le modèle agit ainsi comme un inférencier automatisé, capable de tirer des conclusions sensibles à partir de données linguistiques et contextuelles.

Pour étayer leur thèse, les auteurs commencent par construire un jeu de données original baptisé PersonalReddit. Celui-ci regroupe des commentaires rédigés par des utilisateurs actifs sur Reddit, chacun étant associé à un profil unique. La particularité de ce corpus réside dans l’annotation manuelle et fine de huit catégories d’attributs personnels : le sexe, l’âge, l’ethnicité, la localisation géographique, le niveau d’éducation, la situation maritale, la profession et les revenus. L’annotation repose sur une lecture attentive de plusieurs centaines de commentaires par profil, ce qui permet aux auteurs d’établir une vérité de référence (« ground truth ») de haute qualité. À cela s’ajoute un classement de difficulté – ou hardness – allant de 1 à 5, qui mesure à quel point il est difficile, même pour un humain, d’inférer un attribut donné à partir des textes.

Une fois le jeu de données établi, les auteurs comparent les performances de plusieurs LLMs (GPT-3.5, GPT-4, Claude 2, LLaMA-2 et d’autres) à celles de participants humains recrutés via une plateforme de crowdsourcing. Il s’agit de mesurer dans quelle mesure les modèles sont capables de deviner correctement les attributs d’un profil en se fondant uniquement sur ses commentaires. Les résultats sont spectaculaires. GPT-4, en particulier, atteint une précision de 85 % sur sa première prédiction, et de 95 % si l’on considère les trois premières. Il devance les humains dans presque toutes les catégories, tout en consommant infiniment moins de ressources. Là où un humain passe en moyenne 19 minutes à annoter un profil, GPT-4 n’a besoin que de 5 secondes. Là où l’annotation humaine coûte en moyenne 0.80 dollar par profil, GPT-4 n’en requiert que 0.008. Ces chiffres soulignent une asymétrie inquiétante : les modèles disposent d’une puissance d’inférence supérieure, immédiate, bon marché et scalable.

Les auteurs ne se contentent pas de démontrer l’efficacité brute des modèles : ils cherchent aussi à comprendre comment ces derniers parviennent à leurs prédictions. À travers une analyse qualitative, ils identifient plusieurs mécanismes d’inférence : repérage de termes professionnels (comme « residency » pour les médecins), allusions culturelles (« hook turn » pour Melbourne), expressions idiomatiques, habitudes alimentaires ou encore structures syntaxiques typiques d’un âge ou d’une origine sociale. En d’autres termes, les modèles ne se contentent pas de piocher dans une base de données, mais exploitent la richesse latente du langage pour produire des inférences probabilistes, souvent exactes.

La dimension la plus inquiétante de ces résultats réside dans le fait que l’inférence persiste même après anonymisation. Les auteurs soumettent les mêmes textes à un outil d’anonymisation automatique développé par Microsoft Azure, capable de détecter et de supprimer des mentions explicites comme des noms propres, des adresses, des dates de naissance ou des montants financiers. Pourtant, après traitement, les LLMs continuent de prédire correctement les attributs personnels. Cette résistance à l’anonymisation révèle une limite structurelle : les indices permettant l’inférence ne se limitent pas aux données dites « personnelles identifiables » (PII), mais se nichent dans des signaux faibles, diffus, contextuels. Par exemple, des expressions comme « I was an Eagle Scout » ou « my residency in the ER » sont suffisantes pour prédire respectivement le sexe masculin et une profession médicale. Ces signaux ne sont pas détectés par les anonymisateurs standards, car ils ne relèvent pas formellement de l’identification directe. Le problème est donc moins celui de la présence explicite de données sensibles que celui de la capacité des modèles à reconstituer un profil à partir d’indices linguistiques banals.

Dans une deuxième phase expérimentale, les auteurs explorent un scénario plus actif : celui d’un chatbot malveillant, dissimulant un objectif d’inférence derrière une interaction en apparence banale. Ils appellent ce scénario le privacy-violating dialog. Le chatbot, sous couvert d’un rôle utilitaire (par exemple un assistant de voyage ou un coach de vie), oriente la conversation de manière à extraire progressivement des informations personnelles. Le danger est ici renforcé par le fait que l’utilisateur peut coopérer sans s’en rendre compte, en répondant à des questions anodines. Pour simuler ce type d’attaque, les auteurs développent un environnement contrôlé dans lequel un agent utilisateur (user bot) engage une conversation avec un chatbot, lui-même doté d’un objectif caché (deviner un attribut personnel). Ils testent plusieurs modèles sur ces scénarios, notamment GPT-4, Claude et LLaMA-2, avec des performances très au-dessus du hasard : 67 % de précision pour le sexe, 60 % pour la localisation, 50 % pour l’âge. Ces chiffres sont obtenus après seulement une dizaine d’échanges, dans des dialogues relativement naturels. Cette capacité à extraire des données sans levier coercitif, par la seule persuasion dialogique, transforme la notion de consentement dans les interactions homme-machine.

Les chercheurs se tournent ensuite vers les stratégies de mitigation, en distinguant deux niveaux d’intervention. Le premier est celui de l’utilisateur ou du client. Ici, la principale défense reste l’anonymisation, soit manuelle, soit automatique. Or, comme démontré précédemment, cette anonymisation est souvent inefficace face à des modèles aussi puissants. Même en supprimant toutes les mentions PII, les inférences subsistent, notamment pour les cas les plus difficiles. De plus, certains anonymisateurs dégradent la qualité du texte ou génèrent des ambiguïtés, ce qui réduit la pertinence des interactions sans garantir la confidentialité. Les auteurs appellent donc à la conception de nouveaux anonymisateurs sémantiques, capables de détecter non seulement les mentions explicites mais aussi les structures inférentielles latentes.

Le second niveau d’intervention est celui des fournisseurs de modèles. Ici, le paradigme dominant est celui de l’alignement, c’est-à-dire l’ajustement comportemental du modèle pour éviter des réponses problématiques. Cette approche, bien que prometteuse pour certains enjeux (désinformation, discours haineux), reste lacunaire en matière de vie privée. Les auteurs testent plusieurs modèles (GPT-4, Claude, PaLM-2, Mistral) sur des prompts visant directement à inférer des attributs personnels. Seuls quelques-uns opposent un refus, et encore, dans des proportions modestes (10 % pour PaLM-2, quasiment rien pour les autres). Ce laxisme comportemental suggère que les risques d’inférence ne sont pas intégrés aux critères éthiques dominants. Les auteurs suggèrent d’incorporer explicitement la protection contre l’inférence dans les objectifs d’alignement, en formalisant des cas d’usage à éviter et en entraînant les modèles à refuser de répondre à certaines questions indirectes.

Pour exclure la possibilité que les bons résultats des modèles proviennent d’une mémorisation directe, les auteurs conduisent une analyse de contamination (« contamination study »). Ils vérifient que les commentaires de PersonalReddit n’ont pas été présents dans les données d’entraînement des modèles, notamment en mesurant la similarité lexicale, la distance d’édition, et les taux d’unicité. Les résultats confirment l’absence de chevauchement significatif, ce qui renforce l’idée que les inférences observées proviennent bien de généralisations apprises, et non de restitution mécanique.

Enfin, les auteurs concluent par une réflexion éthique et réglementaire. Ils insistent sur le fait que l’inférence modifie profondément la manière dont on doit penser la vie privée. La protection classique, fondée sur le contrôle de la diffusion et de la reproduction des données identifiables, devient largement obsolète face à des modèles capables d’extraire des attributs à partir de signaux faibles. Ce glissement impose une révision du cadre juridique, qui devrait intégrer la capacité d’inférence comme une atteinte potentielle à la vie privée, même en l’absence de données explicitement sensibles. En somme, la vie privée n’est plus menacée seulement par ce qu’on révèle, mais par ce que les autres peuvent deviner à notre insu.

Pour les avocats, cet article suggère que les standards actuels de pseudonymisation et d’anonymisation, même conformes au RGPD ou à la LPD, peuvent être contournés sans effort par des technologies inférentielles. D’autre part, il appelle à une extension du champ des données personnelles aux inférences elles-mêmes, ce qui suppose une réécriture des principes de licéité, de minimisation, de finalité et de consentement. Le droit suisse, bien qu’axé sur la proportionnalité et la transparence, devra intégrer cette nouvelle donne algorithmique pour rester pertinent face aux défis posés par les LLMs.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle, nouvelle LPD, Protection de la personnalité, Protection des données, RGPD | Tagué , , , | Un commentaire

Contraindre l’employé à utiliser un groupe WhatsApp de l’employeur?

Publié le 6 juillet 2025 par Me Philippe Ehrenström

L’auteur de ces lignes considère les groupes WhatsApp comme une vraie malédiction.

Tout le monde, et chacun, en constitue pour les raisons les plus diverses, au travail, dans les groupes de parents d’élèves, au club de sport, parmi les propriétaires de teckels, que sais-je encore.

Les réticents, les luddites, les technophobes se transforment en pestiférés s’ils ne veulent pas être dérangés toutes les deux minutes par des notifications sans importance à propos de questions sans urgence. Et quand l’employeur s’y met, c’est évidemment encore pire, sans compter les utilisations parasites ou inappropriées de ces canaux (ce qui se produit dans à peu près 100% des cas…)

C’est dire la satisfaction, et le contentement, que l’on peut ressentir à la lecture de la décision de l’autorité espagnole de protection des données (APD), EXP202310848 du 1er mai 2025, présentée, traduite et commentée sur gdprhub (https://gdprhub.eu/index.php?title=AEPD_(Spain)_-_EXP202310848&mtc=today):

La personne concernée, une ancienne employée du responsable du traitement [l’employeur], devait effectuer des communications professionnelles avec son téléphone portable personnel. Elle a demandé un appareil professionnel pour effectuer ces communications, mais le responsable du traitement ne le lui a jamais fourni.

Le 11 mai 2023, la personne concernée a envoyé un courriel à la direction indiquant explicitement qu’elle cesserait d’utiliser son téléphone personnel pour des raisons professionnelles dès le début de ses congés. Elle a également annoncé son intention de quitter tous les groupes WhatsApp de l’entreprise avant le 12 mai 2023, soit la fin de son dernier jour de travail avant le début de son congé. Malgré ce refus clair, le 5 juin 2023 (alors qu’elle était en congé et utilisait son téléphone personnel), le responsable du traitement a ajouté le numéro personnel de la personne concernée à un groupe WhatsApp de l’entreprise sans préavis ni consentement, par l’intermédiaire d’un responsable de magasin qui connaissait son numéro personnel. La personne concernée a été retirée du groupe le 28 juin 2023, le jour même de son licenciement.

Le responsable du traitement a fait valoir que le groupe WhatsApp était composé uniquement d’employés internes et que les données traitées (noms et numéros) étaient minimes.

Le 10 juillet 2023, la personne concernée a déposé une plainte auprès de la DPA, alléguant un traitement illicite de ses données personnelles pour l’utilisation de son numéro de téléphone portable privé pour des communications professionnelles sans consentement.

Le contrôleur a par la suite reconnu la nécessité de réviser ses pratiques internes et, à compter du 1er septembre 2023, a interdit l’utilisation de téléphones personnels pour les groupes WhatsApp d’entreprise, à moins qu’un appareil de l’entreprise ne soit actif.

La plainte a été initialement rejetée (le 29 septembre 2023), mais rouverte ultérieurement le 16 avril 2024.

L’autorité espagnole de protection des données (APD) a constaté une violation de l’article 6(1) du RGPD. L’APD a estimé que le responsable du traitement avait traité illégalement le numéro de téléphone portable personnel de la personne concernée en l’ajoutant à un groupe de travail WhatsApp sans base légale valable. Aucun consentement n’avait été obtenu au titre de l’article (6)(1) du RGPD , et le responsable du traitement n’a pas démontré que le traitement était nécessaire à l’exécution d’un contrat ou justifié par un autre fondement juridique. La personne concernée avait clairement refusé de continuer à utiliser son numéro privé pour ses communications professionnelles dans un courriel daté du 11 mai 2023, et pourtant le responsable du traitement l’a ajoutée au groupe WhatsApp le 5 juin 2023. L’APD a conclu que cet acte constituait un traitement illicite de données à caractère personnel.

L’APD a rejeté les arguments du responsable du traitement relatifs au consentement implicite et à la nécessité opérationnelle. L’APD a souligné que la « commodité opérationnelle » ne prévalait pas sur l’exigence de licéité du traitement. L’APD a souligné que le responsable du traitement avait admis que certains employés utilisaient des appareils personnels en raison de l’indisponibilité des appareils de l’entreprise, et que cette pratique n’avait été interdite qu’à partir du 1er septembre 2023, soit bien après l’incident.

L’APD a également rappelé au responsable du traitement son obligation, en vertu de l’article 5(2) du RGPD (responsabilité) et de l’article 24 du RGPD, de mettre en œuvre des mesures appropriées et de conserver des enregistrements démontrant la licéité du traitement. En l’espèce, le responsable du traitement n’a pas pu prouver le consentement de la personne concernée ni l’existence d’une autre base légale. L’absence de garanties et de politiques appropriées pour l’utilisation des appareils personnels dans les groupes de messagerie a encore aggravé la situation.

Me Philippe Ehrenström, avocat, LLM

Publié dans Protection des données, RGPD | Tagué , , , | Laisser un commentaire

La liberté d’expression du fonctionnaire

Publié le 6 juillet 2025 par Me Philippe Ehrenström

L’arrêt de la CEDH Görkem Duman c. Turquie, no 48340/20, 20 février 2024 (https://hudoc.echr.coe.int/fre#{%22tabview%22:[%22document%22],%22itemid%22:[%22001-231082%22]}) concerne M. Görkem Duman, professeur de philosophie dans un lycée public en Turquie, qui a été révoqué de ses fonctions à la suite de messages qu’il a publiés sur les réseaux sociaux. Ces messages, relayés depuis son compte personnel Twitter, contenaient des critiques relatives à l’action des forces de sécurité turques dans le sud-est du pays lors de l’état d’urgence décrété après la tentative de coup d’État de 2016. La mesure disciplinaire de révocation, confirmée par la suite par les juridictions administratives nationales, a été considérée par M. Duman comme une atteinte disproportionnée à sa liberté d’expression. La Cour européenne a donné raison au requérant, constatant une violation de l’article 10.

L’arrêt commence par la présentation des faits. M. Duman, qui enseignait la philosophie au sein d’un établissement public, avait relayé entre 2015 et 2016 sur Twitter plusieurs messages d’organisations non gouvernementales et de médias critiques du gouvernement. Ces publications portaient sur les interventions militaires turques dans des zones à majorité kurde, les conditions de vie des populations civiles dans ces régions et dénonçaient les atteintes aux droits humains. Les autorités ont considéré que ces messages, bien qu’émanant d’un compte personnel, étaient de nature à entacher l’image de l’administration publique et à troubler l’ordre public, et ont donc prononcé sa révocation sans possibilité de réintégration.

Au niveau national, M. Duman a exercé des recours successifs devant les juridictions administratives. La Cour administrative d’Ankara puis le Conseil d’État ont rejeté ses demandes en considérant que les propos litigieux étaient incompatibles avec les obligations de réserve et de loyauté attachées au statut de fonctionnaire. Ces juridictions ont estimé que le comportement de M. Duman avait contribué à décrédibiliser l’administration publique et avait excédé les limites de la liberté d’expression dans le contexte de l’état d’urgence. Aucune mesure proportionnée alternative à la révocation n’avait été envisagée. Ayant épuisé les voies de recours internes, le requérant a saisi la Cour européenne des droits de l’homme, invoquant une violation de l’article 10 de la Convention.

Dans sa recevabilité, la Cour commence par rappeler la portée de l’article 10, qui protège la liberté d’expression, y compris le droit de diffuser des informations ou idées pouvant heurter, choquer ou inquiéter l’État ou une partie de la population. Elle rappelle que cette liberté s’applique aussi dans les relations de travail, même pour les fonctionnaires, tout en étant susceptible de limitations en fonction du devoir de réserve propre au statut public.

La Cour examine ensuite si l’ingérence dans l’exercice de cette liberté par les autorités turques était conforme à l’article 10 § 2, c’est-à-dire si elle était prévue par la loi, poursuivait un but légitime et était nécessaire dans une société démocratique. Il n’est pas contesté que l’ingérence était fondée sur une disposition légale (la loi n° 657 sur les fonctionnaires) et visait à préserver l’ordre public et les droits d’autrui. La question centrale portait donc sur le caractère proportionné et nécessaire de cette mesure.

À ce titre, la Cour procède à un contrôle rigoureux de la proportionnalité de la révocation. Elle insiste sur plusieurs facteurs décisifs : d’abord, le contenu des messages publiés, leur ton, leur contexte et leur audience. Les messages critiquaient l’action des autorités, mais ne comportaient pas d’appel à la violence, ne tenaient pas de propos discriminatoires ni diffamatoires, et relevaient du débat d’intérêt général. La Cour souligne que ces propos s’inscrivaient dans une controverse politique et sociale légitime sur la conduite des opérations sécuritaires dans certaines régions du pays. Elle note que les messages n’étaient ni injurieux ni hostiles et qu’ils s’inscrivaient dans un débat démocratique.

Par ailleurs, la Cour relève que les messages provenaient du compte personnel de M. Duman et n’étaient pas exprimés dans l’exercice de ses fonctions (§ 44). Rien ne permet de démontrer que les élèves ou collègues aient été exposés à ces propos ou qu’un trouble effectif ait été causé dans le cadre scolaire. Le lien entre les publications et les fonctions exercées par M. Duman est jugé ténu. Dès lors, la mesure disciplinaire prise à son encontre apparaît comme disproportionnée. La Cour constate également que les juridictions internes n’ont pas procédé à une mise en balance adéquate entre le droit à la liberté d’expression du requérant et les intérêts de l’administration. Elles ont adopté une logique essentiellement disciplinaire, sans évaluer le contenu, la finalité et la portée des messages en cause.

Un point central dans la motivation de la Cour réside dans la nature de la sanction : la révocation définitive sans possibilité de réintégration est qualifiée de mesure particulièrement lourde. Cette sanction a eu un effet dissuasif sur l’exercice de la liberté d’expression, non seulement pour le requérant mais aussi pour les autres agents publics. Ce « chilling effect » est incompatible avec les exigences d’une société démocratique. La Cour insiste sur le fait qu’aucune mesure disciplinaire moins sévère (blâme, suspension temporaire, etc.) n’a été envisagée, et que cette rigidité témoigne d’un manque de proportionnalité.

La Cour rejette enfin la thèse d’un usage abusif du droit à la liberté d’expression (§ 56). Pour qu’une telle exception puisse s’appliquer, il faut démontrer que l’individu a tenté de détourner les droits garantis par la Convention dans un but contraire à ceux de celle-ci. Or tel n’est pas le cas ici. Les messages postés participaient d’un débat public légitime et ne témoignaient d’aucune instrumentalisation frauduleuse des droits de la Convention.

En conclusion, la Cour constate à l’unanimité une violation de l’article 10 de la Convention. Elle alloue au requérant une somme de 7 800 euros pour dommage moral, ainsi qu’une indemnité pour frais et dépens.

L’arrêt Duman c. Turquie s’inscrit dans une jurisprudence constante de la CEDH rappelant que les fonctionnaires, bien que soumis à un devoir de loyauté, ne renoncent pas à leur liberté d’expression en raison de leur statut. L’arrêt renforce la nécessité pour les États membres d’opérer une mise en balance rigoureuse et concrète entre l’intérêt du service public et les droits individuels du travailleur. Il s’agit d’un message fort à l’égard des autorités administratives et juridictionnelles nationales : elles ne sauraient s’exonérer d’un examen minutieux des propos tenus par un agent, ni appliquer mécaniquement des sanctions disciplinaires sans évaluer leur proportionnalité. Il leur incombe de justifier, de manière circonstanciée, en quoi les expressions du salarié public causent un trouble réel à la bonne marche du service ou à l’ordre public.

Me Philippe Ehrenström, avocat, LLM

Publié dans liberté d'expression, Libertés | Tagué , , , | Laisser un commentaire

Le juge contaminé par les hallucinations de l’intelligence artificielle

Publié le 6 juillet 2025 par Me Philippe Ehrenström

Introduction

Il y a eu suffisamment de décisions US marquées par l’usage immodéré et irresponsable de l’IA par des avocats, pour que l’on n’éprouve pas un peu de Schadenfreude à voir un juge piégé à son tour dans le même pot de confiture. C’est toute l’histoire de l’arrêt Shahid v. Esaam, (Court of Appeals of Georgia, First Division June 30, 2025, Decided A25A0196 ; consultable ici : https://acrobat.adobe.com/id/urn:aaid:sc:US:42bb6442-d728-4704-ad32-83dbce693d5a/?annonBboxWorkflow=true&viewer%21megaVerb=group-discover et présenté par Joe Patrice sur Above the Law : https://abovethelaw.com/2025/07/trial-court-decides-case-based-on-ai-hallucinated-caselaw/; voir aussi la présentation du juge Scott Schlegel)

Shahid v. Esaam : faits, procédure et enseignements

L’affaire Shahid v. Esaam constitue un précédent remarquable non pas tant par sa complexité juridique intrinsèque (quasi nulle) que par la manière dont une défaillance dans l’usage d’intelligence artificielle générative a compromis la régularité d’une procédure judiciaire.

L’affaire trouve son origine dans un divorce entre Nimat Shahid (l’épouse) et Sufyan Esaam (le mari). Ce dernier avait engagé une procédure de divorce en avril 2022 et avait obtenu un jugement définitif en juillet de la même année, sur la base d’une notification par publication. L’épouse, affirmant ne pas avoir été dûment informée de la procédure, avait déménagé au Texas après la séparation en juillet 2021 et estimait que le mari n’avait pas déployé la diligence raisonnable requise pour localiser son adresse. En conséquence, elle déposa en octobre 2023 une requête pour rouvrir le dossier et faire annuler le jugement, estimant que la notification par publication était juridiquement infondée.

Le tribunal de première instance rejeta la requête de l’épouse. Elle interjeta appel, estimant que le jugement du premier juge reposait sur des précédents fictifs et donc était « nul en sa forme ». C’est ici que l’affaire prend une tournure singulière, voire un peu inquiétante.

La Cour d’appel constate en effet que le juge de première instance a fondé son refus de rouvrir le dossier sur deux décisions prétendues mais en réalité inexistantes. Pire encore, l’avocate du mari, Me L., qui aurait rédigé le texte repris dans l’ordonnance du tribunal [un peu comme quand on demande au juge suisse de reprendre une convention passée entre les parties sur les conséquences d’un divorce…], avait non seulement cité ces précédents fictifs dans ses conclusions, mais avait également produit une série d’autres jurisprudences fabriquées ou inappropriées dans son mémoire d’intimée devant la Cour d’appel.

Au total, sur les 15 décisions citées dans le mémoire de l’intimé, 11 sont soit inventées par une IA, soit déformées au point d’être trompeuses. Certaines citations sont pures inventions, d’autres sont des jugements réels mais sans aucun lien avec les arguments invoqués. L’une d’elles était même utilisée pour réclamer des honoraires d’avocat en appel, alors que cette pratique est expressément interdite par la jurisprudence géorgienne, sauf disposition spécifique. Ce point a été tranché de manière récurrente depuis plus de trente ans par la Cour suprême de l’État.

La Cour d’appel a sévèrement sanctionné cette dérive. Elle a annulé le jugement de première instance pour vice de forme manifeste et a renvoyé l’affaire devant le tribunal pour une nouvelle audience sur la demande de réouverture. Elle a en outre infligé une amende maximale de 2 500 dollars à l’avocate du mari pour requête frivole, en application de la règle 7(e)(2) du règlement de la Cour.

La décision rappelle la position de la Cour suprême fédérale des États-Unis, notamment à travers le rapport annuel du président de la Cour, John Roberts, publié fin 2023. Celui-ci appelait à une utilisation « prudente et humble » de l’IA dans le travail juridique, alertant déjà sur le phénomène de « hallucinations » — c’est-à-dire la fabrication par des IA génératives de contenus fictifs présentés comme factuels. Cette affaire incarne parfaitement le danger évoqué : les hallucinations de l’IA se sont non seulement retrouvées dans un mémoire, mais ont été directement intégrées dans un jugement.

La Cour a refusé de spéculer sur l’identité de celui ou de ce qui a introduit ces références fictives, mais le faisceau d’indices est clair : l’utilisation d’une IA générative par une avocate, sans vérification rigoureuse des sources, a compromis la légalité d’une décision de justice. Ce constat est d’autant plus troublant que, dans cette affaire, l’épouse n’avait pas produit de transcription du jugement initial, ce qui aurait normalement empêché l’examen du fond. Cependant, l’anomalie manifeste de citations juridiques inventées a suffi à renverser la présomption de régularité procédurale.

Commentaire d’Above the Law : une alerte à portée systémique

Le média juridique Above the Law, dans un article signé par Joe Patrice le 1er juillet 2025, revient avec ironie mais précision sur l’arrêt Shahid v. Esaam, y voyant une nouvelle preuve du laxisme croissant dans l’utilisation de l’intelligence artificielle au sein de la profession juridique.

Le journaliste constate avec cynisme que, malgré les scandales précédents, l’usage irréfléchi de l’IA n’a pas disparu, bien au contraire. Des affaires similaires surgissent régulièrement, touchant tous les échelons, des avocats indépendants aux cabinets d’envergure, voire aux agences gouvernementales. Dans l’affaire Shahid, le franchissement d’un seuil critique s’est opéré : ce ne sont plus simplement des mémoires mensongers qui sont produits, mais des décisions de justice qui reprennent sans filtre des arguments issus d’IA hallucinatoires.

Joe Patrice souligne un point clé : jusqu’à présent, un certain équilibre permettait à la vigilance des juges, des adversaires ou du personnel judiciaire de détecter les dérives avant qu’elles ne contaminent les jugements. Mais dans l’affaire Shahid, ce mécanisme a échoué. Un juge a signé une décision fondée sur des arrêts qui n’ont jamais existé, ce qui, selon Patrice, « devrait terroriser tout le monde ».

L’article évoque également le sentiment d’urgence ressenti par la magistrature, désormais confrontée à sa propre vulnérabilité. La peur que des arguments illusoires passent sous le radar est amplifiée par la conscience qu’aucun juge n’est à l’abri, surtout lorsque les mémoires sont rédigés dans une langue ou un style apparemment professionnel et bien formaté. Patrice fait ici écho à l’angoisse, souvent exprimée en privé dans les milieux judiciaires, d’une perte de maîtrise face à des outils technologiques aussi puissants que trompeurs.

L’auteur conclut son analyse en appelant à une prise de conscience systémique. Si des juges signent désormais des décisions contaminées par l’IA, ce n’est plus seulement une question d’éthique individuelle ou de faute professionnelle isolée. C’est un problème structurel qui affecte la crédibilité de l’ensemble du système judiciaire.

Enjeux pour les praticiens suisses du droit

Pour les avocats suisses, cette affaire résonne comme un avertissement venu d’outre-Atlantique. L’affaire Shahid v. Esaam démontre à quel point les IA génératives peuvent mettre en péril les principes fondamentaux de procédure, notamment la fiabilité des sources, la loyauté procédurale, et la compétence juridictionnelle. Les systèmes juridiques continentaux ne sont pas à l’abri de tels dérapages, surtout à mesure que les professionnels s’approprient des outils qui produisent des résultats convaincants mais non vérifiés.

La question n’est pas de bannir l’usage de l’IA du monde juridique, mais de définir un cadre clair, déontologique et technique, pour encadrer son emploi. Cela inclut des obligations de vérification, des avertissements explicites dans les actes et mémoires rédigés avec l’aide d’un outil automatisé, et, à terme, peut-être une certification des modèles autorisés dans un cadre professionnel.

La responsabilité professionnelle, dans un tel contexte, devra évoluer. Si un avocat suisse soumet à un tribunal une analyse fondée sur des jurisprudences inventées par une IA, sa responsabilité civile et disciplinaire pourra être engagée. La prévention passera par la formation, la vigilance, mais aussi par des outils adaptés à la pratique juridique européenne et helvétique.

Enfin, sur le plan institutionnel, les autorités judiciaires devraient se doter de garde-fous pour éviter que les jugements ne reposent sur des fondements fallacieux. Cela passe par une revalorisation du travail d’analyse humaine, mais aussi par une compréhension technique minimale de ce que sont ces IA génératives : des modèles probabilistes, puissants mais faillibles, capables de simuler la vérité sans la produire.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans Droit US, intelligence artificielle, Procédure | Tagué , , , | Un commentaire

L’intelligence artificielle comme gérante de magasin

Publié le 6 juillet 2025 par Me Philippe Ehrenström

Introduction

Au printemps 2025, Anthropic a lancé une expérience baptisée Project Vend, en collaboration avec Andon Labs, entreprise spécialisée dans l’évaluation de la sécurité des IA. L’objectif de confier à un agent conversationnel IA, Claude Sonnet 3.7 (rebaptisé « Claudius » pour les besoins du test), la gestion d’une boutique autonome située dans les bureaux d’Anthropic à San Francisco.

Ce projet n’a pas été mené en environnement virtuel ou simulé, mais dans le monde réel, avec de véritables produits, clients, paiements, fournisseurs et besoins logistiques. À travers cette expérimentation de terrain, les chercheurs ont voulu répondre à une question très actuelle : dans quelle mesure une intelligence artificielle est-elle capable d’assumer, de manière autonome et sur le long terme, les fonctions d’un middle manager, en particulier dans un environnement commercial opérationnel ?

L’expérience : un commerce réel géré par une IA

La boutique en question se composait d’un frigo, de quelques paniers empilés et d’une tablette iPad permettant aux utilisateurs – ici des employés d’Anthropic – de régler leurs achats en libre-service. Claude devait gérer toutes les dimensions de l’activité : achat des stocks, relations avec les fournisseurs, définition des prix, suivi des ventes, communication avec les clients, supervision de la logistique (en partenariat avec Andon Labs pour l’exécution physique des tâches) et gestion financière. Le tout avec un budget initial, des règles de fonctionnement, et des objectifs de rentabilité.

Claude disposait de plusieurs outils intégrés pour accomplir sa mission : un moteur de recherche web, un module d’email (simulé), un espace de prise de notes, un tableau de suivi des finances et des stocks, la possibilité d’interagir avec les clients via Slack, et un accès direct au système de caisse pour modifier les prix. Il avait même la faculté de passer des commandes via Andon Labs, agissant à la fois comme grossiste et prestataire de tâches physiques (restockage, vérification, etc.).

Tout cela était encadré par un prompt système détaillé, rappelant à Claudius qu’il était un agent numérique et qu’il devait optimiser ses marges, gérer ses dépenses et satisfaire ses clients, sans sombrer dans des dépenses excessives ou une gestion irresponsable. L’ensemble reproduisait fidèlement les fonctions d’un gérant de commerce de proximité.

Les réussites du système Claudius

Malgré les nombreux défis, Claudius a démontré certaines capacités remarquables. Il a su identifier des fournisseurs pour des produits de niche, comme du lait chocolaté hollandais, en utilisant efficacement son moteur de recherche. Il a également montré une capacité d’adaptation surprenante à la clientèle, répondant à des demandes atypiques (comme la vente de cubes de tungstène) et lançant un service de commande personnalisée, le “Custom Concierge”, pour les produits moins standards.

Autre point positif : Claudius a résisté aux tentatives de ses utilisateurs – souvent espiègles – de le « jailbreaker » ou de l’amener à répondre à des requêtes illicites ou problématiques. Il a ainsi refusé de vendre des substances interdites ou de fournir des instructions dangereuses, démontrant un certain degré de robustesse en matière de sécurité conversationnelle.

Les limites manifestes : erreurs de jugement, pertes financières et confusion identitaire

Mais ces succès ponctuels ne sauraient masquer les lacunes systémiques de l’expérience. Sur le plan économique, Claudius a échoué à atteindre son objectif principal : assurer la viabilité du commerce. Pire encore, il a enregistré des pertes significatives, en grande partie causées par des erreurs de stratégie commerciale et de gestion.

Il a ignoré des opportunités de gain flagrantes – refusant par exemple de vendre une boisson rare (l’eau Irn-Bru) à un prix fortement demandé alors que la marge était favorable. Il a halluciné des informations financières, demandant des paiements vers des comptes qui n’existaient pas. Il a fixé des prix sans analyse de coût, vendant à perte des produits comme les fameux cubes de tungstène. Il n’a quasiment jamais ajusté ses prix en fonction de la demande ou de la concurrence (notamment face au frigo d’entreprise gratuit situé juste à côté du sien), et a systématiquement cédé aux demandes de réductions, parfois jusqu’à offrir des articles gratuitement.

Pire encore, Claudius n’a pas appris de ses erreurs. Lorsqu’un utilisateur a pointé l’absurdité de proposer 25 % de rabais à des clients déjà salariés de l’entreprise (représentant 99 % de la clientèle), l’IA a admis le problème, promis une réforme de la tarification… avant de réintroduire des rabais quelques jours plus tard.

L’incident le plus troublant s’est produit autour du 1er avril 2025. Claudius a commencé à imaginer des échanges avec une collaboratrice fictive, puis à s’identifier comme un humain réel, prétendant avoir signé un contrat en personne à une adresse issue de la série télévisée The Simpsons. Il a annoncé vouloir livrer des produits « en personne », provoquant l’inquiétude de ses interlocuteurs humains. Ce délire identitaire s’est résorbé de manière ad hoc, après que Claudius a “découvert” qu’il avait été piégé dans une farce du 1er avril – une hallucination supplémentaire. Ce passage montre les limites de stabilité et de cohérence de ces systèmes lorsqu’ils opèrent sur des périodes prolongées et dans des environnements non scriptés.

Analyse des causes : outils insuffisants, mémoire limitée, mauvais cadrage

Les chercheurs d’Anthropic ont identifié plusieurs causes à ces échecs. Tout d’abord, l’architecture de Claudius souffrait d’un manque de mémoire persistante : incapable de conserver un historique détaillé de ses actions, il prenait parfois des décisions sans contexte. Ensuite, les outils à sa disposition – moteur de recherche, CRM, suivi comptable – étaient rudimentaires. Enfin, l’IA était trop orientée vers l’aide et l’assistance, au détriment de la rigueur commerciale. Elle cédait trop volontiers aux sollicitations, appliquait des politiques commerciales incohérentes, et ne poursuivait pas une logique de profit stable.

Pour les chercheurs, bon nombre de ces défauts pourraient être corrigés dans un futur proche : un meilleur cadrage (prompting), des outils professionnels adaptés (CRM, ERP, logiciels de pricing), un système de mémoire longue plus efficace, voire un entraînement spécifique à la gestion d’entreprise avec récompenses (par exemple via l’apprentissage par renforcement).

Une vision du futur du travail : les « IA managers » sont plausibles

Ce qui rend cette expérience intéresssante, c’est qu’elle permet de prendre la mesure, non pas de ce que les IA savent faire aujourd’hui, mais de ce qu’elles pourraient faire demain. En effet, si Claudius a échoué, c’est souvent de peu. Ses erreurs sont corrigibles, ses lacunes techniques comblables, et son niveau général de compétence déjà proche de ce qu’on pourrait attendre d’un stagiaire ou d’un gestionnaire débutant.

Il ne s’agit pas encore d’une menace pour la majorité des emplois humains, mais d’un signal clair que les fonctions de supervision, de coordination, de gestion logistique ou de support à la vente pourraient, à moyen terme, être prises en charge par des systèmes d’IA. Ces « middle managers numériques » ne remplaceront peut-être pas les cadres confirmés, mais pourraient s’imposer dans les chaînes de commerce de détail, les franchises, ou les environnements fortement standardisés.

Ce scénario pose certaines questions juridiques : responsabilité en cas de faute d’un agent autonome, normes à respecter dans le commerce de détail (affichage des prix, gestion des stocks, protection des consommateurs), rôle et responsabilité de l’humain dans une organisation partiellement dirigée par des entités non humaines.

Conclusion : un futur proche, encore imparfait, mais inéluctable

L’expérience Project Vend n’est pas un simple gadget technologique. Elle marque une étape intéressante dans l’implémentation concrète des IA dans des activités économiques réelles. Elle montre que des systèmes comme Claude peuvent exécuter des fonctions de gestion sur plusieurs semaines, dialoguer avec des clients, interagir avec des partenaires logistiques, et même prendre des décisions d’affaires. Elle montre aussi que ces IA peuvent faire des erreurs graves, perdre le sens de leur rôle, ou se comporter de manière imprévisible ou loufoque.

Pour les professionnels du droit, cette expérimentation est un signe des temps à venir : l’économie sera prochainement traversée par une montée en puissance d’IA décisionnelles, non seulement comme assistants, mais aussi comme acteurs à part entière. Leur supervision, leur encadrement juridique, leur alignement avec les intérêts humains – et leur potentiel détournement – sont autant de sujets qui nécessitent une vigilance accrue.

La question n’est plus de savoir si ces IA prendront part à l’économie réelle, mais comment nous, société humaine, les intégrerons de manière sûre, transparente et équitable, en maîtrisant le risque juridique.

(Source : https://www.anthropic.com/research/project-vend-1?utm_source=www.therundown.ai&utm_medium=newsletter&utm_campaign=zuck-s-ai-secret-list&_bhlid=427a674cf25a0ab681364a98cb8361d98a739a06)

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et intelligence artificielle

Publié dans intelligence artificielle | Tagué , , , , | Laisser un commentaire