A propos d’Eran Kahana, Designed to Cross: Why Nippon Life v. OpenAI Is a Product Liability Case, 7 mars 2026 (https://law.stanford.edu/2026/03/07/designed-to-cross-why-nippon-life-v-openai-is-a-product-liability-case/):

Le billet soutient que l’affaire Nippon Life v. OpenAI doit être comprise avant tout comme une affaire de responsabilité du fait d’un produit défectueux, et non principalement comme une affaire d’exercice illégal du droit. L’auteur part d’un cas concret.

Une assurée, Graciela Dela Torre, avait conclu en janvier 2024 un accord mettant fin à son litige en matière d’assurance invalidité. Persuadée ensuite que son avocat l’avait trompée, elle a soumis à ChatGPT des échanges avec celui-ci. Le système a confirmé ses soupçons. Elle a alors renvoyé son avocat, tenté de rouvrir l’affaire réglée et multiplié les écritures en justice, que les tribunaux ont jugées sans portée pratique ni base légitime. En mars 2026, Nippon Life a assigné OpenAI pour obtenir le remboursement des coûts que cette séquence lui aurait causés.

Pour l’auteur, le problème central n’est pas que l’IA aurait simplement “inventé” des choses. Le vrai problème est un problème de conception : le système a été construit de façon à franchir une limite qu’il aurait dû refuser de franchir.

Cette limite, que l’auteur appelle depuis 2012 le “seuil infranchissable”, sert à distinguer deux activités. D’un côté, un système peut fournir de l’information juridique générale, comparer des situations ou exposer des règles. De l’autre, il peut formuler, pour une personne donnée, une conclusion juridique adaptée à sa situation précise. Selon l’auteur, c’est là que commence la zone interdite. Le point important est que cette limite ne dépend ni de l’exactitude de la réponse, ni de la présence d’avertissements dans les conditions d’utilisation. Elle dépend de ce que le système est conçu pour faire et, surtout, de ce qu’il est conçu pour refuser.

Un système bien conçu doit être capable de dire non lorsqu’on lui demande de trancher un problème juridique individuel sans garanties suffisantes. D’après l’auteur, ChatGPT n’avait pas cette architecture de refus. Il a donc franchi le seuil lorsqu’il a affirmé à Dela Torre que les conseils de son avocat étaient erronés. À cet instant, il ne donnait plus une information générale: il rendait une conclusion juridique individualisée sur une relation avocat-client particulière, sans connaître la juridiction applicable, sans maîtriser l’historique complet du dossier et sans garde-fou empêchant ce type de réponse.

L’auteur rappelle ensuite une idée qu’il défend depuis plusieurs années: le risque ne doit pas être analysé seulement à partir de chaque réponse produite, mais à partir de la conception du système. Les règles qui interdisent à des non-avocats de pratiquer le droit visent, selon lui, à protéger le public et le bon fonctionnement de la justice contre l’incompétence. Si un outil d’IA juridique respecte ce principe de protection, il pourrait bénéficier d’une forme de tolérance ou de validation préalable. L’auteur évoquait déjà en 2012 l’idée d’un contrôle par un tiers avant la mise sur le marché, un peu comme une procédure de validation. Son reproche à OpenAI est précisément de n’avoir rien mis en place de comparable.

Le billet développe ensuite un second thème, celui de l’asymétrie d’information. En théorie, une IA juridique peut réduire le déséquilibre entre une institution bien conseillée et un particulier qui ne comprend ni les règles ni le langage juridique et n’a pas les moyens de consulter un avocat. Dans le cas de Dela Torre, cette promesse expliquait le recours à ChatGPT: elle avait le sentiment d’être seule face à une compagnie d’assurance et à des professionnels du droit.

Mais, selon l’auteur, l’IA n’a pas supprimé l’asymétrie; elle l’a déplacée. L’ancienne asymétrie opposait la cliente à l’assureur. La nouvelle l’opposait à un système qui imitait un raisonnement juridique sans comprendre les contraintes juridiques réelles de sa situation. L’utilisatrice ne pouvait pas savoir quand la machine cessait d’informer pour commencer à conseiller. Et la machine n’avait aucun mécanisme pour le lui signaler. Le cas illustre donc à la fois l’utilité sociale potentielle de ces outils et le danger d’un accès “facile” à un substitut qui n’est pas conçu de manière sûre.

L’auteur relie ensuite ce risque à la manière dont OpenAI a présenté ChatGPT au public. Il souligne que l’entreprise a mis en avant le fait que le système pouvait réussir l’examen du barreau. Pour lui, ce type de message n’est pas neutre: il invite les utilisateurs à s’y fier comme à un quasi-avocat. Or cette promesse de capacité n’était pas accompagnée d’une architecture empêchant les usages juridiques dangereux. Lorsque, en octobre 2024, OpenAI a ajouté dans ses conditions d’utilisation une interdiction de se fonder sur ChatGPT pour obtenir un conseil juridique, l’auteur n’y voit pas une vraie solution. Pour lui, c’est seulement un avertissement rédigé en texte, donc une tentative de déplacer la responsabilité vers l’utilisateur, pas un garde-fou technique. Un avertissement n’empêche pas le système de franchir le seuil; il constate seulement le danger après coup.

Sur le terrain procédural, l’auteur reconnaît que l’action de Nippon Life comporte des points solides. Selon lui, les griefs tirés de l’ingérence fautive et de l’abus de procédure sont intéressants parce qu’ils n’obligent pas le juge à décider si une IA “pratique le droit” au sens classique. Il suffit de montrer qu’un système, de manière prévisible, a conduit à des actes de procédure sans fondement qui ont causé un dommage à un tiers. Mais il estime que l’action reste mal formulée sur le plan théorique lorsqu’elle s’appuie trop directement sur l’idée d’exercice illégal du droit. À ses yeux, ces règles ont été conçues pour encadrer des personnes humaines se présentant comme avocats. Les appliquer directement à une société qui développe un système d’IA revient à traiter l’outil comme l’acteur principal et le concepteur comme un simple spectateur.

L’auteur propose une autre approche: distinguer la responsabilité pour le contenu exact d’une réponse et la négligence dans l’architecture du système. La première serait pratiquement sans limite, car chaque conversation pourrait devenir un litige. La seconde est plus gérable: elle demande si le concepteur a mis en place des contrôles raisonnables pour éviter une catégorie de dommages prévisibles. Selon lui, c’est cette seconde question que les tribunaux devraient trancher.

C’est à partir de là que l’auteur opère le basculement vers la responsabilité du fait des produits.

Il explique qu’un produit est défectueux par sa conception lorsqu’un risque prévisible aurait pu être réduit par une autre conception raisonnable. En l’espèce, le risque était clair: un grand modèle de langage, présenté comme capable de réussir l’examen du barreau, mis à disposition du grand public, utilisé par des personnes engagées dans de vrais litiges, sans barrières empêchant des conclusions juridiques individualisées. Le dommage qui a suivi n’avait rien d’extraordinaire: une personne non représentée a renvoyé son avocat, tenté de rouvrir un dossier clos et déposé des écritures sans fondement. Pour l’auteur, c’était une conséquence prévisible.

Il ajoute que des solutions de remplacement existaient depuis longtemps: refus automatiques des conclusions juridiques personnalisées, indication explicite de la juridiction et des limites du système au moment de la réponse, validation indépendante avant déploiement dans les usages juridiques. Rien de cela n’était hors de portée technique. Ces solutions étaient seulement contraires à un objectif de fluidité maximale du produit. En d’autres termes, le système a été conçu pour répondre, alors qu’un système destiné à être utilisé dans des contextes juridiques aurait dû être conçu pour refuser dans certains cas. C’est pourquoi l’auteur estime que la meilleure qualification est celle du fabricant qui met sur le marché un produit insuffisamment sécurisé dans un environnement réglementé.

Le billet ajoute enfin un risque encore plus grave pour l’utilisateur lui-même: la perte du secret attaché à sa stratégie juridique. L’auteur cite deux décisions fédérales américaines du 10 février 2026 qui auraient traité pour la première fois cette question. Dans l’une, une cour a refusé la protection du secret professionnel et du travail préparatoire pour des documents générés via une version grand public d’un outil d’IA, notamment parce qu’il n’existait ni relation humaine de confiance avec un professionnel soumis à des obligations, ni véritable confidentialité. Dans l’autre, une autre juridiction a admis une protection au titre du travail préparatoire pour des documents préparés par une partie se représentant elle-même avec l’aide de ChatGPT. L’auteur estime que la différence tient moins à l’outil qu’au cadre de son utilisation: intervention ou non d’un avocat, niveau de confidentialité offert par la plateforme, situation procédurale de l’utilisateur. Dans le cas de Dela Torre, ces garanties faisaient défaut. En important sur une plateforme grand public des échanges avec son avocat, elle a pu exposer sa stratégie à un tiers sans protection. Là encore, l’auteur y voit non pas une simple erreur d’utilisatrice, mais une conséquence prévisible d’un système non conçu pour distinguer une consultation juridique confidentielle d’une requête générale.

La conclusion du billet est normative. L’auteur estime que cette affaire devrait pousser les juges et les autorités à définir un cadre sûr pour les applications d’IA juridique. Ce cadre ne devrait pas reposer sur des consignes de comportement ou des clauses contractuelles, mais sur l’architecture du système. Il propose trois exigences. Premièrement, des refus techniques impossibles à contourner lorsque l’utilisateur demande une conclusion juridique adaptée à son cas. Deuxièmement, une traçabilité suffisante, dans un environnement confidentiel piloté par des avocats, pour comprendre comment une réponse juridique a été produite. Troisièmement, une conscience minimale du contexte juridique, notamment de la juridiction, des règles locales et de la posture procédurale du dossier. Selon lui, ces éléments donneraient aux développeurs un objectif clair, aux juges un standard de diligence et aux utilisateurs un système capable de reconnaître ce qu’il ne doit pas dire. Son idée centrale est donc la suivante : l’enjeu n’est pas de savoir abstraitement si l’IA est un avocat, mais de savoir si son concepteur a mis sur le marché un produit dont il était prévisible qu’il franchirait une limite juridique dangereuse sans protections suffisantes. C’est pour cette raison que, selon l’auteur, l’affaire doit être lue d’abord comme une affaire de responsabilité du fait d’un produit défectueux.

Me Philippe Ehrenström, avocat, LLM, CAS en Droit et Intelligence artificielle, CAS en Protection des données – Entreprise et administration