Extrait et traduction libre de  « Matter of Weber», Surrogate’s Court, Saratoga County (File No. 1845-4/B), 10 octobre 2024 (https://law.justia.com/cases/new-york/other-courts/2024/2024-ny-slip-op-24258.html):

« III. Témoignage de Charles Ranson et calcul des dommages et intérêts

Utilisation de l’intelligence artificielle

Bien que la Cour ait jugé que son témoignage et son opinion n’étaient pas crédibles sur la base de la discussion ci-dessus, une partie de son témoignage mérite une discussion plus approfondie et distincte car elle se rapporte à un problème émergent auquel les tribunaux de première instance commencent à s’attaquer et pour lequel il ne semble pas qu’il existe une règle claire.

Plus précisément, le témoignage a révélé que M. Ranson [en charge de l’analyse comptable d’un trust] s’était appuyé sur Microsoft Copilot, un chatbot d’intelligence artificielle génératrice de modèles de langage de grande taille, pour recouper ses calculs. Malgré son recours à l’intelligence artificielle, M. Ranson ne pouvait pas se rappeler quelle entrée ou invite il avait utilisée pour l’aider à établir le rapport complémentaire sur les dommages-intérêts. Il n’a pas non plus pu indiquer sur quelles sources Copilot s’était appuyé et n’a pas pu expliquer en détail comment Copilot fonctionne ou comment il parvient à un résultat donné. Aucun témoignage n’a été fourni sur la question de savoir si ces calculs de Copilot tenaient compte des frais de fonds ou des implications fiscales.

Le tribunal n’a aucune compréhension objective du fonctionnement de Copilot, et aucune de ces connaissances n’a été recueillie dans le cadre du témoignage. Pour illustrer cette préoccupation, le tribunal a saisi l’invite suivante dans Microsoft Copilot sur son ordinateur doté du système judiciaire unifié (UCS) : « Pouvez-vous calculer la valeur de 250 000 $ investis dans le Vanguard Balanced Index Fund du 31 décembre 2004 au 31 janvier 2021 ? » et il a renvoyé une valeur de 949 070,97 $ — un chiffre différent de celui de M. Ranson. En exécutant cette même requête sur deux (2) ordinateurs UCS supplémentaires, elle a renvoyé des valeurs de 948 209,63 $ et d’un peu plus de 951 000,00 $, respectivement. Bien que ces variations ne soient pas importantes, le fait qu’il y ait des variations remet en question la fiabilité et l’exactitude de Copilot pour générer des preuves sur lesquelles s’appuyer dans une procédure judiciaire.

Il est intéressant de noter que lorsqu’on lui a posé la question suivante : « Êtes-vous précis ? », Copilot a généré la réponse suivante : « Je m’efforce d’être précis dans le cadre des données sur lesquelles j’ai été formé et des informations que je peux trouver pour vous. Cela dit, ma précision n’est aussi bonne que mes sources [FN25], donc pour les questions critiques, il est toujours sage de vérifier.

Lorsqu’on lui a demandé « êtes-vous fiable ? », Copilot a répondu : « Bien sûr. Lorsqu’il s’agit de fournir des informations et d’engager une conversation, je fais de mon mieux pour être aussi fiable que possible. Cependant, je suis également programmé pour conseiller de vérifier auprès d’experts pour les problèmes critiques. Il est toujours bon d’avoir un deuxième avis ! » Lorsqu’on lui a posé la question suivante : « Vos calculs sont-ils suffisamment fiables pour être utilisés devant un tribunal ? », Copilot a répondu : « Lorsqu’il s’agit de questions juridiques, tous les calculs ou données doivent répondre à des normes strictes. Je peux fournir des informations précises, mais elles doivent toujours être vérifiées par des experts et accompagnées d’évaluations professionnelles avant d’être utilisées devant un tribunal… »

Il semblerait que Copilot lui-même s’auto-vérifie et s’appuie sur la surveillance et l’analyse humaines. Il ressort clairement de ces réponses que les développeurs du programme Copilot reconnaissent la nécessité de sa supervision par un opérateur humain formé pour vérifier l’exactitude des informations soumises ainsi que des résultats.

M. Ranson a été catégorique dans son témoignage que l’utilisation de Copilot ou d’autres outils d’intelligence artificielle pour la rédaction de rapports d’experts est généralement acceptée dans le domaine des services fiduciaires et représente l’avenir de l’analyse des décisions fiduciaires ; cependant, il n’a pu nommer aucune publication concernant son utilisation ni aucune autre source pour confirmer qu’il s’agit d’une méthodologie généralement acceptée.

Il est depuis longtemps admis que l’État de New York suit la norme Frye en matière de preuves scientifiques et de témoignages d’experts, dans la mesure où ces mêmes normes doivent être généralement acceptées dans leur domaine pertinent ( voir Frye c. États-Unis , 293 F. 1013 [DC Cir. 1923]).

L’utilisation de l’intelligence artificielle est une réalité en pleine croissance dans de nombreux secteurs. Le simple fait que l’intelligence artificielle ait joué un rôle, qui continue de s’étendre dans notre vie quotidienne, ne rend pas les résultats générés par l’intelligence artificielle admissibles devant les tribunaux. Des décisions récentes montrent que les tribunaux ont reconnu que des problèmes de procédure régulière peuvent survenir lorsque des décisions sont prises par un programme logiciel, plutôt que par l’analyste ou sous sa direction, en particulier dans l’utilisation de technologies de pointe ( People v. Wakefield, 175 AD3d 158 [3d Dept 2019]). La Cour d’appel a jugé que certaines technologies d’intelligence artificielle spécifiques à l’industrie sont généralement acceptées ( People v. Wakefield , 38 NY3d 367 [2022] [autorisant l’analyse logicielle assistée par intelligence artificielle de l’ADN dans une affaire pénale]). Cependant, Wakefield a nécessité une audience Frye complète qui comprenait un témoignage d’expert expliquant les formules mathématiques, les processus impliqués et les articles publiés dans des revues scientifiques évalués par des pairs. En l’espèce, le dossier est dépourvu de toute preuve quant à la fiabilité de Microsoft Copilot en général, et encore moins quant à la manière dont il a été appliqué en l’espèce. Sans plus, la Cour ne peut accepter aveuglément comme exacts des calculs effectués par l’intelligence artificielle. Par conséquent, la Cour tire les conclusions suivantes concernant l’utilisation de l’intelligence artificielle dans les éléments de preuve dont l’admission est demandée.

Après avoir examiné les affaires et les règles de pratique judiciaire de tout le pays, la Cour estime que l’« intelligence artificielle » (« IA ») est correctement définie comme étant toute technologie qui utilise l’apprentissage automatique, le traitement du langage naturel ou tout autre mécanisme informatique pour simuler l’intelligence humaine, y compris la génération de documents, la création ou l’analyse de preuves et la recherche juridique, et/ou la capacité des systèmes informatiques ou des algorithmes à imiter le comportement humain intelligent. La Cour estime en outre que l’IA peut être de nature générative ou d’assistance. La Cour définit l’« intelligence artificielle générative » ou « IA générative » comme une intelligence artificielle capable de générer un nouveau contenu (comme des images ou du texte) en réponse à une invite soumise (comme une requête) en apprenant à partir d’une grande base de données de référence d’exemples. Les documents d’assistance à l’IA sont tout document ou preuve préparé avec l’aide de technologies d’IA, mais pas uniquement généré par celles-ci.

Dans ce qui peut être une question de première impression, du moins dans la pratique du tribunal des successions, cette Cour estime qu ‘en raison de la nature de l’évolution rapide de l’intelligence artificielle et de ses problèmes de fiabilité inhérents, avant que des éléments de preuve générés par un produit ou un système d’intelligence artificielle ne soient présentés, l’avocat a le devoir affirmatif de divulguer l’utilisation de l’intelligence artificielle et les éléments de preuve dont l’admission est demandée devraient être soumis à une audience Frye avant leur admission, dont la portée devrait être déterminée par la Cour, soit lors d’une audience préliminaire, soit au moment où les éléments de preuve sont présentés. »

Lire aussi le commentaire de Scott Schlegel : https://judgeschlegel.com/blog/ai-in-the-courtroom-experts-judges-and-the-twist-in-weber

Me Philippe Ehrenström, avocat, LLM