Nous avons vu hier qu’à teneur de l’art. 6 § 2 RIA et de son annexe III (ch. 4), les systèmes d’IA à haut risque sont notamment les suivants : systèmes d’IA destinés à être utilisés pour le recrutement ou la sélection de personnes physiques, en particulier pour publier des offres d’emploi ciblées, analyser et filtrer les candidatures et évaluer les candidats (let. a) ; et les systèmes d’IA destinés à être utilisés pour prendre des décisions influant sur les conditions des relations professionnelles, la promotion ou le licenciement dans le cadre de relations professionnelles contractuelles, pour attribuer des tâches sur la base du comportement individuel, de traits de personnalité ou de caractéristiques personnelles ou pour suivre et évaluer les performances et le comportement de personnes dans le cadre de telles relations (let. b). Nous avons également vu pourquoi. (Cf. https://droitdutravailensuisse.com/2024/12/18/les-systemes-dintelligence-artificielle-dans-les-ressources-humaines-eu-ai-act-1ere-partie/).

Penchons-nous maintenant sur quelques-unes des conséquences de cette qualification, la première étant le système de gestion des risques de l’art. 9.

En effet, le RIA définit  toute une série d’exigences applicables aux systèmes d’IA à haut risque (art. 9 et ss.). Pour garantir le respect de ces exigences, il est tenu compte du système de gestion des risques prévu à l’article 9 du règlement, qui doit être mis en œuvre, documenté et tenu à jour.

Ce système de gestion des risques s’entend comme étant un processus itératif continu qui est planifié et se déroule sur l’ensemble du cycle de vie d’un système d’IA à haut risque et qui doit périodiquement faire l’objet d’un examen et d’une mise à jour méthodiques. Ce processus devrait viser à identifier et à atténuer les risques des systèmes d’IA qui se posent pour la santé, la sécurité et les droits fondamentaux. Le système de gestion des risques devrait être régulièrement réexaminé et mis à jour afin de garantir le maintien de son efficacité, ainsi que la justification et la documentation de toutes les décisions et mesures importantes prises en vertu du règlement. Ce processus devrait garantir que le fournisseur détermine les risques ou les incidences négatives et mette en œuvre des mesures d’atténuation des risques connus et raisonnablement prévisibles des systèmes d’IA pour la santé, la sécurité et les droits fondamentaux à la lumière de leur destination et de leur mauvaise utilisation raisonnablement prévisible, y compris les risques éventuels découlant de l’interaction entre les systèmes d’IA et l’environnement dans lequel ils fonctionnent.

Le système de gestion des risques devrait adopter les mesures de gestion des risques les plus appropriées à la lumière de l’état de la technique en matière d’IA. Lorsqu’il détermine les mesures de gestion des risques les plus appropriées, le fournisseur devrait documenter et expliquer les choix effectués et, le cas échéant, associer des experts et des parties prenantes externes. Lorsqu’il s’agit de déterminer la mauvaise utilisation raisonnablement prévisible des systèmes d’IA à haut risque, le fournisseur devrait couvrir les utilisations des systèmes d’IA dont on peut raisonnablement prévoir, bien qu’elles ne soient pas directement couvertes par la destination et prévues dans la notice d’utilisation, qu’elles résultent d’un comportement humain aisément prévisible dans le contexte des caractéristiques et de l’utilisation spécifiques d’un système d’IA donné.

Toutes circonstances connues ou prévisibles liées à l’utilisation du système d’IA à haut risque conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, susceptibles d’entraîner des risques pour la santé, la sécurité ou les droits fondamentaux, devraient figurer dans la notice d’utilisation fournie par le fournisseur. Il s’agit de veiller à ce que le déployeur en ait connaissance et en tienne compte lors de l’utilisation du système d’IA à haut risque.

La détermination et la mise en œuvre de mesures d’atténuation des risques en cas de mauvaise utilisation prévisible au titre du présent règlement ne devraient pas nécessiter de la part du fournisseur, pour remédier à la mauvaise utilisation prévisible, des mesures d’entraînement supplémentaires spécifiques pour le système d’IA à haut risque. Les fournisseurs sont toutefois encouragés à envisager de telles mesures d’entraînement supplémentaires pour atténuer les mauvaises utilisations raisonnablement prévisibles, si cela est nécessaire et approprié. (Consid. 65)

 Le processus comprend les étapes suivantes: identification et analyse des risques connus et raisonnablement prévisibles que le système d’IA à haut risque peut poser pour la santé, la sécurité ou les droits fondamentaux lorsque le système d’IA à haut risque est utilisé conformément à sa destination; estimation et évaluation des risques susceptibles d’apparaître lorsque le système d’IA à haut risque est utilisé conformément à sa destination et dans des conditions de mauvaise utilisation raisonnablement prévisible; évaluation d’autres risques susceptibles d’apparaître, sur la base de l’analyse des données recueillies au moyen du système de surveillance après commercialisation (article 72) ; et adoption de mesures appropriées et ciblées de gestion des risques, conçues pour répondre aux risques identifiés.

Pour déterminer les mesures de gestion des risques les plus adaptées, il convient de veiller à: éliminer ou réduire les risques identifiés et évalués autant que la technologie le permet grâce à une conception et à un développement appropriés du système d’IA à haut risque; mettre en œuvre, le cas échéant, des mesures adéquates d’atténuation et de contrôle répondant aux risques impossibles à éliminer; et fournir aux déployeurs les informations requises conformément à l’article 13 du règlement (Transparence et fourniture d’informations aux déployeurs) et, éventuellement, une formation.  En vue de l’élimination ou de la réduction des risques liés à l’utilisation du système d’IA à haut risque, il est dûment tenu compte des connaissances techniques, de l’expérience, de l’éducation et de la formation pouvant être attendues du déployeur, ainsi que du contexte prévisible dans lequel le système est destiné à être utilisé.

Les systèmes d’IA à haut risque sont soumis à des essais, y compris en situations réelles (art. 60) afin de déterminer les mesures de gestion des risques les plus appropriées et les plus ciblées. Les essais garantissent que les systèmes d’IA à haut risque fonctionnent de manière conforme à leur destination et qu’ils sont conformes aux exigences. Les tests des systèmes d’IA à haut risque sont effectués, selon les besoins, à tout moment pendant le processus de développement et, en tout état de cause, avant leur mise sur le marché ou leur mise en service. Les tests sont effectués sur la base d’indicateurs et de seuils probabilistes préalablement définis, qui sont adaptés à la destination du système d’IA à haut risque.

Lors de la mise en œuvre du système de gestion des risques, les fournisseurs prennent en considération la probabilité que, compte tenu de sa destination, le système d’IA à haut risque puisse avoir une incidence négative sur des personnes âgées de moins de 18 ans et, le cas échéant, sur d’autres groupes vulnérables.

Me Philippe Ehrenström, avocat, LLM