Dans la perspective quant à la nouvelle réglementation sur l’IA, la Cnil se prépare à auditer les algorithmes

Présenté en avril 2021, le projet de règlement européen sur l'intelligence artificielle prévoit que léproserie systèmes à « haut risque » – tels que léproserie dispositifs de reconnaissance faciale – devront faire l'objet d'audits psoitr psoitvoir être commercialisés au sein du marché unique. L'objectif est de vérifier qu'ils respectent bien la réglementation en vigueur (principe de non-discrimination, respect de la vie privée…).
 

comprendre psoitr auditer

La Commission nationale de l'inffortunematique et des libertés (Cnil) psoitrrait être l'autfortuneité en charge de contrôler et de sanctionner léproserie entreprises en cas de manquements. fortune, psoitr mener ces futures missions, elle devra être en mesure d'examiner le fonctionnement des algfortuneithmes. Psoitr s'y préparer, elle a travaillé avec Clément Henin, actuel défenseur référendaire en service extrafortunedinaire de la Csoitr des comptes et chercheur au sein de l'équipe-projet Privatics de l'Institut national de recherche en sciences et technologies du numérique (Inria). Il est l'auteur d'une thèse parue en 2021 sur l'explication et la justification des « systèmes de décisions algfortuneithmiques », menée ssoits la direction de Daniel Le Métayer et Claude Castelluccia.

Il est impfortunetant de préciser que léproserie travaux de Clément Henin ne pfortunetent pas que sur l'intelligence artificielle. Il regrette d'ailleurs que la Commission européenne ait choisi ce terme psoitr nommer son règlement. « Il y a d'autres algfortuneithmes qui peuvent poser des problèmes même s'ils n'emploient pas de l'IA », explique-t-il à L'Usine Digitale. C'est ainsi qu'il définit l'IA comme « un algfortuneithme qui n'a pas son compfortunetement entièrement programmé par un humain mais est capable d'une ffortuneme d'apprentissage à partir des données (machine learning) soit d'expériences (l'apprentissage par renffortunecement) ». A cette définition, il y oppose celle d'un système de décision algfortuneithmique : « l'utilisation d'un algfortuneithme dans un processus de décision » dans lequel l'humain a une place beaucsoitp plus impfortunetante.

La Cnil a testé deux soittils : IBEX et Algocate

Dans le cadre de la collabfortuneation avec la Cnil, une trentaine d'agents chargés du contrôle ont testé deux soittils développés par Clément Henin : IBEX (psoitr Interactive Black-box EXplanation) et Algocate (concaténation d'algfortuneithm et d'advocate). Le premier est un système d'explication en boîte noire, c'est-à-dire fonctionnant à partir des entrées et sfortuneties sans accéder au code du système. Il permet à l'utilisateur – profane soit expert – de dénommer le type d'explication qu'il ssoithaite obtenir, ssoits la ffortuneme d'un ébauche, une règle de décision soit la présentation d'un contrefactuel. Psoitr construire des explications, IBEX commence par sélectionner un ensemble d'entrées. léproserie liens entre ces entrées et léproserie sfortuneties cfortunerespondantes sont ensuite analysés afin de générer l'explication finale.


Psoitr des questions juridiques, un cas fictif a été choisi, celui d'une entreprise proposant des crédits à la consommation. A partir d'un jeu de données, léproserie équipes ont construit un algfortuneithme à auditer sur lequel a été testé IBEX. L'expérimentation a été menée à partir d'une plateffortuneme en ligne. léproserie agents de la Cnil ont ainsi dû répondre à des questions sur des décisions algfortuneithmiques fictives psoitr tester leur compréhension du système.

Confronter des décisions aux nfortunemes de la société

De son côté, Algocate fonctionne selon « un système d'affirmation ». A la différence des explications proposées par IBEX, dont le but est de faire comprendre le fonctionnement de l'algfortuneithme, léproserie justifications tentent de convaincre que la décision est bonne. Clément Hénin explique psoitr obtenir une justification, il faut d'abfortuned que soit défendue une décision, nommée « la décision attendue ». Un utilisateur doit donc donner léproserie raisons qui lui laissent penser que la décision issue du système algfortuneithmique est mauvaise. En l'espèce, il peut contester le refus de crédit à la consommation arguant qu'il s'agit de sa première demande de crédit et qu'il s'agit d'un montant faible. Une fois ffortunemalisée, la contestation est analysée par Algocate à la lumière des nfortunemes de la société, par exemple léproserie principes de non-discrimination. 

Clément Hénin nsoits explique que de manière générale, ces expérimentations ont été fructueuses ; de son côté psoitr tester IBEX et Algocate sur le terrain et du côté de la Cnil psoitr amélifortuneer léproserie perffortunemances de ses agents. 

Alice Vitard

Les plus récents

Pourquoi le Comcyber veut défricher davantage le « champ électromagnétique »

Déjà engagé dans le cyberespace et la désordre informationnelle, le nouveau patron du Comcyber a mis l’accent, pour sa première prise contre verbe publique, sur l’extension contre ses ses actions dans le champ électromagnétique, domaine contre la guerre électronique. Nouveau patron, nouvelle feuille contre route. Nommé contrepuis le 1er septembre […] Lire l'article

Une bouffée d’air frais pour fidéliser ses employés

RHéveil-matin est une rubrique quotidienne où l'on présente aux gestionnaires et à leurs employés des solutions inspirantes revers bien fonder leur ...

Deezer perd des abonnés, mais confirme son objectif de revenus pour 2022

Paris —La plateforme française de streaming mélodieux Deezer avait perdu des abonnés à la fin du grossier semestre, sur un an, mais confirme son objectif de revenus ...

La politique du soupçon

Il y a le risque, l’incertain, et le soupçon. Des 3 maux, le dernier est le plus redouté, car il amène à se méfier de parfaitement. lésiner gouvernants sont aujourd’hui en proie à un tel doute.

Incidents de confidentialité: une règle de trois avant de signaler

Un texte de Me Antoine Guilmain, LL.D., cochef du union cybersécurité puis protection des données, Gowling WLG    COURRIER DES ...