{"id":15504,"date":"2021-07-13T08:27:05","date_gmt":"2021-07-13T06:27:05","guid":{"rendered":"https:\/\/www.etalab.gouv.fr\/?p=15504"},"modified":"2021-07-13T08:27:05","modified_gmt":"2021-07-13T06:27:05","slug":"evaluer-les-impacts-des-algorithmes-publication-dune-etude-internationale-realisee-a-la-demande-detalab","status":"publish","type":"post","link":"https:\/\/preprod.etalab.gouv.fr\/evaluer-les-impacts-des-algorithmes-publication-dune-etude-internationale-realisee-a-la-demande-detalab","title":{"rendered":"Evaluer les impacts des algorithmes: publication d&rsquo;une \u00e9tude internationale r\u00e9alis\u00e9e \u00e0 la demande d&rsquo;Etalab"},"content":{"rendered":"\n<p><em>Les algorithmes jouent un r\u00f4le croissant dans la sph\u00e8re publique, qu&rsquo;il s&rsquo;agisse de calculer le montant d&rsquo;une aide sociale, d&rsquo;attribuer une place en cr\u00e8che ou d&rsquo;\u00e9valuer les risques de d\u00e9faillance des entreprises. La France s&rsquo;est dot\u00e9 d&rsquo;un cadre juridique en faveur d&rsquo;une plus grande transparence de ces syst\u00e8mes et d&rsquo;un droit \u00e0 l&rsquo;explication pour les individus. Etalab, au sein de la direction interminist\u00e9rielle du num\u00e9rique, porte plusieurs actions en ce sens. C&rsquo;est dans ce cadre qu&rsquo;<strong>Elisabeth Lehagre<\/strong>, chercheuse ind\u00e9pendante a \u00e9t\u00e9 mandat\u00e9e pour r\u00e9aliser une \u00e9tude internationale sur les <strong>outils d&rsquo;\u00e9valuation d&rsquo;impact algorithmique<\/strong>.<\/em><\/p>\n\n\n\n<p><strong>Une \u00e9tude internationale<\/strong> des outils d&rsquo;\u00e9valuation d&rsquo;impact algorithmique<\/p>\n\n\n\n<p>Nul ne doute aujourd&rsquo;hui du fait que les algorithmes ont des impacts, positifs mais aussi parfois n\u00e9gatifs, sur les individus et la soci\u00e9t\u00e9. C&rsquo;est pourquoi des gouvernements et des acteurs de la soci\u00e9t\u00e9 civile ont d\u00e9velopp\u00e9 des outils d&rsquo;\u00e9valuation d&rsquo;impact algorithmique (EIA). L&rsquo;\u00e9tude publi\u00e9e ce jour pr\u00e9sente un regard critique sur 7 outils d\u00e9velopp\u00e9s dans le Monde (Royaume-Uni, Canada, Nouvelle Z\u00e9lande, Etats-Unis et Union europ\u00e9enne). <\/p>\n\n\n\n<p><em>A quoi correspondent ces \u00e9valuations, que contiennent-elles, comment sont-elles mises en oeuvre ?<\/em> Voici quelques unes des questions trait\u00e9es par Elisabeth Lehagre, en menant un travail de recherche documentaire compl\u00e9t\u00e9 par des entretiens avec les acteurs qui con\u00e7oivent, d\u00e9ploient ou observent ces outils. <em>In fine<\/em>, c&rsquo;est la question de l&rsquo;utilit\u00e9 de ces outils qui est pos\u00e9e.<\/p>\n\n\n\n<p><strong>Evaluer: quoi ? comment ? pourquoi ?<\/strong><\/p>\n\n\n\n<p>Le premier constat est celui de la diversit\u00e9 des outils examin\u00e9s: il n&rsquo;existe pas de mod\u00e8le-type. Les \u00e9valuations d&rsquo;impact algorithmique se pr\u00e9sentent sous des formes et des contenus vari\u00e9s. Quelques exemples: <\/p>\n\n\n\n<ul><li>L&rsquo;<strong>AI Now Institute<\/strong> propose un <strong>cadre de bonnes pratiques<\/strong> incluant 5 recommandations d&rsquo;ordre g\u00e9n\u00e9ral (dont la mise en place de proc\u00e9dures pour la v\u00e9rification et le suivi externe des impacts),<\/li><li>Le <strong>Groupe d&rsquo;experts de haut-niveau<\/strong> pour une IA de confiance, rassembl\u00e9 par la Commission europ\u00e9enne, propose une <strong>liste de questions<\/strong> qui servent de base \u00e0 l&rsquo;auto-\u00e9valuation des syst\u00e8mes,<\/li><li>Le <strong>Gouvernement de la Nouvelle Z\u00e9lande<\/strong> int\u00e8gre dans sa charte des algorithmes une <strong>matrice de risques<\/strong>, qui permet de quantifier la probabilit\u00e9 d&rsquo;effets n\u00e9gatifs sur les personnes (effet improbable, occasionnel, probable) par rapport au nombre de personnes potentiellement impact\u00e9es (faible, mod\u00e9r\u00e9, \u00e9lev\u00e9).<\/li><\/ul>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter size-large\"><img decoding=\"async\" loading=\"lazy\" width=\"562\" height=\"510\" src=\"https:\/\/www.etalab.gouv.fr\/wp-content\/uploads\/2021\/07\/image-4.png\" alt=\"\" class=\"wp-image-15512\" srcset=\"https:\/\/preprod.etalab.gouv.fr\/wp-content\/uploads\/2021\/07\/image-4.png 562w, https:\/\/preprod.etalab.gouv.fr\/wp-content\/uploads\/2021\/07\/image-4-300x272.png 300w\" sizes=\"(max-width: 562px) 100vw, 562px\" \/><figcaption>La matrice de risques propos\u00e9e par le Gouvernement de la Nouvelle-Z\u00e9lande<\/figcaption><\/figure><\/div>\n\n\n\n<p>L&rsquo;outil propos\u00e9 par le <strong>Gouvernement du Canada<\/strong> (conseil du Tr\u00e9sor) se distingue car il permet de <strong>calculer automatiquement le niveau de risques<\/strong> d&rsquo;un syst\u00e8mes en r\u00e9pondant \u00e0 quelques questions. Selon le niveau d&rsquo;incidence ainsi calcul\u00e9, des recommandations particuli\u00e8res sont formul\u00e9es.<\/p>\n\n\n\n<p>La plupart des outils \u00e9tudi\u00e9s cherchent \u00e0 \u00e9valuer les impacts individuels et sociaux, voire soci\u00e9taux, des syst\u00e8mes algorithmiques mis en place. Mais, l\u00e0 encore, c&rsquo;est la diversit\u00e9 qui pr\u00e9vaut. Certains outils mettent l&rsquo;accent sur les droits fondamentaux (droits et libert\u00e9s des personnes, droit \u00e0 la vie priv\u00e9e, non-discrimination). D&rsquo;autres privil\u00e9gient une approche par domaine d&rsquo;impact: bien-\u00eatre, sant\u00e9, environnement par exemple.<\/p>\n\n\n\n<p><strong>Des outils d&rsquo;auto-\u00e9valuation qui doivent encore faire leurs preuve<\/strong>s<\/p>\n\n\n\n<p>Elisabeth Lehagre s&rsquo;est aussi attach\u00e9e \u00e0 comprendre comment ces outils sont mis en oeuvre, en pratique. Deux questions \u00e9mergent: la <strong>compr\u00e9hension<\/strong> de ces outils par les acteurs qui sont cens\u00e9 les utiliser, et les limites de l&rsquo;auto-\u00e9valuation. \u00ab\u00a0<em>L&rsquo;\u00e9valuation d&rsquo;impact est-elle suffisamment compr\u00e9hensible pour \u00eatre utilisable ?<\/em>\u00a0\u00bb s&rsquo;interroge ainsi l&rsquo;auteure de l&rsquo;\u00e9tude. Les difficult\u00e9s de compr\u00e9hension peuvent \u00eatre multiples: difficult\u00e9 \u00e0 cerner de mani\u00e8re pr\u00e9cise le p\u00e9rim\u00e8tre et l&rsquo;objet de l&rsquo;\u00e9valuation (\u00ab\u00a0syst\u00e8mes d&rsquo;intelligence artificielle\u00a0\u00bb, \u00ab\u00a0algorithmes\u00a0\u00bb, \u00ab\u00a0syst\u00e8mes de d\u00e9cision automatis\u00e9e\u00a0\u00bb ?) mais aussi les domaines d&rsquo;impact (\u00ab\u00a0bien-\u00eatre\u00a0\u00bb, \u00ab\u00a0droits et libert\u00e9s des personnes\u00a0\u00bb ?). Les gouvernements canadiens et n\u00e9o-zelandais ont ainsi d\u00fb mener des actions compl\u00e9mentaires: tenue d&rsquo;ateliers pluridisciplinaires, proposition de d\u00e9finition pr\u00e9cise des syst\u00e8mes concern\u00e9s, etc. <\/p>\n\n\n\n<p>La seconde interrogation concerne l&rsquo;<strong>auto-arbitrage<\/strong>. En effet, la tr\u00e8s grande majorit\u00e9 de ces outils ont \u00e9t\u00e9 pens\u00e9s comme des outils d&rsquo;auto-\u00e9valuation interne, o\u00f9 les personnes r\u00e9alisant l&rsquo;exercice d&rsquo;\u00e9valuation sont aussi celles en charge de la conception et du d\u00e9ploiement de ces outils. Afin d&rsquo;\u00e9viter les risques li\u00e9s \u00e0 l&rsquo;auto-arbitrage (o\u00f9 les m\u00eames acteurs sont potentiellement juge et partie), plusieurs recommandations ont \u00e9t\u00e9 d\u00e9velopp\u00e9es, dont l&rsquo;importance de rendre publique et transparente les \u00e9valuations d&rsquo;impact algorithmique. La possibilit\u00e9 de faire participer des tiers (pairs en interne ou experts externes) \u00e0 l&rsquo;\u00e9valuation ou au contr\u00f4le des syst\u00e8mes est une autre piste \u00e9tudi\u00e9e.<\/p>\n\n\n\n<p><strong>Une \u00e9tude pour ouvrir le d\u00e9bat <\/strong>et faire conna\u00eetre les outils<\/p>\n\n\n\n<p>Par la publication de cette \u00e9tude in\u00e9dite en France,<strong> Etalab<\/strong> souhaite contribuer au d\u00e9bat, au niveau national et international, sur l&rsquo;\u00e9valuation des impacts des algorithmes. Cette question est au coeur de la future r\u00e9gulation sur l&rsquo;Intelligence artificielle dont une premi\u00e8re version vient d&rsquo;\u00eatre rendue publique par la Commission europ\u00e9enne. Il s&rsquo;agit aussi de donner acc\u00e8s \u00e0 une large communaut\u00e9 de concepteurs de ces syst\u00e8mes (au sein des administrations et au-del\u00e0) aux derniers outils existants au niveau international.<\/p>\n\n\n\n<div class=\"wp-block-file\"><a href=\"https:\/\/www.etalab.gouv.fr\/wp-content\/uploads\/2021\/07\/Rapport_EIA_ETALAB-.pdf\">\u00ab\u00a0<strong>L&rsquo;\u00e9valuation d&rsquo;impact algorithmique: un outil qui doit encore faire ses preuves<\/strong>\u00a0\u00bb (Elisabeth Lehagre, juillet 2021):<br><\/a><a href=\"https:\/\/www.etalab.gouv.fr\/wp-content\/uploads\/2021\/07\/Rapport_EIA_ETALAB-.pdf\" class=\"wp-block-file__button\" download>T\u00e9l\u00e9charger l&rsquo;\u00e9tude compl\u00e8te (28 pages)<\/a><\/div>\n\n\n\n<div class=\"wp-block-file\"><a href=\"https:\/\/www.etalab.gouv.fr\/wp-content\/uploads\/2021\/07\/Resume-Rapport-EIA-ETALAB.pdf\"> <\/a><a href=\"https:\/\/www.etalab.gouv.fr\/wp-content\/uploads\/2021\/07\/Resume-Rapport-EIA-ETALAB.pdf\" class=\"wp-block-file__button\" download>T\u00e9l\u00e9charger le r\u00e9sum\u00e9 (2 pages)<\/a><\/div>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-dailymotion wp-block-embed-dailymotion wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"L&#039;\u00e9valuation des impacts algorithmiques : quels outils ? Pour quels r\u00e9sultats ?\" frameborder=\"0\" width=\"500\" height=\"281\" src=\"https:\/\/www.dailymotion.com\/embed\/video\/x82n2og\" allowfullscreen allow=\"autoplay\"><\/iframe>\n<\/div><figcaption>Webinaire de pr\u00e9sentation de l&rsquo;\u00e9tude avec Elisabeth Lehagre, Elodie Quezel (Signaux Faibles) et Hubert Guillaud (InternetActu)<\/figcaption><\/figure>\n","protected":false},"excerpt":{"rendered":"<p>Les algorithmes jouent un r\u00f4le croissant dans la sph\u00e8re publique, qu&rsquo;il s&rsquo;agisse de calculer le montant d&rsquo;une aide sociale, d&rsquo;attribuer une place en cr\u00e8che ou d&rsquo;\u00e9valuer les risques de d\u00e9faillance des entreprises. La France s&rsquo;est dot\u00e9 d&rsquo;un cadre juridique en faveur d&rsquo;une plus grande transparence de ces syst\u00e8mes et d&rsquo;un droit \u00e0 l&rsquo;explication pour les &hellip;<\/p>\n<p class=\"read-more\"> <a class=\"\" href=\"https:\/\/preprod.etalab.gouv.fr\/evaluer-les-impacts-des-algorithmes-publication-dune-etude-internationale-realisee-a-la-demande-detalab\"> <span class=\"screen-reader-text\">Evaluer les impacts des algorithmes: publication d&rsquo;une \u00e9tude internationale r\u00e9alis\u00e9e \u00e0 la demande d&rsquo;Etalab<\/span> Lire la suite\u00a0\u00bb<\/a><\/p>\n","protected":false},"author":7,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":"","site-sidebar-layout":"default","site-content-layout":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","theme-transparent-header-meta":"default","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":""},"categories":[255,26],"tags":[250],"uagb_featured_image_src":{"full":false,"thumbnail":false,"medium":false,"medium_large":false,"large":false,"1536x1536":false,"2048x2048":false,"rpwe-thumbnail":false},"uagb_author_info":{"display_name":"Simon Chignard","author_link":"https:\/\/preprod.etalab.gouv.fr\/author\/simon-chignard"},"uagb_comment_info":0,"uagb_excerpt":"Les algorithmes jouent un r\u00f4le croissant dans la sph\u00e8re publique, qu&rsquo;il s&rsquo;agisse de calculer le montant d&rsquo;une aide sociale, d&rsquo;attribuer une place en cr\u00e8che ou d&rsquo;\u00e9valuer les risques de d\u00e9faillance des entreprises. La France s&rsquo;est dot\u00e9 d&rsquo;un cadre juridique en faveur d&rsquo;une plus grande transparence de ces syst\u00e8mes et d&rsquo;un droit \u00e0 l&rsquo;explication pour les\u2026","_links":{"self":[{"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/posts\/15504"}],"collection":[{"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/comments?post=15504"}],"version-history":[{"count":14,"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/posts\/15504\/revisions"}],"predecessor-version":[{"id":15528,"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/posts\/15504\/revisions\/15528"}],"wp:attachment":[{"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/media?parent=15504"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/categories?post=15504"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/preprod.etalab.gouv.fr\/wp-json\/wp\/v2\/tags?post=15504"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}