posted on 22 mai 2024

Réunis au sein du Conseil de l’Union européenne, les États-membres ont adopté hier le règlement IA, dédié à la régulation des systèmes d’Intelligence Artificielle. Cette étape marque l’adoption définitive de cet édifice législatif en discussion depuis 2021, et présenté au départ comme un instrument de protection des droits et libertés face au rouleau compresseur de l’IA. À l’arrivée, loin des promesses initiales et des commentaires emphatiques, ce texte est taillé sur mesure pour l’industrie de la tech, les polices européennes et autres grandes bureaucraties désireuses d’automatiser le contrôle social. Largement fondé sur l’auto-régulation, bardé de dérogations, il s’avère totalement incapable de faire obstacle aux dégâts sociaux, politiques et environnementaux liés à la prolifération de l’IA.

L’histoire avait commencé avec de belles promesses. En avril 2021, au moment de présenter sa proposition de règlement, la Commission européenne nous écrivait pour nous rassurer : elle porterait la « plus grande attention » à la pétition européenne lancée par Reclaim Your Face — coalition à laquelle La Quadrature du Net a participé – pour demander l’interdiction de la surveillance biométrique automatisée des espaces publics. Le texte présenté quelques jours plus tard par la Commission s’accompagnait d’une proposition de moratoire sur certains de ces usages, au milieu d’un ensemble de mesures conçues pour mettre un minimum d’ordre dans un marché de l’IA en plein essor.

Deux ans plus tard, le Parlement européen poussait le texte un cran loin, étendant diverses interdictions relatives aux usages policiers des techniques d’IA, ou contre les systèmes de « scoring » et autres formes de « notation sociale ». Mais après les coups de butoir des gouvernements des États-membres, au premier rang desquels les autorités françaises, rien ou presque des promesses initiales ne subsiste. Reste un « paquet législatif » certes volumineux, voire bavard, mais aussi très flou. Le règlement fait la part belle à l’auto-régulation et s’avérera incapable de protéger l’intérêt général face à la prolifération programmée des systèmes d’IA.

Une loi pour faire proliférer l’IA

Comme nous l’avions craint, plutôt que d’élever les garanties en matière de droits fondamentaux, le règlement IA vise à faire proliférer la production de données et leur collecte au bénéfice de l’industrie. Les textes européens comme le Règlement européen sur la protection des données (RGPD), entrés en vigueur en 2018, se retrouvent en partie affaiblis par ces nouvelles règles spéciales applicables aux systèmes d’IA.

Mais pour les acteurs publics et privés ayant poussé à l’adoption de ce texte, l’enjeu prioritaire n’a jamais été de protéger les droits fondamentaux. Le règlement est fondé sur une approche « par les risques », classant les types de systèmes d’IA ou leurs domaines d’application (police, santé, emploi, etc.) en fonction de quatre catégories de risque (risque faible non ciblé par le règlement ; risque limité pour certains systèmes soumis aux seules mesures de transparence prévues par l’article 50 ; risque élevé soumis aux obligations diverses du règlement ; risque inacceptable pour les quelques pratiques interdites par l’article 5).

À travers cet édifice législatif destiné à réguler un sous-secteur de l’industrie informatique en pleine expansion, et alors que les controverses autour de l’IA se multiplient – qu’il s’agisse de ses effets déshumanisants sur le travail, de son coût environnemental, de son impact sur les droits fondamentaux –, l’objectif est avant tout de poser les conditions d’une plus grande « acceptabilité sociale » de ces technologies pour mieux les imposer.

Dans ce processus, Emmanuel Macron et le gouvernement français auront joué à merveille leur partition. Tout affairé à la promotion de la Startup Nation, obnubilé par la course à l’innovation pour mieux attirer les capitaux étrangers, ne craignant pas les conflits d’intérêt et autres formes de corruption au cours des négociations sur le règlement, l’État français a en effet une responsabilité historique dans ce reniement.

La stratégie est pourtant assumée. Elle se poursuit aujourd’hui à travers le projet de loi « simplification de la vie économique », qui vise notamment à accélérer les procédures de construction de data centers en faisant obstacle aux contestations locales. Microsoft en est l’un des principaux bénéficiaires, puisque le géant de l’informatique vient d’annoncer un investissement de 4 milliards d’euros pour démultiplier ses infrastructures de stockage et de calcul sur le territoire français. Et c’est également Microsoft qui a mis le grappin sur Mistral AI, promu comme champion national de l’IA, en annonçant un accord de partenariat avec la startup française sitôt l’accord politique conclu sur le texte du règlement IA. L’argument de la souveraineté numérique avancé par la France pour abaisser les exigences du règlement IA a donc bon dos, puisqu’en pratique l’État s’accommode très bien du renforcement des positions dominantes des multinationales de la tech.

En vertu du règlement adopté hier, ce sont les entreprises qui conçoivent les systèmes d’IA qui seront les premières compétentes pour de prononcer sur le niveau de risque que présentent leurs produits (article 43). Il leur sera alors loisible de considérer que ces systèmes ne sont pas risqués et donc exempts de toute régulation en vertu du règlement. Autrement, ce sont des organismes privés de certification qui seront amenés à délivrer des attestations de conformité¹. De manière générale, les formes de régulation promues par le règlement s’assimilent essentiellement à de l’auto-régulation et au suivi de « bonnes pratiques », le tout sous l’égide d’organismes de standardisation de droit privé (le CEN-CENELEC au niveau européen ou l’AFNOR en France) au sein desquels l’industrie aura toutes latitudes. Autant dire que le débat consistant à savoir qui, en France, de la CNIL, de l’Arcep ou de l’Arcom sera chargée de superviser l’application du règlement ne revêt pas d’énorme enjeu. 

Autre signe des considérations dont l’industrie fait l’objet, le chapitre VI contient un grand nombre de dispositifs réglementaires censés « soutenir l’innovation », afin de permettre au secteur privé d’entraîner ses modèles d’IA avec un soutien renforcé des pouvoirs publics.

La Technopolice en roue libre

S’il était clair depuis le début que l’approche par les risques promue par l’Union européenne pour réguler l’IA était conçue pour réguler un marché plutôt que de protéger les droits fondamentaux, au moins pouvait-on espérer que les usages les plus dangereux des systèmes d’IA, à l’image de la reconnaissance faciale, soient bannis au titre des « risques inacceptables ». C’était en tout cas une demande de dizaines d’ONG et de plus de 250 000 citoyen·nes européen·nes réuni·es dans la coalition Reclaim Your Face et ce que laissait entendre la Commission au départ.

Là encore, la France a œuvré avec d’autres États à tenir en échec toutes prétentions en la matière, laissant les coudées franches aux forces de police et à l’industrie de la surveillance. L’analyse du texte permet de l’illustrer. L’article 5, qui dresse la liste des diverses interdictions ayant subsisté, proscrit bel et bien « l’utilisation de systèmes d’identification biométrique à distance en temps réel ». L’article 5.2 semble ici couvrir de nombreuses applications de vidéosurveillance algorithmique (VSA). Sauf que, d’une part, toute utilisation de tels systèmes échappe à cette formulation dès lors qu’elle est conduite en temps différé. Et que là encore, des exceptions en réduisent drastiquement la portée : le recours à la reconnaissance faciale en temps réel sera en effet possible dès lors qu’il s’agit de retrouver des victimes « d’enlèvement, de la traite ou de l’exploitation sexuelle d’êtres humains, ainsi que la recherche de personnes disparues », s’il s’agit de prévenir « une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques », ou encore pour prévenir « une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste ». Autant de pieds dans la porte qui pourront facilement être étendus à de nouvelles situations à l’avenir.

Qui plus est, en la matière, les services de renseignement se voient libérés de toute contrainte. C’est également le cas des équipes de recherches scientifiques pourront « innover » à loisir. L’article 2.3, relatif au champ d’application du règlement, précise en effet que celui-ci, et donc les interdictions qu’il énonce, ne s’applique pas « aux systèmes d’IA développés à des fins de recherche scientifique, ni à ceux utilisés à des fins militaires, de défense ou de sécurité nationale ». Soit d’autres trous béants dans la raquette.

En pratique, toutes les formes d’IA policières contre lesquelles nous nous battons dans le cadre du projet Technopolice semblent permises par le règlement, de la VSA à la police prédictive. Tout au plus pourront-elles être considérées comme « à haut risque », car relevant de certains domaines d’applications sensibles définis dans l’annexe III². Elles seront alors soumises à des obligations renforcées de transparence et de standardisation : les responsables de ces systèmes devront ainsi identifier, évaluer et traiter les « risques raisonnablement prévisibles (…) pour la santé, la sécurité ou les droits fondamentaux » (article 9.2), mettre en place des bonnes pratiques en matière de gouvernance des données (article 10), et tenir des registres liés aux activités de leurs systèmes (article 12). Standardisation et auto-régulation, sous l’égide d’agences publiques chargées d’organiser le tout, seront donc de mise.

La transparence des systèmes à haut risque restera extrêmement limitée en matière technopolicière. Car si de tels systèmes doivent normalement être répertoriés dans un registre public, les forces de l’ordre et les services d’immigration ont obtenu une dérogation qui limitera drastiquement les données qu’ils auront à fournir (article 49.4). Elles n’auront pas non plus à publier les études d’impact, ce qui est normalement obligatoire pour les systèmes à haut risque.

Enfin, même lorsqu’ils seront effectivement classés à haut risque, encore faut-il que les systèmes IA à haut risque n’échappent pas à l’autre dérogation léonine ajoutée au texte. Un « filtre » défini à l’article 6.3 prévoit en effet que les obligations ad hoc ne s’appliquent pas dès lors que les systèmes d’IA considérés sont destinés à « accomplir un tâche procédurale étroite », à « améliorer ou optimiser » le résultat d’une « tâche humaine » déjà accomplie, s’ils ne réalisent qu’une « tâche préparatoire », ou si plus généralement, bien que relevant théoriquement des applications à haut risque définies à l’annexe III, ils « ne présente pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques ». Toutes ces notions juridiques paraissent particulièrement larges et laissent la porte ouverte à tous les abus, a fortiori dès lors qu’elles sont laissées à l’appréciation d’acteurs privés.

Quant aux systèmes de police prédictive basés sur le calcul de scores de risque par zones géographiques, dont nous soulignions récemment les dangers en terme de discrimination, il semble qu’ils échappent à la définition très restrictive proposée en la matière dans l’annexe III relative aux systèmes à haut risque, et donc aux obligations prévues pour cette catégorie³.

Algos de contrôle social et greenwashing en embuscade

En matière de « crédit social », également mis en avant comme l’une des proscriptions les plus ambitieuses posées par le texte et qui apparaissait comme une manière de préserver la bonne conscience européenne face à la dystopie numérique « à la chinoise », c’est encore la douche froide. La « notation sociale » – par exemple celle pratiquée par les Caisses d’allocations familiales que nous documentons depuis des mois – reste permise dès lors qu’elle ne relève pas, à l’instar des systèmes expérimentés en Chine, d’un système centralisé captant des données issues de contextes sociaux différents (police, travail, école, etc.) (considérant 31). Les notations sectorielles utilisées par les organismes sociaux pourront continuer de plus belle : bien qu’il les classe dans les applications à haut risque, et en dehors de quelques obligations procédurales déjà évoquées, le règlement n’apporte rien pour lutter efficacement contre les algorithmes discriminatoires des administrations sociales en matière de notation et de flicage des bénéficiaires.

Restent des déclarations de principe, dont la nature contradictoire devrait pourtant sauter aux yeux. On pense notamment au vœu pieu que « les systèmes d’IA [soient] développés et utilisés d’une manière durable et respectueuse de l’environnement » (considérant 27). Ou de l’idée décidément tenace qu’une informatisation toujours plus poussée permettra de répondre à l’enjeu du changement climatique (considérant 4), alors que dans le même temps, notamment à travers la loi de simplification déjà citée, on encourage à tout-va la construction de data centers hyper-énergivores et qu’on relance l’extraction minière pour accompagner la « transition numérique ». Rien de bien surprenant puisque, chez les technocrates et autres apôtres des hautes technologies, l’IA est désormais un élément clé de tout bon discours de greenwashing.

Les seules règles en matière d’impact environnemental posée par le règlement IA consistent en la fourniture, par les concepteurs de système d’IA à haut risque qui cherchent à faire certifier leurs produits, d’informations visant à « améliorer les performances des systèmes d’IA en matière de ressources, telles que la réduction de la consommation d’énergie et d’autres ressources par le système d’IA (…) au cours de son cycle de vie », ou relatives au « développement économe en énergie de modèles d’IA à usage général » (article 40). Dans le même ordre d’idées, dans le cadre de l’annexe XI, les concepteurs d’IA génératives fondées sur de grands modèles de données, à l’image d’OpenAI, devront également fournir des informations sur « la consommation d’énergie connue ou estimée » liée à l’entraînement et à l’utilisation de ces modèles. Le tout étant là aussi chapeauté par les organismes de normalisation, l’exercice ne devrait être qu’une simple formalité aux effets parfaitement cosmétiques.

À l’arrivée, loin de protéger les valeurs de démocratie, d’État de droit et de respect pour l’environnement que l’Union européenne prétend encore incarner comme un phare dans la nuit, le règlement IA reste le produit d’une realpolitik désastreuse. Face à l’étau formé par la Chine et les États-Unis, il doit en effet permettre de relancer l’Europe dans la course aux dernières technologies informatiques, perçues comme de véritables étalons de puissance. Non seulement cette course paraît perdue d’avance mais, ce faisant, l’Union européenne participe à légitimer une fuite en avant techno-solutionniste dangereuse pour les libertés et insoutenable au plan écologique.

La généralisation de l’IA, en tant que paradigme technique et politique, a pour principal effet de démultiplier les dégâts engendrés par la sur-informatisation de nos sociétés. Puisqu’il est désormais clair que ce règlement ne sera d’aucune utilité pour enrayer l’emballement actuel, c’est d’autres moyens de lutte qu’il va nous falloir collectivement envisager.

---

1. Veale, Michael, et Frederik Zuiderveen Borgesius. « Demystifying the Draft EU Artificial Intelligence Act — Analysing the Good, the Bad, and the Unclear Elements of the Proposed Approach ». Computer Law Review International 22, n° 4 (1 août 2021), p. 106. https://doi.org/10.9785/cri-2021-220402 ↩︎
2. L’annexe III définit comme étant à haut risque les systèmes d’IA liées aux applications suivantes :  surveillance biométrique, gestion d’infrastructures critiques, de l’éducation et de la formation professionnelle, de l’emploi et de la gestion de la main d’œuvre, l’accès aux services publics et prestations sociales, la police prédictive, le contrôle des migrations et l’administration de la justice. ↩︎
3. L’annexe III, qui dresse la liste des applications à haut risque, n’évoque à l’article 6.d. que « les systèmes d’IA destinés à être utilisés par les autorités répressives ou par les institutions, organes et organismes de l’Union, ou en leur nom, en soutien aux autorités répressives pour évaluer le risque qu’une personne physique commette une infraction ou récidive, sans se fonder uniquement sur le profilage des personnes physiques visé à l’article 3, paragraphe 4, de la directive (UE) 2016/680, ou pour évaluer les traits de personnalité, les caractéristiques ou les antécédents judiciaires de personnes physiques ou de groupes ».
4. https://www.laquadrature.net/2024/05/22/le-reglement-ia-adopte-la-fuite-en-avant-techno-solutionniste-peut-se-poursuivre/