Posted on13 mars 2024

Retrouvez l’ensemble de nos publications, documentations et prises de positions sur l’utilisation par les organismes sociaux – CAF, Pôle Emploi, Assurance Maladie, Assurance Vieillesse – d’algorithmes à des fins de contrôle social sur notre page dédiée et notre gitlab.

Il y a tout juste deux mois, nous publiions le code source de l’algorithme de notation des allocataires de la CAF. Cette publication démontrait l’aspect dystopique d’un système de surveillance allouant des scores de suspicion à plus de 12 millions de personnes, sur la base desquels la CAF organise délibérement la discrimination et le sur-contrôle des plus précaires. Ce faisant, nous espérions que, face à la montée de la contestation¹, les dirigeant·es de la CAF accepteraient de mettre fin à ces pratiques iniques. Il n’en fut rien.

À la remise en question, les responsables de la CAF ont préféré la fuite en avant. La première étape fut un contre-feu médiatique où son directeur, Nicolas Grivel, est allé jusqu’à déclarer publiquement que la CAF n’avait ni « à rougir » ni à s’« excuser » de telles pratiques. La deuxième étape, dont nous venons de prendre connaissance², est bien plus inquiétante. Car parallèlement à ses déclarations, ce dernier cherchait à obtenir l’autorisation de démultiplier les capacités de surveillance de l’algorithme via l’intégration du suivi en « temps réel »³ des revenus de l’ensemble des allocataires. Autorisation qu’il a obtenue, avec la bénédiction de la CNIL, le 29 janvier dernier⁴.

Surveillance et « productivité » des contrôles

Pour rappel, le revenu est une des quelques quarante variables utilisées par la CAF pour noter les allocataires. Comme nous l’avions montré, plus le revenu d’un·e allocataire est faible, plus son score de suspicion est élevé et plus ses risques d’être contrôlé·e sont grands. C’est donc un des paramètres contribuant directement au ciblage et à la discrimination des personnes défavorisées.

Jusqu’à présent, les informations sur les revenus des allocataires étaient soit récupérées annuellement auprès des impôts, soit collectées via les déclarations trimestrielles auprès des allocataires concerné·es (titulaires du RSA, de l’AAH…)⁵. Désormais, l’algorithme de la CAF bénéficiera d’un accès en « temps réel » aux ressources financières de l’ensemble des 12 millions d’allocataires (salaires et prestations sociales).

Pour ce faire, l’algorithme de la CAF sera alimenté par une gigantesque base de données agrégeant, pour chaque personne, les déclarations salariales transmises par les employeurs ainsi que les prestations sociales versées par les organismes sociaux (retraites, chômage, RSA, AAH, APL…)⁶ : c’est le « Dispositif des Ressources Mensuelles » (DRM). Cette base, créée en 2019 lors de mise en place de la réforme de la « contemporanéisation » des APL⁷, est mise à jour quotidiennement, et offre des capacités inégalées de surveillance des allocataires.

La justification d’une telle extension de la surveillance à l’œuvre à des fins de notation des allocataires est d’accroître la « productivité du dispositif [de l’algorithme] » selon les propres termes des responsables de la CAF⁸. Qu’importe que se multiplient les témoignages révélant les violences subies par les plus précaires lors des contrôles⁹. Qu’importe aussi que les montants récupérés par l’algorithme soient dérisoires au regard du volume des prestations sociales versées par l’institution¹⁰. Les logiques gestionnaires ont fait de la course aux « rendements des contrôles » une fin en soi à laquelle tout peut être sacrifié.

Que cette autorisation soit donnée à titre « expérimental », pour une période d’un an, ne peut être de nature à nous rassurer tant on sait combien le recours aux « expérimentations » est devenu un outil de communication visant à faciliter l’acceptabilité sociale des dispositifs de contrôle numérique¹¹.

La CNIL à la dérive

La délibération de la CNIL qui acte l’autorisation accordée à la CAF de ce renforcement sans précédent des capacités de surveillance de son algorithme de notation laisse sans voix¹². Loin de s’opposer au projet, ses recommandations se limitent à demander à ce qu’une attention particulière soit « accordée à la transparence » de l’algorithme et à ce que… le « gain de productivité du dispositif » fasse l’objet d’un « rapport circonstancié et chiffré ». La violation de l’intimité des plus de 30 millions de personnes vivant dans un foyer bénéficiant d’une aide de la CAF est donc ramenée à une simple question d’argent…

Nulle part n’apparaît la moindre critique politique d’un tel dispositif, alors même que cela fait plus d’un an que, aux côtés de différents collectifs et de la Défenseure des Droits, nous alertons sur les conséquences humaines désastreuses de cet algorithme. La CNIL alerte par contre la CNAF sur le risque médiatique auquelle elle s’expose en rappelant qu’un scandale autour d’un algorithme en tout point similaire a « conduit le gouvernement néerlandais à démissionner en janvier 2021 ». Une illustration caricaturale de la transformation du « gendarme des données » en simple agence de communication pour administrations désireuses de ficher la population.

On relèvera également un bref passage de la CNIL sur les « conséquences dramatiques » du risque de « décisions individuelles biaisées » conduisant l’autorité à demander à ce que l’algorithme soit « conçu avec soin ». Celui-ci démontre – au mieux – l’incompétence technique de ses membres. Rappelons que cet algorithme ne vise pas à détecter la fraude mais les indus ayant pour origine des erreurs déclaratives. Or, ces erreurs se concentrent, structurellement, sur les allocataires aux minima sociaux, en raison de la complexité des règles d’encadrement de ces prestations¹³. Le ciblage des plus précaires par l’algorithme de la CAF n’est donc pas accidentel mais nécessaire à l’atteinte de son objectif politique : assurer le « rendement des contrôles ». La seule façon d’éviter de tels « biais » est donc de s’opposer à l’usage même de l’algorithme.

Pire, la CNIL valide, dans la même délibération, l’utilisation du DRM à des fins de contrôle de nos aîné·es par l’Assurance Vieillesse (CNAV)… tout en reconnaissant que l’algorithme de la CNAV n’a jamais « fait l’objet de formalités préalables auprès d’elle, même anciennes »¹⁴. Soit donc qu’il est probablement illégal. Notons au passage que le rapporteur de la CNIL associé à cette délibération n’est autre que le député Philippe Latombe, dont nous avons dû signaler les manquements déontologiques auprès de la CNIL elle-même du fait de ses accointances répétées et scandaleuses avec le lobby sécuritaire numérique¹⁵.

« Solidarité » à la source et contrôle social : un appel à discussion

Si nous ne nous attendions pas à ce que le directeur de la CAF abandonne immédiatement son algorithme de notation des allocataires, nous ne pouvons qu’être choqué·es de voir que sa seule réponse soit de renforcer considérablement ses capacités de surveillance. C’est pourquoi nous appelons, aux côtés des collectifs avec qui nous luttons depuis le début, à continuer de se mobiliser contre les pratiques numériques de contrôle des administrations sociales, au premier rang desquelles la CAF.

Au-delà du mépris exprimé par la CAF face à l’opposition grandissante aux pratiques de contrôle, cette annonce met en lumière le risque de surveillance généralisée inhérent au projet gouvernemental de « solidarité » à la source. Présenté comme la « grande mesure sociale » du quinquennat¹⁶, ce projet vise à substituer au système déclaratif une automatisation du calcul des aides sociales via le pré-remplissage des déclarations nécessaires à l’accès aux prestations sociales.

Étant donné la grande complexité des règles de calculs et d’attribution de certaines prestations sociales – en particulier les minima sociaux – cette automatisation nécessite en retour que soit déployée la plus grande infrastructure numérique jamais créée à des fins de récolte, de partage et de centralisation des données personnelles de la population française (impôts, CAF, Assurance-Maladie, Pôle Emploi, CNAV, Mutualités Sociales Agricoles….). De par sa taille et sa nature, cette infrastructure pose un risque majeur en termes de surveillance et de protection de la vie privée.

Et c’est précisément à cet égard que l’autorisation donnée à la CAF d’utiliser le DRM pour nourrir son algorithme de notation des allocataires est emblématique. Car le DRM est lui-même une pierre angulaire du projet de « solidarité » à la source¹⁷ – sa « première brique » selon les termes du Premier ministre – dont il constitue le socle en termes de centralisation des données financières¹⁸. Or, si sa constitution avait à l’époque soulevé un certain nombre d’inquiétudes¹⁹, le gouvernement s’était voulu rassurant. Nulle question qu’il soit utilisée à des fins de contrôle : ses finalités étaient limitées à la lutte contre le non-recours et au calcul des prestations sociales²⁰. Cinq années auront suffit pour que ces promesses soient oubliées.

Nous reviendrons très prochainement sur la solidarité à la source dans un article dédié. Dans le même temps, nous appelons les acteurs associatifs, au premier titre desquels les collectifs de lutte contre la précarité, à la plus grande prudence quant aux promesses du gouvernement et les invitons à engager une discussion collective autour de ces enjeux.

References

↑1	Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici.
↑2	Voir l’article « L’État muscle le DRM, l’arme pour lutter contre la fraude et le non-recours aux droits » publié le 01/02/2024 par Emile Marzof et disponible ici.
↑3	Bien que la fréquence de mise à jour des revenus soit majoritairement mensuelle, dans la mesure où les salaires sont versés une fois par mois, nous reprenons ici l’expression utilisée par la Cour des comptes. Voir le chapitre 9 du Rapport sur l’application des lois de financement de la sécurité sociale de 2022 disponible ici.
↑4	Décret n° 2024-50 du 29 janvier 2024 disponible ici. Voir aussi la délibération n° 2023-120 du 16 novembre 2023 de la CNIL ici. Le décret prévoit une expérimentation d’un an. La surveillance des revenus est aussi autorisée pour le contrôle des agriculteurs·rices par les Mutualités Sociales Agricoles et des personnes âgées par la Caisse Nationale d’Assurance Vieillesse.
↑5	Voir lignes 1100 du code de l’algorithme en usage entre 2014 et 2018 disponible ici : pour le calcul des revenus mensuels, la CAF utilise soit les déclarations de revenus trimestrielles (dans le cadre des personnes au RSA/AAH) divisées par 3, soit les revenus annuels divisés par 12. Si nous ne disposons pas de la dernière version de l’algorithme, la logique devrait être la même.
↑6	L’architecture de la base DRM repose sur l’agrégation de deux bases de données. La première est la base des « Déclarations Sociales Nominatives » (DSN) regroupant les déclarations de salaires faites par les employeurs. La seconde, « base des autres revenus » (PASRAU), centralise les prestations sociales monétaires (retraites, APL, allocations familiales, indemnités journalières, AAH, RSA, allocations chômage..). La base DRM est mise à jour quotidiennement et consultable en temps réel. D’un point de vue pratique, il semblerait que le transfert de données de la base DRM à la CAF soit fait mensuellement. La CAF peut aussi accéder à une API pour une consultation du DRM en temps réel. Voir notamment le chapitre 9 du rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici.
↑7	Plus précisément, cette base a été créée afin de mettre en place la réforme des APL de 2021 et l’information des assuré·es sociaux (voir la délibération de la CNIL 2019-072 du 23 mai 2019 disponible ici et le décret n° 2019-969 du 18 septembre 2019 disponible ici.) La liste des prestations sociales pour lesquelles le DRM peut être utilisé à des fins de calcul s’est agrandie avec le récent décret permettant son utilisation à des fins de contrôle (voir le décret n°2024-50 du 29 janvier 2024 disponible ici. Il peut désormais, entre autres, être utilisée pour le calcul du RSA, de la PPA – prime d’activité –, des pensions d’invalidités, de la complémentaire santé-solidaire, des pensions de retraite… Il est par ailleurs le pilier de la collecte de données sur les ressources dans le cadre du projet de « solidarité » à la source. Concernant la lutte contre la fraude, son utilisation n’était pas envisagée pour détecter des situations « à risque » même si certaines de ces données pouvaient, a priori, être utilisées notamment lors d’un contrôle par les administrations sociales (consultation RNCPS – répertoire national commun de protection sociale…) via l’exercice du droit de communication. Voir aussi le rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici ainsi que le rapport de la Cour des comptes de 2021 sur la mise en place du prélèvement à la source disponible ici.
↑8	Voir la délibération 2023-120 de la CNIL disponible ici.
↑9	Voir notamment les témoignages collectés par le collectif Changer de Cap, disponibles ici et le rapport de la Défenseure des Droits.
↑10	Les montants d’« indus » récupérés par la CAF dans le cadre des contrôles déclenchés par l’algorithme représentent 0,2% du montant total des prestations versées par la CAF. Voir ce document de la CAF.
↑11	Voir notamment notre article « Stratégies d’infiltration de la surveillance biométrique dans nos vies », disponible ici.
↑12	Voir la délibération n° 2023-120 du 16 novembre 2023 disponible ici.
↑13	Voir nos différents articles sur le sujet ici et l’article de Daniel Buchet, ancien directeur de la maîtrise des risques et de la lutte contre la fraude de la CNAF. 2006. « Du contrôle des risques à la maîtrise des risques », disponible ici.
↑14	Si nous n’avons pas encore la preuve certaine que la CNAV utilise un algorithme de profilage pour le contrôle des personnes à la retraite, la CNIL évoque concernant cette administration dans sa délibération « un traitement de profilage » et « un dispositif correspondant [à l’algorithme de la CNAF] » laissant sous-entendre que c’est le cas.
↑15	Voir aussi l’article de Clément Pouré dans StreetPress, disponible ici, qui pointe par ailleurs les relations du député avec l’extrême-droite.
↑16	Pour reprendre les termes de cet article du Figaro.
↑17	Plus précisément, cette base a été créée afin de mettre en place la réforme des APL de 2021 et l’information des assuré·es sociaux (voir la délibération de la CNIL 2019-072 du 23 mai 2010 disponible ici et le décret n° 2019-969 du 18 septembre 2019 disponible ici.) La liste des prestations sociales pour lesquelles le DRM peut être utilisé à des fins de calcul s’est agrandie avec le récent décret permettant son utilisation à des fins de contrôle (voir le décret n°2024-50 du 29 janvier 2024 disponible ici. Il peut désormais, entre autres, être utilisée pour le calcul du RSA, de la PPA – prime d’activité –, des pensions d’invalidités, de la complémentaire santé-solidaire, des pensions de retraite… Il est par ailleurs le pilier de la collecte de données sur les ressources dans le cadre du projet de « solidarité » à la source. Concernant la lutte contre la fraude, son utilisation n’était pas envisagée pour détecter des situations « à risque » même si certaines de ces données pouvaient, a priori, être utilisées notamment lors d’un contrôle par les administrations sociales (consultation RNCPS – répertoire national commun de protection sociale…) via l’exercice du droit de communication. Voir aussi le rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici ainsi que le rapport de la Cour des comptes de 2021 sur la mise en place du prélèvement à la source disponible ici.
↑18	Sénat, commission des affaires sociales, audition de M. Gabriel Attal, alors ministre délégué chargé des comptes publics. Disponible ici.
↑19	Voir notamment l’article de Jérôme Hourdeaux « Caisse d’allocations familiales : le projet du gouvernement pour ficher les allocataires » disponible (paywall) ici.
↑20	Décret n° 2019-969 du 18 septembre 2019 relatif à des traitements de données à caractère personnel portant sur les ressources des assurés sociaux disponible ici. La délibération de la CNIL associée est disponible ici.