Education, justice, emploi, politique… Les algorithmes s’invitent dans tous les pans de la société, avec des conséquences parfois dramatiques. C’est, en tout cas, le constat de Cathy O’Neil, ancienne analyste à Wall Street, frappée par le rôle joué par ces « armes de destruction mathématique », comme elle les surnomme, dans la crise financière de 2008. Depuis, cette mathématicienne américaine dénonce les effets pervers de ces programmes informatiques, notamment dans son livre Algorithmes, la bombe à retardement, sorti en 2016 aux Etats-Unis et dont la traduction française vient d’être publiée aux Arènes, mercredi 7 novembre (352 pages, 20,90 €). Entretien.

Le Monde : Comment avez-vous pris conscience que les algorithmes pouvaient représenter un danger ?

Cathy O’Neil : Je travaillais auparavant dans la finance, en lien direct avec la modélisation des risques. Et ce que j’ai réalisé, c’est que ces algorithmes n’avaient jamais été conçus pour être vraiment corrects : car si les risques étaient sous-estimés, alors nous gagnions plus d’argent. Ça a été l’une des principales causes de la crise financière de 2008.

Vous vous souvenez des titres adossés à des créances hypothécaires, notés triple A ? Cette note était censée dire que, mathématiquement, ils avaient peu de risques de s’effondrer. Alors que c’était faux. Mais les gens y croyaient, parce qu’ils font confiance aux maths.

Est-ce avec cette crise que vous avez compris l’impact que pouvaient avoir les algorithmes sur la vie des gens ?

Je n’ai pas forcément mesuré l’impact à ce moment-là, mais je savais que les conséquences étaient silencieuses et invisibles. Il y a eu un long laps de temps entre les emprunts et la perte des maisons, le lien n’était pas si simple. Et puis les emprunteurs avaient honte : ils ont été pointés du doigt pour avoir acheté des maisons trop chères pour eux. Le mécanisme social de la honte a dépassé le débat sur les algorithmes.

Quel est l’exemple le plus frappant, selon vous, d’« arme de destruction mathématique » ?

Aux Etats-Unis, des juges utilisent un algorithme, Compas, qui évalue la probabilité pour un prévenu de se faire arrêter à nouveau dans les deux ans à venir. Or, on sait que chez nous, les gens se font arrêter pour tout un tas de raisons : s’ils se droguent, s’ils sont pauvres et qu’ils urinent sur le trottoir parce qu’ils n’ont pas accès à des toilettes, ou s’ils sont noirs et qu’ils fument de la marijuana –, les Noirs se font arrêter bien plus que les Blancs pour ça, même s’ils fument autant. Il y a beaucoup de raisons de se faire arrêter qui n’ont rien à voir avec des actes violents, mais avec le fait d’être pauvre ou issu des minorités.

Et les gens que cet algorithme estime à haut risque sont emprisonnés plus longtemps, ce qui, ironiquement, augmente le risque qu’à leur sortie, ils aient moins de relations sociales, donc moins de chance de trouver du travail… Et donc plus de risques de retourner en prison.

Vous n’êtes pas la première à dénoncer les biais des algorithmes censés prédire la récidive. Pourquoi sont-ils toujours utilisés aux Etats-Unis ?

Il y a malheureusement une sorte de division politique entre les personnes qui font confiance à ces algorithmes et les autres. Ce qui est ridicule, puisque c’est censé être de la science basée sur des faits. Mais c’est justement ce que je veux démontrer : ce n’est pas une science, on n’a aucun moyen de tester les hypothèses, et même quand on pourrait le faire, on ne le fait pas !

Qui plus est, cet algorithme, tout comme celui censé prédire où envoyer les policiers pour éviter les crimes, repose sur l’hypothèse selon laquelle nous avons des données sur le crime [sur lesquelles se basent ces algorithmes pour faire leurs prédictions]. Or, nous n’avons pas de données sur le crime, mais sur les arrestations.

Dans votre ouvrage, vous dites que les pauvres sont les premiers à souffrir des algorithmes. Est-ce vrai dans d’autres domaines que la justice ?

Les pauvres sont les grands perdants de l’ère du big data. Quand je travaillais comme data scientist, mon travail était de distinguer les consommateurs à haute valeur des consommateurs à faible valeur. Par exemple, je suis moi-même une consommatrice à haute valeur, surtout pour les sites de tricot, car j’adore ça. Je suis donc vulnérable aux offres sur le cachemire.

Mais les personnes pauvres, elles, sont ciblées par des industries bien plus prédatrices. Comme des universités en ligne qui ne sont là que pour le profit, qui visent surtout des personnes si pauvres qu’elles bénéficient d’aides de l’Etat pour payer leurs études, et qui ne connaissent pas vraiment le système. Ce sont des personnes vulnérables, à qui on dit que tous leurs problèmes vont être réglés par cette éducation en ligne.

Et ce sont des algorithmes qui déterminent votre valeur…

C’est ce que fait le big data, oui. Il s’agit d’utiliser des informations qui ne paraissent pas pertinentes au premier abord, comme des « j’aime » sur les réseaux sociaux, des retweets, des recherches Google, ou bien le genre de site médical que vous visitez… Toutes ces informations sont utilisées pour créer un profil et voir si vous êtes quelqu’un de privilégié dans la vie. S’ils décident que vous l’êtes, alors ces algorithmes feront de vous quelqu’un d’encore plus privilégié. Et inversement. Ils exacerbent les inégalités.

Vous dites même, dans votre livre, que les algorithmes représentent une menace pour la démocratie. Dans quel sens ?

Je pense surtout aux réseaux sociaux qui nous servent de l’information. Le problème est que leurs algorithmes ne s’attachent pas à nous donner des informations justes, mais des informations qu’on aurait envie de voir, en se basant sur les clics d’autres personnes qui nous ressemblent. Ce sont les fameuses bulles de filtre.

Le problème, c’est quand on les combine avec la publicité ciblée. Dans les dernières heures de la campagne présidentielle américaine de 2016, l’équipe de Donald Trump a envoyé des publicités aux Afro-Américains sur Facebook pour les pousser à l’abstention. On essaie de manipuler les gens de façon très personnalisée. Je ne suis pas manipulée de la même façon que vous l’êtes. On pourrait imaginer, par exemple, qu’une publicité me dise que je suis grosse, un jour d’élection, pour me décourager d’aller voter. Et ça pourrait marcher !

« Ces algorithmes nous manipulent émotionnellement »

Ces algorithmes nous empêchent d’accéder à de bonnes informations, car ils nous manipulent émotionnellement. Ils détériorent la démocratie.

Pensez-vous à l’inverse que les algorithmes puissent être utilisés aussi à bon escient ?

Certains algorithmes, selon leur utilisation, peuvent vraiment aider les gens ou détruire le système. Prenez la santé : vos données peuvent être utilisées par un médecin pour vous dire si vous présentez certains risques, quel traitement vous devriez prendre, etc. Mais le même programme peut être utilisé par des assurances pour se débarrasser des gens qui risqueraient de tomber malades et de leur coûter cher.

Le bon algorithme est celui qui travaille pour l’égalité. Pour cela, il faut se demander à chaque fois à qui cet algorithme nuit.

Vous évoquez dans votre livre une « guerre silencieuse », dont « les victimes n’ont pas les armes nécessaires pour livrer bataille ». Que peut-on faire à l’échelle individuelle ?

C’est une question très importante et, malheureusement, je n’ai pas de bonne réponse. Imaginez qu’un algorithme d’embauche rejette votre candidature parce que vous êtes une femme. Comment allez-vous le savoir ? Comment allez-vous trouver d’autres personnes traitées injustement ? Et comment allez-vous vous rassembler, vous organiser et vous battre ? C’est impossible.

Et du côté des entreprises, des gouvernements ?

Il faudrait déjà appliquer les lois existantes ! Nous avons des lois qui rendent illégale la discrimination à l’emploi des femmes, il y en a aussi sur la finance et la justice, que l’on ne fait pas respecter. En revanche, sur la question de l’information, des bulles de filtre, je pense qu’il faut de nouvelles lois, même si c’est dur de dire à quoi elles devraient ressembler.

Par exemple, Facebook devrait s’ouvrir aux chercheurs. Aujourd’hui, ils en autorisent de temps en temps, mais ils choisissent les projets, ils ont le contrôle sur les expériences et ils décident de la publication ou non des résultats. Ils ne devraient pas avoir ce pouvoir. On a assez de raisons de suspecter Facebook d’affecter la démocratie, il faut donc qu’on sache exactement ce à quoi on a affaire.

On pourrait aussi interdire de cibler les gens avec de la publicité politique. Vous pourriez diffuser des publicités politiques, mais pas décider qui les voit. Tout le monde devrait voir la même chose.

Pensez-vous que la situation va empirer ?

C’est possible. Regardez la Chine ! Des efforts comme le RGPD [le nouveau règlement européen sur les données personnelles] sont de bons signaux, mais cela ne concerne pas directement les algorithmes, seulement les données. La loi européenne est en retard sur ce qui se passe aujourd’hui.