les mutations de l'eugénisme dans la société numérique
back






Depuis quelques années, l’essor du champ de potentialités que dévoile l’intelligence artificielle laisse entrevoir une perspective étrange; la ré-émergence d’échelles arbitraires établies par des programmes, dans des visées utilitaristes et un enracinement essentialiste. Ce tissu de systèmes est enraciné dans l’organisation sociétale et semble cristalliser les plus grands espoirs scientifiques d’une compréhension du monde totale et objective, mais aussi les plus grandes craintes singularistes trouvant écho dans la science-fiction d’une intelligence unique et suprême qui pourrait prendre la décision de nous éliminer. Bien évidemment il se trouve qu’à l’inverse, les programmes qui modèlent nos quotidiens et nos identités agissent dans une quasi-opacité selon des objectifs de pseudo prédiction amenant justement, à une résurgence de pseudo sciences ayant agi pendant un temps sur notre Histoire.

En 2016, Xiaolin Wu et Zhang Xi, issus de l’université Jiao Tong publièrent le fruit d’une étude qui affirmait pouvoir différencier les visages criminels des visages non-criminels à l’aide d’une intelligence artificielle se basant elle même sur environ 2 000 photos. Après différentes critiques rapprochant leur recherche de célèbres travaux eugénistes, comme ceux de Bertillon, Lombroso ou Galton, ils afffirmèrent: ‘Like most technologies, machine learning is neutral’. En 2017, Michal Kosinski et Yilun Wang publièrent les résultats d’une étude dans laquelle ils affirmaient qu’ils avaient réussi à concevoir une intelligence artificielle capable de différencier un visage homosexuel d’un visage hétérosexuel.







Cette pseudo-science appliquée avec l’emballage digital de neutralité rappelle, de manière assez directe, les grandes études eugénistes qui ont jalonné la compréhension de l’humain du XIX au XXe siècle: la science à des fins de tri social. L’eugénisme vise à améliorer l’humanité selon certaines échelles de valeur. Dans sa forme initiale, l’eugénisme est appliqué en stérilisant un certain nombre de personnes en s’agencant autour de l’idée que des actes, des parts de l’identité humaine issues de l’existence relèvent de l’essence et se transmettent par le gène: on parle de déterminisme biologique. L’eugénisme s’établit donc dans une optique de normativation, la répétition d’une norme dans les corps par l’effacement systématique et systémique d’individus hors de la norme. L’eugénisme c’est finalement considérer que l’humain est un ensemble de prédispositions, une répétition linéaire de générations en générations de comportements et d’attributs physiques; donc qu’il est prévisible. En ce sens , on peut percevoir des mutations opaques, diffuses de l’eugénisme s’imbriquant les unes les autres dans des formes poussiéreuses avec un vernis, celui de la société numérique.

L’eugénisme digital s’inscrit dans un contexte particulier: d’abord dans un rapport spécial à la science et au domaine de la technique comme observatoire neutre du réel, et à l’ère de règne de la classe vectorialiste, terme théorisé par la chercheuse Mc Kenzie Wark, qui constitue l’équivalent de la nouvelle classe bourgeoise, possédant non plus les moyens de production mais bien les moyen d’acheminer la production. Le pouvoir de domination de cette classe se nourrit d’une abondance de données, de leur déplacement et leur agencement , il est donc logique que ces éléments relèvent de l’ordre de l’obsession: renforcer chacun de ces points permet la longevité de ce système. Si j’aborde ici la classe vectorialiste, c’est que ces pouvoirs, et leur extension constante forment le terreau idéal des dérives eugénistes dans la société numérique. L’usage intensif du calcul, de la modélisation, de la simulation, de la prédiction, ainsi que l’automatisation de ces derniers est ce qui exacerbe des mécanismes essentialistes: si l’on adresse une information, ou une marchandise à un public, il faut savoir le reconnaître sans le connaître, en passant donc forcément par un applatissement excluant ou en simplifiant à outrance une certaine catégorie de population et créant de ce fait, une nouvelle réalité. Cette réalité, c’est la métamorphose de nos identités humaines en typologies, en images figées dans laquelle les systèmes de vision machiniques peuvent tracer traits, boîtes, points: des quantité de données qui nous retranscrivent en informations.







"By adding lines and boxes to the images, machines allegedly become more autononomous. This goes especially for recent weapons systems that are called autonomous to convey the idea that they are becoming gradually more independant of human supervision and control. But the images are not decoded by machines just to prove their intelligence. They are used as models to trigger actions and to create reality"
Hito Steyerl, Duty Free Art



Le besoin irrépressible de trouver des corrélations absurdes dans l’humain n’est pas nouveau. En 1980, le théoricien Stephen Jay Gould publie son ouvrage “La Malmesure de l’Homme”, dans lequel il interroge les mécanismes de pensée et les applications de l’eugénisme de l’époque, dont il caractérise les erreurs majeures par la racine réductionniste, “autrement dit le désir d’expliquer les phénomènes de grande échelle, irréductiblement complexes, et partiellement gouvernés par le hasard, en invoquant le comportement déterministe d’élements constitutifs très petits”, par la “réification, autrement dit la tendance à convertir des concepts abstraits [...]en entités concrètes”, par “la tendance à la dichotomie”, suivre le monde de façon manichéenne, et enfin par “le concept de hiérarchie, autrement dit la tendance à classer des entités en fonction d’une échelle linéaire de valeurs”. Le simple fait de vouloir trouver des corrélations entre des visages et des actes ou une sexualité pourrait s’inscrire dans la longue lignée des travaux issus des pseudos-sciences phrénologues, mais à l’ère du digital, la donne change. Comme le développe James Bridle dans son ouvrage “The New Dark Age”, la complexité et la rapidité avec laquelle se construisent ces technologies construit un mysticisme autour d’elles alors on laisse “les plus compétents” les concevoir. Dans les deux études vues précedemment, on assiste à un phénomène de biais de confirmation: le besoin maladif de trouver des corrélations entre inné et acquis chez l’humain a mené à une tendance de l’esprit, celle de rechercher en priorité les données qui vont de pair avec l’hypothèse initiale. Dans les deux études, l’étroitesse du processus scientifique avec laquelle a été formulée ce type de théories était si fort que ces possibles altérations n’ont pas été adressées: la base de donnée qui demeure le point de départ de toute intelligence artificielle ne peut être neutre. Des points communs dans plusieurs visages homosexuels viennent probablement du fait que les photos utilisées viennent de Grindr, et ces répétitions viendraient alors de présentations de soi, de conventions sociales omniprésentes sur ce site de rencontre queer. Des points communs dans différents visages criminels et différents visages non-criminels pourraient probablement être reliés aux conditions de prise de photo, (un contexte de photographie d’identité contre un contexte de photographie d’identité judiciaire) impliquant diverses micro-expressions







Outre la simple faillibilité entre les mailllons qui ont constitué le processus de recherche, les intentionalités derrière ces études ne sont pas explicitées. On peut se douter que la perspective de déceler un visage criminel sans passer par un dispositif judiciaire est motivée et justifiée par la mise au point d’une société ‘plus sûre’. Il est aussi important de relever qu'une peur profonde que la criminalité, l'homosexualité puissent prendre toutes les formes, et porter le même corps que nos deux scientifiques : les criminels, les homosexuels, c’est les Autres, ils doivent être identifiés et sécables de la majorité dominante. Ce que performent ces systèmes, c’est, en se basant sur une base de donnée, déterminer la probabilité qu’une personne soit homosexuelle, criminelle, en fonction d’autres visages criminels ou homosexuels: il n’est pas vraiment question de prédiction, mais d’imitation, de répétition. Ce faisant, notre réalité se trouve ancrée dans un tissu de ‘pattern’, de boucles et de score. Les scores, dans la société numérique, sont les nouvelles échelles de valeurs arbitraires rassemblant des individualités complexes, larges multiples, fluides et abstraites dans des typologies concrètes, mesurables.

“It’s important to remember that these models usually predict the past rather than the future. Their reconstructions only become predictions if we assume that the future can be no different from the past. They’re trained and tested using past data.”
Wendy Hui Kyong Chun, Discriminating Data







En 2014, Brisha Borden était en retard pour aller chercher sa filleule à l’école. Elle et son amie s’emparèrent d’un vélo pour enfant qui traînait dans la rue avant de le délaisser pour finir la route à pied. Il était trop tard puisqu’un voisin les apercut et appela la police. La même année, Vernon Prater, qui avait déjà été arrété pour vol à main armée, et tentative de vol à main armé fut surpris en plein acte de vol dans un magasin.

Quelque chose d’étrange arriva lorsque ces deux individus furent jugés: un algorithme attribua à chacun un score prédisant pour chacun une probabilité de récidive. Brisha Borden, une personne noire, eut un score plus élevé que Vernon Prater, qui est blanc. Quelques années après Vernon Prater commit de nouveau un crime similaire. Compas est un logiciel judiciaire fonctionnant avec de l’IA attribuant des scores de probabilités de récidive selon les ‘profils’ des individus. Ces scores, s’ils sont attribués à de la prédiction, ne le sont pas. Ils copient collent des cas de figure, des actes, avec des individualités et rassemblent les personnes jugées dans des typologies: leur score dépend du jugement qui a été attribué à des individus similaires. La peine attribuée avec ce ‘threat score’ accorde à la personne jugée le poids du passé, d’institutions profondémment racistes en l’enfermant dans un déterminisme effrayant, dans une boucle infernale. On peut demander à un système d’apprendre à reconnaître une voiture, une couleur, de détecter un mouvement ou bien un objet quelquonque. Mais comment lui faire reconnaître l’abstraction d’un concept tel que la criminalité sans aboutir à des corrélations absurdes? L’obsession de la mesure, de la prédiction liée à la société numérique et à la classe vectorialiste qui la dirige n’a que faire du bon fonctionnement de ces éléments, et développe sa gouvernance par des systèmes faillibles, dysfonctionnels, et fausses capacité de prédiction.





Le programme mis au point par l’entreprise Northpointe fonctionne ainsi sur une base de questionnaire lié à la vie de l’accusé.e, concernant aussi bien le foyer familial dans lequel l’individu a grandi, le nombre de personnes consommant de la drogue dans son cercle proche, le rapport au travail etc, tant de conditions présupposement sensées, sur des bases de ‘statistiques’ mener ou non à de la récidive. Le problème majeur est, outre la non véracité de ces scores, l’inscription dans une boucle, une prison de données qui déterminent les actes à venir, une sorte de destin plus ou moins inéluctable. Alors, comme le juge Mark Boessenecker le développe, “Un homme qui a molesté un enfant tous les jours pendant un an pourrait obtenir un score ‘faible risque’ parce qu’il a un travail, alors qu’à contrario un homme arrêté pour ébrieté sur la voie publique pourrait se voir attribuer un haut risque parce qu’il est sans domicile”.Ce programme, agent de gouvernance algorithmique ôte un facteur humain, de responsabilité individuelle, de conscience de la part d’un juge, d’un magistrat ou d’un procureur et remplace la lourde tâche de la décision par une suspicion immédiate et des décisions justifiées par une prétendue impartialité.

Ces systèmes opèrent avec un objectif global; aussi ancien que la société telle qu’on la connaît: celui de justifier la domination par l’institution, d’assurer le maintien des rapports de force et forcer l’effacement où la soumission par divers moyens: le déterminisme est l’arme idéale. Le mythe des cinq races prend place au temps de Kronos, où les immortels de l’Olympe, afin de maintenir une société ordonnée et fonctionnelle créerent plusieurs races d’humains: la classe d’or, des humains immortels, riches, la classe d’argent, une sorte de classe moyenne, la classe de bronze, les guerriers, et enfin la classe de fer, les ouvriers. Ces attribus sont immuables et se transmettent de manière héréditaire: un exemple idéal de combinaison entre droit naturel et divison déterministe de la société. Si les mythes et la religion ont permis de façonner des mécanismes de domination, la science et le domaine technique, forts de leur statut neutre, prennent aujourd’hui une grande part d’implication dans la création de nouvelles échelles de valeur: les “autres” demeurent dans les rouages de l’effacement avec la data comme arme sociale. Ainsi avec le cas de Compas, le simple fait d’être de tel milieu social, telle classe sociale, tel genre, telle race augmente ou diminue la peine, et on peut sans grand mal imaginer, dans une chaîne infernale de programmes nocifs, les dégâts qu’une étude comme celle de Xiaolin Wu et Zhang Xi provoquerait si elle était appliquée en complément des threat score. Il me semble judicieux de traiter ces programmes non pas comme agents actifs de construction politique et sociale, mais comme loupe grossissante: interroger ces données, ces scores pour saisir les propres biais inhérents à notre société, pointer des institutions racistes, remettre en question l’hégémonie scientifique et toute forme de déterminisme.





“Nous sommes incapables d’échapper à cette tradition philosophique qui veut que ce que nous voyons et mesurons dans le monde ne soit que la représentation superficielle et imparfaite d’une réalité cachée.”


Stephen Jay Gould, La Malmesure de l’Homme