Thao Phan és especialista en el camp dels estudis feministes sobre Ciència, Tecnologia i Societat (CTS), i avui treballa en un centre de recerca sobre decisions automatitzades a la Universitat de Monash (Austràlia), on investiga les interseccions entre el gènere, el racisme i la tecnologia. Els seus treballs han abordat qüestions tan diverses com el gènere en les veus dels parladors intel·ligents o la construcció de categories racials en el màrqueting digital. Fa poc, ha estat a Barcelona per participar en el seminari Societats algorítmiques: Ètica i política en l’era de la intel·ligència artificial, organitzat al Centre de Cultura Contemporània de Barcelona (CCCB).
De què parlem quan parlem d’intel·ligència artificial (IA)?
És una pregunta amb una història i una resposta complexes. L’origen del terme és una convenció a Dartmouth l’estiu del 1956 en la qual es va plantejar com una qüestió de mimetisme: definir quines capacitats de les persones considerem intel·ligents i fer que una màquina segueixi els mateixos processos. Però la mateixa noció d’intel·ligència té una història amarada de racisme i masclisme, i les tasques que van voler fer imitar a les màquines tenien a veure amb jocs lògics, com jugar a escacs; una visió molt limitada i generalitzada del que és la intel·ligència.
Escoltant-te em ve al cap una recerca de la Universitat Politècnica de Catalunya (UPC) per desenvolupar robots assistencials per a residències de gent gran, i potser no és el tipus de tecnologia en què pensem quan parlem d’intel·ligència artificial.
Sí, fetitxitzem les tasques “d’ordre superior” i no pensem necessàriament en la cura com un acte d’intel·ligència i empatia extremes. Però també hi ha hagut un canvi en els últims anys sobre com pensem la intel·ligència. Ara, tot gira al voltant de la creativitat, els usos creatius del llenguatge, la creació d’imatges que ens sorprenguin… Depèn d’explorar formes d’estar en l’entorn, i en aquest sentit és molt interessant pensar en la IA a les cases intel·ligents, amb controls personalitzats de la temperatura, frigorífics que es comuniquen amb les persones, o altaveus amb els quals es pot interactuar. Són tecnologies que responen a les nostres demandes i ens proveeixen cures de diferents maneres.
Sona bé, però aquestes tecnologies poden ser discriminatòries?
Reprodueixen tota mena de biaixos racistes i masclistes. Si penses en què et promet un altaveu intel·ligent, transmet un sentit de privilegi de classe; la casa intel·ligent et convida a organitzar la teva llar imitant les formes d’una casa amb servei del segle XIX. L’assistent digital es presenta amb la veu d’una dona blanca de classe mitjana per suavitzar aquesta història racialitzada i perquè volen construir una relació entre tu i l’aparell, volen crear una sensació de confort que et porti a ficar un micròfon corporatiu dins de casa. Et fa una sensació de tenir el control, una relació reminiscent de la relació amo-esclau, però si ampliem la mirada, en realitat ets tu qui està fent feina per a Amazon, tot un treball digital, construint el teu perfil i posant-te en una situació de la qual s’aprofiten.
Plantejaves que la IA es proposa imitar la intel·ligència humana. Els biaixos en les tecnologies de decisió automatitzada són simplement el fruit d’imitar les discriminacions existents en la societat? O hi ha alguna cosa més?
El que demanem als sistemes de decisió automatitzada és que trobin patrons en les relacions socials existents, i a partir d’aquests patrons automatitzem la presa de decisions per estalviar temps de treball i els diners que hauríem de pagar a una persona. També poden estar enfocats a prendre decisions més justes quan els processos de decisió humans són massa defectuosos. Per exemple, davant la discriminació dels jutges vers les persones racialitzades a l’hora de valorar el risc de reincidència. Haurien de servir per no dependre de l’estat d’ànim de la persona que pren la decisió, i ens creen una sensació d’objectivitat i neutralitat.
I la sensació es correspon amb la realitat?
A l’hora de la veritat, si entrenes el sistema amb els patrons socials existents, el que acabes fent és imprimir-hi aquestes discriminacions. Però, sota aquest aspecte de neutralitat, es fa més difícil qüestionar-les.
En La automatización de la desigualdad (Capitán Swing, 2021), Virginia Eubanks planteja que l’ús d’aquest tipus de mecanismes en polítiques d’assistència social el que fa és invisibilitzar que les qüestions que aborden són qüestions polítiques.
I és interessant, perquè les eines d’avaluació de riscos de què parla Eubanks i que es fan servir en cada cop més institucions no són ni tan sols IA, són eines clàssiques que ara s’apliquen a gran escala. A Austràlia, fa poc hem tingut un escàndol amb el cas Robodebt. Per intentar estalviar diners, el govern va crear aquest model d’auditoria dels ajuts d’assistència social, però amb un sistema de càlcul completament errat, i ho va fer servir a gran escala. Milions d’australianes que depenien d’aquesta ajuda van rebre notificacions que deien que havien de tornar tots els ajuts rebuts; la gent rebia factures de 30.000 o 50.000 dòlars. Hi va haver qui es va suïcidar després de rebre les cartes. Van provocar un patiment immens. El model matemàtic que van fer servir era terriblement defectuós, però l’origen d’aquesta situació és un apropament punitiu a la pobresa. El govern assumia que la ciutadania estava robant i buscava eines per castigar-la. Aquest és el punt de partida, i no té res a veure amb la intel·ligència artificial.
Parlàvem de com la IA reprodueix les discriminacions que existeixen a la societat, però en un article que vas escriure amb l’investigador Scott Wark analitzàveu una pràctica racista en la manera com Facebook processa les dades.
Si mirem la IA de forma molt bàsica, hi ha dos elements: les dades que recull i el model que les processa. Molta gent se centra els biaixos en les dades i planteja que, si tenim millors dades, podrem tenir millors models, però no té per què ser així. Fem servir les màquines perquè processin la informació millor del que podem fer-ho les persones, però llavors creen patrons i connexions que són imperceptibles per a nosaltres i a les quals no tenim accés. Un cop et col·loquen en una categoria, és molt difícil revertir-ho.
Què us vau trobar, concretament, en el cas de Facebook?
Van començar a oferir als anunciants fer un targeting dels seus anuncis per mitjà del que anomenaven “afinitats ètniques”, i va ser molt controvertit per dos motius. El primer, que classificaven les usuàries en tres categories –“afroamericà”, “hispànic” i “asiaticamericà”– i permetien als anunciants dirigir missatges publicitaris específicament a aquestes audiències, però també excloure-les d’alguns anuncis; es podia anunciar un pis i demanar que no es mostrés a algun d’aquests tres perfils, i això viola les lleis antidiscriminatòries i la llei d’habitatge dels Estats Units. Però el segon motiu, i més interessant, és que Facebook no demana a les usuàries que s’identifiquin amb una categoria racial i, per tant, inferia la teva identitat racial per mitjà del teu comportament. És una manera molt estranya de racialització, del tot desconnectada del cos, per mitjà de patrons i associacions, i divorciada de l’autoidentificació. La gent no només no podia triar com la identificaven, sinó que ni tan sols sabia que l’estaven marcant amb una categoria.
“Les tecnologies transmeten tota mena de biaixos racistes i masclistes: una casa ‘intel·ligent’ s’organitza imitant les formes d’una llar amb servei del segle XIX”
A l’article destacàveu que és una forma de racialització sense comunitat.
Sí, com dic, és una manera molt inusual de racialització. Normalment, n’ets conscient i pots trobar una comunitat. El racisme no té res a veure amb marques biològiques, corporals o del tipus que siguin, sinó amb l’experiència compartida del racisme. Per això la blanquitud no és tractada com una raça, perquè en una societat supremacista blanca les persones blanques no experimenten racisme. Llavors, aquest procés del qual parlem elimina el potencial per a l’organització i l’activisme. Si no pots formar una comunitat, si no tens evidències del racisme que pateixes, sota aquestes circumstàncies és realment difícil reclamar justícia.
Fa un parell d’anys, en una conferència, et preguntaves com podem incidir sobre un procés que opera més enllà de la nostra percepció. Tornant-te la pregunta, com podem fer comunitat sense saber com ens estan classificant?
Va haver-hi un moment molt optimista al voltant de les xarxes socials com un mitjà de fer comunitat, amb la Primavera Àrab, per exemple, en què la gent podia trobar-se en línia i organitzar-se de formes que abans no estaven al seu abast. Això, però, ha quedat enrere, i les xarxes socials, en tant que esfera pública, han estat colonitzades pels interessos comercials. El que busquen és crear comunitats per fer-hi publicitat direccionada i per res més. És difícil fer coses bones amb aquesta forma tan predeterminada de fer comunitat.
Però alhora, per moltes persones queer o racialitzades que no troben persones semblants al seu entorn proper, aquestes xarxes encara són un espai on connectar amb altres i construir comunitat.
Tot i que aquests processos són opacs i mai podrem obrir la caixa negra i saber com funcionen o com ens classifiquen, la gent sap molt bé com crear maneres col·loquials d’entendre els algoritmes i d’arribar les unes a les altres. Ho veus constantment amb influencers que troben formes de potenciar les seves audiències, o activistes amb estratègies per esquivar la censura. Tenim molta capacitat de navegar en aquestes realitats. I sí, passa sobretot amb les comunitats minoritzades, en què hi ha un imperatiu polític de trobar-nos les unes amb les altres. Però hi ha la consciència que ho hem de fer malgrat l’algoritme, i que cal trobar estratègies creatives, perquè els algoritmes estan moderats per valors profundament conservadors i de classe mitjana.
Com dius, mai podrem saber ben bé com funcionen aquests processos, però entendre’ls millor ajudaria a fer-hi front?
L’alfabetització digital em sembla fonamental per a qualsevol persona preocupada per la justícia racial. És molt important saber com ens afecten aquests sistemes, però de la mateixa manera que com ho fan altres formes de burocràcia. Entendre com alguns passaports reben visats i altres no, o com una persona refugiada és reconeguda o no com a sol·licitant d’asil; entendre aquests processos avui també implica entendre com s’utilitzen els algoritmes. Però també penso que a vegades ens perdem en la preocupació per crear més evidències de la discriminació. Tenim moltes proves que existeix el racisme o la violència sexual. El que ens falta és la voluntat política de fer alguna cosa al respecte. Llavors, a vegades, la reivindicació de la formació acaba substituint l’acció, i dediquem els recursos a això abans que a les accions que necessitem.
“Hauríem de poder auditar les companyies que estan funcionant com a infraestructures públiques, però estan protegides per les lleis de secrets comercials”
Els moviments que no estan centrats en qüestions tecnològiques mostren resistències a donar rellevància a aquestes qüestions?
És que els problemes que aborden són molt anteriors a la tecnologia, així que, per a la majoria de la gent, parlar de l’ètica dels vehicles autònoms no és la qüestió política més rellevant ara mateix. Dit això, la qüestió perniciosa dels sistemes algorítmics, en particular en la burocràcia, és que la gent no sap que s’estan fent servir ni com l’estan afectant. Hi ha tanta opacitat que ni tan sols saben que necessiten aquest tipus de coneixement. Hauríem de poder auditar les companyies que estan funcionant com a infraestructures públiques, però estan protegides per les lleis de secrets comercials. Google mai ens deixarà veure com classifica les pàgines al seu cercador, perquè el seu producte és precisament això. Mentrestant, el 90 % de la gent no va més enllà de la primera pàgina de resultats. Per tant, el que passa en aquesta pàgina és importantíssim en termes de qui té veu, quines organitzacions són reconegudes i com la gent s’informa sobre el món.
Preguntar-te sobre com posar fi a la discriminació en la IA seria com preguntar sobre com acabar amb el racisme, no?
Sí, una qüestió tan senzilla com aquesta. [Riu.]
Llavors, com a mínim, què podem fer per millorar una mica la situació?
Soc pessimista pel que fa a millorar els models, però el que ens hem de preguntar és per què s’estan fent servir aquests models. En el cas que plantejava de Robodebt, per exemple, és possible deixar de tenir un abordatge punitiu de la pobresa des d’ara mateix, i fer una aproximació més generosa amb el benestar social. Això, de pas, no requeriria un volum massiu de recursos computacionals, que gasten quantitats ingents d’energia
i aigua, recursos que són increïblement valuosos i escassos. Hi ha formes de canvi que no han de passar per aquí, i això encara és una part important de l’aplicació de justícia a l’era dels algoritmes, que està a l’abast de tothom.
