En un determinat moment de la vida es va sentir “marcada per l’algoritme”. Just després de canviar d’assegurança mèdica, la seva parella va patir una pallissa i, de sobte, la seva cobertura sanitària va deixar d’estar activa. Eubanks està convençuda que l’algoritme que detectava frau mèdic els va seleccionar per a investigar-los. Tan sols és un exemple dels efectes del que anomena “un nou règim de les dades digitals”, que ha colonitzat els serveis públics als Estats Units i castiga i vigila la població més pobra. El llibre La automatización de la desigualdad, que acaba de traduir al castellà Capitán Swing (2021), és el resultat d’un estudi sobre terreny recollint dades i experiències d’aquelles persones que habiten els “asils digitals” d’Indiana, Los Angeles i el comtat d’Allegheny. Ara, treballa en un nou projecte en el qual compila històries orals d’arreu del món.
Fa unes dècades, totes les grans decisions les prenien els humans, però ara ja no és així. Quina mena de decisions pren la tecnologia?
Des de qui accedeix a un crèdit o a ajudes nutricionals fins a qui rep ofertes d’assegurances, compra en línia o fins i tot en botigues físiques. Vivim en un món algorítmic de puntuació. I, tot i que cada vegada més gent és conscient dels impactes que tenen totes aquestes decisions automàtiques, encara són força invisibles. En general, he recollit casos de famílies que havien de lidiar amb els sistemes automatitzats i n’eren conscients, però necessitaven saber-ne més. Cal insistir a parlar i debatre sobre què suposa la incorporació de la digitalització i l’algoritme en els governs per a la democràcia i la justícia. Perquè tot i que hi ha diferències entre països, en contextos i ritmes, hi ha patrons globals.
D’alguna manera, podem esquivar l’algoritme quan es tracta d’empreses, però no tenim elecció si necessitem recórrer a les ajudes públiques. En quins organismes públics s’han implementat les decisions digitals als Estats Units?
Els sistemes digitals de gestió de la pobresa s’estan integrant en els serveis socials de tot el país a un ritme de vertigen. Precisament, vaig decidir no centrar-me en les xarxes socials i fer-ho en com actuen les noves eines d’alta tecnologia en programes dels serveis socials als Estats Units, com el sistema de cribratge de famílies a Indiana, el sistema d’entrada coordinada per a les persones sense llar a Los Angeles o el model de predicció de riscos del comtat d’Allegheny. Com deies, quan necessites una ajuda per alimentar els teus fills no tens elecció. Si et negues a sotmetre’t a l’algoritme, no reps l’ajuda, i si no la reps pots arribar a perdre la custòdia dels teus fills. Les famílies ho experimenten com una forma de coerció. Aquests sistemes estatals recopilen dades, prenen decisions injustes i actuen com a forma de control social, però hi ha molta gent que els avala en considerar que, al cap i a la fi, són un suport.
Quin objectiu persegueixen els governs en aplicar aquesta tecnologia en la gestió de la pobresa?
La tecnologia té un context social i una història. Quan revisava els arxius per detectar en quin moment es van implementar aquestes eines digitals de gestió de la pobresa vaig veure que al segle XIX ja es podien trobar sistemes similars per gestionar la pobresa, però amb una forma més punitiva, com les cases de la caritat o asil de pobres, centrats en la contenció, la vigilància i les diagnosis morals. Per tant, aquests sistemes analògics del passat van esdevenir digitals. Però aquest canvi no es va produir en el moment que la tecnologia va passar a ser accessible de forma massiva, sinó quan un moviment social popular i poderós al voltant dels drets de benestar social es va articular als Estats Units. Era a finals dels seixanta quan el moviment estava aconseguint èxits extraordinaris, va obrir els programes d’assistència social a més gent per contribuir a un sistema més igualitari, just i democràtic, va tombar totes les regles d’elegibilitat discriminatòries. Al mateix temps, hi havia tota mena de pressions econòmiques sobre els governs locals, i els assistents socials –els pitjors pagats, els més feminitzats, l’últim esglaó de la classe treballadora de l’Estat– es van posar en vaga, no per les seves condicions laborals sinó per poder proveir millors serveis als usuaris. Els treballadors de la primera línia començaven a veure’s a la mateixa banda que els usuaris, en comptes de veure’s com a representants de l’Estat. El que anomeno “asil digital” va néixer per resoldre el problema del poder popular, de la solidaritat i de l’austeritat, per mitjà de la creació de murs entre la població pobra i els seus drets legals. Pensem que aquestes eines neixen per resoldre la despesa governamental, la burocràcia i el criteri humà en la presa de decisions, però aquest no és el seu origen, aquesta és la racionalització que en fem avui dia.
L’estat d’Indiana va implementar un sistema privat, precisament, per estalviar en assistència social. Quines conseqüències va tenir?
Sophie Stipes era una nena quan començava a tenir més qualitat de vida perquè podia accedir a alguns recursos estatals, però, el 2006, el governador d’Indiana va signar un contracte per deu anys amb IBM i Affiliated Computer Services (ACS) de 1.160 milions de dòlars per “erradicar el malbaratament de l’assistència social”. Es van automatitzar els processos d’elegibilitat per a les ajudes i es van substituir els assistents socials per les sol·licituds en línia i unes centraletes telefòniques d’ACS. Sophie, que patia greus problemes de salut des del naixement, va perdre les ajudes de Medicaid [el programa d’assegurances de salut dels EUA]. Com tanta altra gent, va rebre una carta de l’administració que anunciava que l’apartarien de Medicaid per la seva “falta de col·laboració”. Quan el sistema interpretava qualsevol error denegava l’ajuda, directament, no et concretava de quin error es tractava i cap treballador social t’atenia. Va ser un desastre, es van denegar un milió de prestacions en els primers tres anys, un increment de denegacions de més del 50 %, la majoria per “no col·laboració”. La combinació de l’automatització de l’elegibilitat i la privatització va crear una crisi de drets humans per a les famílies pobres d’Indiana. Molta gent depenia de les ajudes i la seva vida va córrer perill. Gràcies a l’organització es va començar a denunciar i fer visibles les conseqüències. La població d’Indiana va tombar el sistema, el govern va rescindir el contracte. Un jutge va dictaminar que no hi havia negligència del proveïdor perquè no hi havia incompliment del contracte, l’eficiència i l’estalvi s’havien aconseguit. Bàsicament, l’estat havia pagat mil milions de dòlars per denegar un milió d’ajudes a persones que segurament eren elegibles. Al final, IBM va marxar, però ACS continua. S’ha guanyat la batalla, però no la guerra. El sistema ha introduït més contacte humà, però no hi ha canvis estructurals.
És obvi que tothom viu sota control digital, però no ens afecta de la mateixa manera. Qui ho pateix més?
“Les eines digitals de gestió de la pobresa dissuadeixen la gent que ho necessita d’accedir als recursos públics”
Crec que això s’evidencia en el cas de l’eina de cribratge de famílies al comtat d’Allegheny, a l’estat de Pensilvània, a partir d’una predicció de riscos d’abandonament i maltractament infantil. Els sistemes treballen amb moltes dades històriques i, per tant, fan prediccions basades en informació antiga, en patrons extrets d’aquestes dades. Per altra banda, només tenen accés a les dades de la gent que utilitza els serveis, és a dir, de les famílies de classe treballadora, perquè les classes mitjanes solen sotmetre’s a un tractament farmacològic o a una teràpia de salut mental privats. Això genera un bucle d’injustícia que es retroalimenta: com que hi ha moltes dades sobre aquesta tipologia de gent, sovint els sistemes els veuen com a sospitosos o perillosos i els sotmeten a més control. Sobrerepresentes la gent que recorre a l’estat per demanar ajuda i infrarepresentes la classe mitjana perquè, senzillament, no tens dades. Les eines digitals de gestió de la pobresa dissuadeixen la gent que ho necessita d’accedir als recursos públics i genera distincions entre pobres que els mereixen i els que no. A més, tenen un impacte més destructiu i letal en les comunitats negres de renda baixa.
El sistema ha canviat, però la manera de mirar i abordar la pobresa és la mateixa?
La visió punitiva i moralista de la pobresa no ha desaparegut, sinó que l’automatització i els algoritmes en són una ampliació i continuació. A més, als Estats Units és molt difícil entendre la manera com responem a la pobresa sense entendre la història de la supremacia blanca i la injustícia racial. Inclús el nostre estat del benestar va néixer, després de la Segona Guerra Mundial, d’una forma extremadament discriminatòria. Tots els nostres programes es van establir per no donar recursos a la gent negra, tant el sistema de desocupació com el de seguretat social es van dissenyar per bloquejar qualsevol persona del món de l’agricultura o de la feina domèstica, que precisament desenvolupava la població afroamericana. Avui dia, per exemple, es veu clarament en la gran desproporció racial en la retirada de custòdies. En el cas que vaig estudiar, el biaix racista penetrava en el sistema a partir de les denúncies de la comunitat contra famílies negres i, per tant, no és un problema de dades sinó cultural. Aquest problema no se soluciona eliminant el criteri dels treballadors socials. Penso, precisament, que eliminar aquests treballadors, més precaris i més feminitzats, encara empitjora més la discriminació racista.
Al cap i a la fi, darrere d’una taula hi ha una persona a qui dirigir-se i amb qui dialogar, i darrere una puntuació no hi ha ningú. Genera més indefensió? Què comporta eliminar el criteri humà en la presa de decisions?
Si bé és cert que els processos tecnològics són complicats d’entendre i normalment deixem que els enginyers se n’ocupin, les famílies amb qui vaig parlar s’adonaven del que estava passant i sabien que hi havia decisions que els penalitzaven. Eren molt bons analitzant el que succeïa. Els assistents socials són la cara de l’estat, se’ls encoratja a fer d’investigadors i no d’acompanyants; de policies, no d’assistents socials, i la gent que hi va projecta tota la ràbia i frustració sobre ells. Connectar els usuaris i els treballadors socials és una tasca complicada, que ha empitjorat amb la incorporació de les eines digitals: la majoria de treballadors es dediquen a processar informació, quan la seva feina havia consistit a acompanyar persones que passen pels moments més difícils de la seva vida. La justícia en els serveis públics no és que es tracti igual a tothom, sinó que tothom tingui el que necessita segons la situació per la qual passa, i això només funciona amb connexió humana. Ara mateix, els sistemes digitals i l’algoritme no estan configurats per donar suport a la gent sinó per castigar, contenir i diagnosticar. Per tant, ampliaran les bretxes socials que ja tenim. Hauríem d’atorgar més poder de decisió als assistents socials i generar confiança entre ells i els usuaris; entendre que la gent ha de permetre que es cometin errors, que d’això va la dignitat i l’autonomia. El sistema, però, no està basat en aquest marc de drets humans. Tothom mereix una llar, assistència sanitària, menjar… però el primer que fa el nostre sistema és fer una diagnosi moral sobre si mereixes ajuda o no.
La introducció dels drons com a armes de guerra distancia l’acció de les conseqüències. L’automatització de la gestió dels recursos públics també. Què genera aquesta distància?
“No hi ha cap escassetat que no sigui creada, n’hi ha prou per a tothom, si prenem decisions més igualitàries”
Tots els dissenyadors i administradors que van treballar en els tres sistemes que analitzo compartien l’objectiu d’aconseguir un triatge digital. Partien de la base que hi ha molts problemes, no hi ha prou recursos i cal prendre la difícil decisió de qui mereix ajuda i qui no. Vull emfasitzar que la idea d’austeritat, que no n’hi ha per a tothom i que hem de trobar la manera de repartir les engrunes, és una decisió política. No hi ha cap escassetat que no sigui creada. És a dir, n’hi ha prou per a tothom si prenem decisions més igualitàries. Sovint les consideren unes simples eines per administrar les engrunes, per ser més eficients, més rendibles, per prendre decisions més objectives. En una situació com la de Los Angeles, on hi havia 55.000 persones sense llar quan vaig escriure el llibre i ara més de 70.000, es parteix de la base que mai es disposarà d’aquestes unitats i que aleshores cal fer una selecció, però el que caldria fer és disposar-ne, i això no ho aconseguiran les decisions de triatge digital. Després es parteix de la base que aquestes persones hauran fet alguna cosa malament: se les criminalitza. Aquestes eines interposen una distància ètica necessària per prendre decisions inhumanes. Els assistents socials no haurien de lidiar amb tan pocs recursos, però la solució no és traslladar les decisions a un ordinador. No podem anul·lar l’empatia i desconnectar del patiment dels altres.
Sovint s’atribueix neutralitat a les tecnologies de gestió de la pobresa, però han estat dissenyades per éssers humans en un marc cultural capitalista…
El mite de la neutralitat resideix en aquestes eines. El meu col·lega de ciències polítiques Joe Soss diu que el criteri, el judici, és com l’energia: mai es crea ni es destrueix, sinó que es transforma. La pregunta que ens hauríem de fer és si aquestes eines eliminen el biaix. L’objectiu del model de predicció de riscos per preveure l’abandonament i maltractament infantil a Allegheny no era per mitigar el criteri dels treballadors sinó per agafar-lo i lliurar-lo als enginyers que construïen l’algoritme. Considero classista la idea que aquesta classe treballadora té idees errònies i problemàtiques sobre el món i els encantadors informàtics neozelandesos no. La realitat és que els treballadors sobre terreny són més propers als usuaris i coneixen millor els problemes que han d’intentar resoldre. Els desenvolupadors del sistema parlen com si els éssers humans fossin caixes negres i els ordinadors estiguessin oberts i fossin transparents. Una bona organització pot permetre un seguiment de les decisions que es prenen, parlar-ne i discutir-les, i això és una oportunitat per al desenvolupament ètic.
Com ha transformat la vigilància i el control l’acumulació de dades?
En relació amb l’eina de control de fa dos segles, l’asil per a pobres, cal emfasitzar el canvi en l’escala i la rellevància de les dades que permeten fer un altre tipus de vigilància. Fins fa relativament poc, la vigilància consistia a identificar un objectiu, individual o comunitari, abans de vigilar-lo. La nova vigilància es basa a agafar tota la informació que puguis i tirar enrere per trobar patrons de comportament per aleshores exercir el control social. És el que els estudiosos de la comunicació anomenen “classificació social”, i està basat en la informació històrica i les prediccions que es poden fer amb l’algoritme: predir com es comportaran en el futur d’acord amb el seu comportament del passat. L’acumulació de dades permet un registre etern i fa possible una vigilància més profunda. A més, les oficines del benestar físiques eren un bon lloc per a l’organització, perquè moltes persones frustrades hi compartien moltes hores, quelcom complicat sota aquests sistemes. Em preocupa la invisibilitat del sistema perquè pot complicar l’abordatge dels problemes estructurals. També entra en joc la preeminència. Mentre que l’obsolescència era inevitable amb els arxius de paper, ara les dades poden perdurar eternament. Les famílies amb què vaig parlar deien que semblava que mai se les permetria canviar, perquè l’algoritme prenia decisions sobre elles basades en les que havien pres en el passat, també els seus pares o avis. Estaven encadenades al passat.
