Vivim envoltades d’algorismes. Ginys tecnològics abstractes que tanmateix tenen conseqüències ben reals per a la classe treballadora, com ara maldar per identificar-nos a través d’unes futures càmeres amb reconeixement facial al cor de Barcelona.
Malgrat els riscos de la tecnologia, assistim a una falsa narrativa que associa avenç tecnològic i progrés social i que tracta de convèncer-nos que un codi informàtic serà més objectiu resolent allò que abans es decidia per altres mitjans.
Tanmateix, des del Grup de Tecnologia del Seminari Taifa, dedicat a l’estudi del capitalisme digital, defensem que allò que afecta la vida de les persones és política, tant si és llei com si és codi.
Assistim a una falsa narrativa que associa avenç tecnològic i progrés social i que tracta de convèncer-nos que un codi informàtic serà més objectiu resolent allò que abans es decidia per altres mitjans
Tanmateix, què és un algorisme? Doncs un llistat d’instruccions finit, estructurat, seqüencial i altament específic. O com diu la metàfora, una recepta, també de naturalesa analògica. En la nostra realitat pandèmica, el triatge en unes urgències mèdiques segueix un protocol assimilable a un algorisme.
Matemàticament són comuns en operacions com la multiplicació o la divisió, però és amb la digitalització que han viscut una autèntica edat d’or, gràcies a l’aparició dels algorismes d’aprenentatge automàtic. Aquesta tecnologia, anomenada machine learning en anglès, no és res més que un sistema per optimitzar un determinat resultat en altres algorismes sense requerir supervisió humana.
L’algorisme de Glovo, per exemple, està dissenyat a favor de les plusvàlues de l’empresa i no dels riders. La versió digital de l’explotació
Qui decideix, però el resultat a optimitzar i qui accepta les conseqüències que l’obtenció d’aquest resultat pugui generar en un sistema complex? És inevitable analitzar aquesta tecnologia en termes de desigualtat. No tant com a causant sinó com a perpetuadora. L’algorisme de Glovo, per exemple, està dissenyat a favor de les plusvàlues de l’empresa i no dels riders. La versió digital de l’explotació.
Segons afirmava Judith Membrives al debat Algoritmos sesgados del CVC i com també sosté Adam Greenfield al seu llibre Radical Technologies, estem parlant que una part imposa les seves normes sobre l’altra sense que la part dominada en sigui necessàriament conscient. Un marc digital de dominació que, sota la retòrica de falsa objectivitat i optimització, actua com un vel que amaga relacions socials d’explotació (i que fins i tot en pot crear de noves, però això ja és un altre article), moltes vegades convertint-se en un boc expiatori perquè els responsables de l’explotació no hagin de retre comptes. Culpar l’algorisme és ideal: les esmenes són difícils de contrastar i l’algorisme no és físic i per tant, no admet mesures de pressió.
Les decisions discriminatòries de l’algorisme poden provenir dels possibles biaixos de gènere, raça o classe inherents a qualsevol codi o qualsevol grup de dades emprat per entrenar-los
Però com crea exactament desigualtat un algorisme? Les seves decisions discriminatòries poden provenir dels possibles biaixos de gènere, raça o classe inherents a qualsevol codi o qualsevol grup de dades emprat per entrenar-los. Tanmateix, sigui per desconeixement o interès, el poder dominador dels algorismes comença molt abans, quan es pren la decisió d’emprar-los.
Segons Rachel Thomas citant al professor de Princeton Arvind Narayanan el programari que empra aprenentatge automàtic es pot classificar de forma matussera en tres grups.
- Percepció: cerca inversa d’imatges o d’àudio, diagnòstic mèdic, o els mediàtics hipertrucatges, coneguts com a deepfakes en anglès (les potencialitats i les amenaces dels quals donen per un altre article). Aquí hi ha avenços realistes, mesurables i reconeguts per l’acadèmia.
- Reconeixement i classificació: Detecció de missatges brossa, violacions de propietat intel·lectual, detecció de discursos d’odi. Aquesta és una àrea grisa on hi ha algorismes eficaços com els de la primera categoria. Però on també n’hi ha molts d’esbiaixats perpetuant desigualtats.
- Predicció de desenvolupament social: aquesta és la categoria més dubtosa, obertament pseudocientífica, la que cerca detectar riscos terroristes, assenyalar persones conflictives, preveure comportament respecte a les finances o èxit professional. Aquí, és clar, hi cauen molts algorismes que exclouen a moltes persones arreu del món, sovint sense que aquestes entenguin com i per què.
La creença en l’objectivitat postideològica dels algorismes també sol dur a afirmar que l’ús d’algorismes no té contrapartides, però escollir aplicar algorismes d’aquest tercer grup o no plenament desenvolupats és perpetuar desigualats. Per exemple: l’algorisme decideix que a algú no se li concedeixi un crèdit o que no és una bona candidata per a un lloc de treball. A Catalunya, molts permisos penitenciaris s’avaluen amb el RisCanvi que avalua més de 43 variables, amb la qual cosa la persona privada de llibertat no té clar per què s’ha pres una decisió o una altra.
Cal polititzar l’anàlisi de l’algorisme com es polititza la seva creació. Cal analitzar les relacions socials rere l’algorisme, igual que s’analitzen les relacions socials rere la mercaderia
El fet de no comprendre el raonament de l’algorisme s’anomena efecte de caixa negra i segons Frank Pasquale és un el principal element de desigualtat. La judicatura està obligada a argumentar veredictes, però els algorismes, maquinalment objectius, són blancs o negres, però sempre inqüestionables. Si sabéssim què prioritza l’algorisme bé podríem fer valdre la llei de Goodhart i donar-li aquelles mètriques que demana, fent-lo anar a favor nostre. Mentre no coneguem l’algorisme, el poder és en una sola banda.
Què cal doncs? Polititzar l’anàlisi de l’algorisme com es polititza la seva creació. Cal analitzar les relacions socials rere l’algorisme, igual que s’analitzen les relacions socials rere la mercaderia. Quan una decisió política d’una empresa o una administració impactava sobre la classe treballadora o altres col·lectius, era viable llançar una resposta o iniciar una negociació. Però aquesta via es complica quan hi ha un algorisme amb la seva falsa pàtina d’objectivitat i que es converteix en un enemic eteri i incomprensible.
El problema, entenem, no són els algorismes, en tant que poden ser útils en tasques mèdiques, científiques i poden esdevenir claus per aconseguir una autèntica economia planificada, com apunten certs autors com Paul Cockshott i Maxi Nieto. El problema és el capitalisme i el seu ús interessat d’aquesta tecnologia com una eina més de dominació. L’algorisme no fa més que reproduir desigualtats inherents al sistema i la prova és que la patronal CEOE no considera que l’obligació del Ministerio de Trabajo de fer públics els algorismes de les empreses de repartiment precaritzants (Uber Eats, Delivery, Glovo) sigui una amenaça per a aquestes. A part del detall que la llei només obliga a publicar la part de l’algorisme relacionada amb el dret laboral (com si la resta de l’algorisme no hi influís), ja s’està comprovant que l’explotació continua el pas d’una part substancial de la força de treball a ETTs.
El problema és el capitalisme i el seu ús interessat d’aquesta tecnologia com una eina més de dominació. L’algorisme no fa més que reproduir desigualtats inherents al sistema
La pista és clara: si només es qüestiona l’algorisme, no és un problema per la patronal, ja que les relacions d’explotació hi seguiran sent, siguin digitals o analògiques. A més, l’administració i els moviments socials estem a les beceroles de comprendre i contrarestar l’impacte d’aquesta tecnologia en la desigualtat laboral. Fa uns anys periodistes com Austin Carr o Judith Duportail van desxifrar el funcionament de l’algorisme de l’aplicació de cites Tinder. Aquest va resultar ser profundament classista i tanmateix quasi no hi va haver reaccions adverses, ni tan sols entre les persones usuàries. Potser no se n’entenien les conseqüències.
Si els algorismes són política, cal fer-los canviar de banda i cercar més experiències com la del Ministerio de Trabajo, que realitza inspeccions automatitzades per detectar falsos treballadors temporals o els BreadTubers que publiquen continguts d’esquerra fent creure a l’algorisme de YouTube que els seus vídeos són d’ultradreta. Si els algorismes havien de servir per dominar, bé hauran de servir també per qüestionar aquesta dominació.
L’article és fruit del treball col·lectiu del grup de tecnologia i capitalisme digital del Seminari Taifa
