La transparència de l’algorisme en la concessió de crèdits (Dra. Esther Arroyo Amayuelas)

Dra. Esther Arroyo Amayuelas

Catedràtica de Dret civil

Universitat de Barcelona

Projecte d’R+D+I PID2021-127197NB-I00, finançat per MICIU/AEI/10.13039/501100011033 i pel FEDER (UE)

2021 SGR 00347

Paraules clau: crèdit, solvència, intel·ligència artificial

1. Introducció

Imaginem que un operador de telefonia mòbil es nega a concloure un contracte de telefonia que comporta pagar 10 euros al mes, perquè el potencial client no té prou solvència econòmica, segons la puntuació determinada per una empresa. Imaginem també que aquesta puntuació, que és fruit d’una decisió algorítmica, i que podria servir igualment perquè un banc decidís si concedeix o denega el crèdit a un potencial client, ha tingut en compte dades o característiques que no estan directament relacionades amb la solvència o capacitat de pagament del subjecte, sinó que es basa en un perfil generat de forma automatitzada a partir de les característiques, idees, gustos, o hàbits i costums de les persones, i sense tenir en compte un control individual de les condicions i característiques concretes d’aquell subjecte. És evident que hi ha un greu perill de discriminació i d’exclusió social si, sobre aquesta base, es denega l’accés a recursos financers o serveis essencials malgrat que l’afectat hi tingui dret o pugui complir perfectament les obligacions derivades del contracte.

El legislador té en compte els riscos que suposa l’impacte de la intel·ligència artificial en una societat cada cop més interconnectada i en què creix massivament el volum de dades disponibles. Així, el Reglament (UE) 2016/679, general de protecció de dades (RGPD), concedeix a l’interessat el dret a obtenir del responsable del tractament de dades informació significativa sobre la lògica aplicada per l’algorisme i la importància i les conseqüències previstes del tractament automatitzat (art. 15(1)(h) RGPD). Alhora, la Directiva 2025/2023, de 18 d’octubre de 2023, sobre crèdit al consum (DCC 2023), preveu el dret del consumidor a obtenir una explicació clara i comprensible de l’avaluació de la solvència, incloent-hi la lògica i els riscos que implica el tractament automatitzat de dades personals, així com el seu significat. Addicionalment, el Reglament (UE) 2024/1689, de 13 de juny, sobre intel·ligència artificial (RIA), que conté normes sobre la qualitat dels sistemes d’avaluació automatitzats (Rubí Puig, InDret , 2024, 4, i- viii), reconeix en l’art. 86.1 que tota persona que es vegi afectada per una decisió que el responsable del desplegament adopti basant-se en els resultats de sortida d’un sistema d’intel·ligència artificial d’alt risc (el credit scoring ho és, art. 6.3, annex III 5 b RIA) i que produeixi efectes jurídics o l’afecti considerablement de la mateixa manera, té dret a obtenir-ne explicacions clares i significatives sobre el paper que el sistema ha tingut en el procés de presa de decisions i els principals elements de la decisió adoptada.

Com hem vist, qualsevol afectat per una decisió automatitzada ha de poder obtenir informació i/o explicacions adequades sobre aquesta presa de decisió. Ara bé, què són o en què consisteixen aquestes explicacions? Quins són els límits? Quan és «significativa» la informació? Què vol dir tenir dret a conèixer la «lògica implicada en el tractament de les dades»? I, encara més, com s’ha de cohonestar el dret a obtenir aquestes explicacions amb la protecció dels secrets comercials? Són algunes preguntes a les quals el legislador encara no ha donat respostes; de moment, només han estat anticipades per dos advocats generals del Tribunal de Justícia de la Unió Europea (TJUE).

2. L’explicabilitat de les decisions automatitzades

D’acord amb l’art. 15(1)(h) RGPD, la persona afectada per la presa de decisions automatitzada (art. 22 RGPD) pot sol·licitar informació significativa sobre la lògica aplicada en el tractament i l’abast i els efectes previstos del tractament. L’advocat general Pritt Pikamäe considerava que les explicacions han de ser prou detallades, que el responsable del tractament hauria d’informar sobre els factors tinguts en compte a l’hora de prendre-les, i que hauria d’explicar-ne la importància relativa des del punt de vista agregat (conclusions C-634/21, Schufa , de 16 de març de 2023). Això fa pensar que la importància d’unes dades sobre d’altres, o com s’han associat aquestes dades, és informació que tendencialment hauria de formar part de les explicacions sobre la lògica i els riscos de l’algorisme, ja que, si el perjudicat no entén com s’ha arribat a una determinada decisió, difícilment podrà qüestionar-la. L’advocat general De la Tour insisteix en aquestes consideracions en posar en relació l’expressió «informació significativa sobre la lògica aplicada» amb el dret de l’interessat a exercir els seus drets d’acord amb l’art. 22 de l’RGPD; és a dir, com a mínim, el dret a obtenir intervenció humana per part del responsable, a expressar el punt de vista propi, i a impugnar la decisió. L’advocat general fa una interpretació funcional i entén que ha de ser «significativa» la informació, no només des del punt de vista quantitatiu, sinó també qualitatiu, és a dir, que s’ha de tractar d’una informació «amb sentit» i, a més de procurar a l’interessat una còpia íntegra i autèntica de les seves dades, li ha de permetre conèixer els elements essencials del mètode i dels criteris utilitzats (conclusions C-203/22, CK , Dun & Bradstreet Àustria, §§ 65, 66, 67).

Aquesta transparència necessària no equival a haver de proporcionar a l’interessat instruccions detallades sobre el procés d’aprenentatge de l’algorisme o el seu funcionament. Aquesta informació, per definició complexa, no resulta de cap utilitat al consumidor, que amb prou feines podrà comprendre-la (Grup Art. 29, 28). L’advocat general Pikamäe assenyalava que «l’objectiu mateix de l’article 15, apartat 1, lletra h), de l’RGPD és garantir que l’interessat rebi la informació de manera intel·ligible i accessible, d’acord amb les seves necessitats» (§ 57), i això servia alhora per delimitar la quantitat i el tipus d’informació que cal subministrar. No obstant això, ara l’advocat general De la Tour, que tampoc no veu cap benefici a comunicar una fórmula particularment complexa, d’acord amb el principi de transparència establert en l’atès 58 i en l’art. 12(1) RGPD (§§ 72-73, 76), advoca per subministrar una informació que inclogui una explicació del funcionament del mecanisme aplicat a la decisió automatitzada (§ 67), com si el fet que la informació a subministrar de manera concisa, accessible i fàcil d’entendre, amb un llenguatge clar i senzill, no tingués res a veure amb privar l’interessat d’informació exhaustiva o completa (§ 74). Segons la seva opinió, la informació ha de ser suficientment completa i, a més, ha d’estar contextualitzada, perquè l’interessat pugui comprovar si la informació és exacta i si hi ha una correspondència i una relació de causalitat objectivament verificables entre el mètode utilitzat i els criteris aplicats, d’una banda, i el resultat de la decisió automatitzada, de l’altra (§§ 68, 71). Ara bé, no és això una contradicció? (Ebers, LTZ, 2025, 1, 64-65). Tot i això, després, aquestes declaracions es tradueixen en el dret a obtenir informació general sobre els factors que s’han tingut en compte per al procés de la presa de decisions i sobre el seu pes respectiu a nivell global, és a dir, la seva ponderació (§§ 74, 76), que no és cosa distinta de la que ja anunciava l’advocat general Pikamäe, tot i que ell no al·ludia a la necessitat de verificar les dades. En qualsevol cas, l’advocat general De la Tour deixa a la consideració del jutge nacional la determinació de la informació que s’ha de posar a disposició de l’interessat (§ 79) i, per tant, no és gens fàcil saber, finalment, com s’hauria de concretar el dret a obtenir explicacions adequades.

3. La tensió entre la protecció de les dades personals i la protecció dels secrets comercials

Una informació detallada que permeti interpretar el sistema automatitzat en la presa de decisions o la lògica aplicada al processament de dades posa en risc el dret de les empreses a mantenir l’algorisme en secret i, per tant, constitueix un fre en el subministrament d’informació significativa. El dret de l’interessat a conèixer quines dades s’han utilitzat i com s’han combinat exigeix que les empreses no es puguin negar a prestar la informació a l’interessat, però l’atès 63 RGPD expressa molt bé que:

«[…] el dret a accedir a les dades personals […] no ha d’afectar negativament els drets i les llibertats de tercers, inclosos els secrets comercials o la propietat intel·lectual i, en particular, els drets de propietat intel·lectual que protegeixen programes informàtics».

Encara a propòsit de la interpretació de l’art. 15 (1)(h) RGPD, l’advocat general De la Tour mira de resoldre la tensió entre, d’una banda, els drets de l’interessat a la protecció de les dades personals i, de l’altra, els interessos del responsable del tractament relatius a la protecció dels secrets comercials. Segons la seva opinió, la revelació no tècnica d’informació ja equival a no revelar l’algorisme (§ 80), però admet que invocar aquesta protecció per part de l’empresari pot limitar el dret de l’interessat i que no és aliena a l’RGPD la ponderació de drets (§§ 82-90). La STJUE C-634/21, de 7 de desembre de 2023, Schufa, afirma que qui pren la decisió ha d’arbitrar els mecanismes necessaris per protegir el titular de les dades, la qual cosa significa que no és possible escudar-se ja per més temps en la propietat industrial o intel·lectual sobre l’algorisme o en el secret comercial, per limitar els drets del consumidor. En conseqüència, si bé no és adequada la negativa a proporcionar tota informació a l’interessat, segons l’advocat general De la Tour cal arbitrar mecanismes que permetin comunicar-la de manera que no es vulnerin els drets de tercers (§ 91). Per tant, són les autoritats competents les que han de ponderar els interessos en conflicte i determinar l’abast d’aquest dret, amb el degut respecte a la confidencialitat de la informació (§ 94). Incideixen en aquestes consideracions i d’altres de semblants la Proposta de directiva relativa a l’adaptació de les normes de responsabilitat civil extracontractual a la intel·ligència artificial (Brusel·les, 28-9-2022, COM(2022) 496 final; atès 20, art. 3.3 i 4) i la Directiva 2024/2853, sobre responsabilitat per productes defectuosos (atesos 42 i 44-45, art. 9.4-6).

La DCC 2023 no fa cap referència a la protecció de secrets i potser això es podria interpretar com a voluntat d’anar més enllà en el subministrament d’informació (Spindler, Law and Financial Markets Review, 2021, 3-4, 258). No obstant això, el RIA insisteix en el fet que cal preservar els drets de propietat intel·lectual i industrial i els secrets comercials de totes les parts implicades (atesos 48, 88, 107, 167; arts. 48, 88, 107, 167, art. 25.5, 52.6, 53.1 b), 78.1 a), 100.5, annex VII 4.5). Per tant, és evident que el prestador no podrà proporcionar al consumidor informació sensible que les mateixes entitats de scoring mai no li subministrarien a ell abans. En realitat, no és aquesta la qüestió, sinó quina informació o de quina mena sí que estan obligades a proporcionar-li, perquè ell alhora pugui complir les obligacions que li imposa la DCC 2023. Això és una cosa que, de moment, cap norma explica i a la qual el TJUE tampoc no ha donat encara resposta.

4. Reflexions finals

La legislació de la Unió Europea regula en normes diferents i per a finalitats diferents l’ús de sistemes automatitzats i d’intel·ligència artificial en la qualificació de la solvència de les persones i per a la concessió de préstecs. Tots els responsables d’un sistema d’alt risc han d’arbitrar mesures que els permetin explicar la lògica dels algorismes i, amb la proliferació de decisions automatitzades, la protecció de dades és més que mai part essencial del dret de protecció dels consumidors. Només explicacions clares, comprensibles i suficientment completes conjuren el risc que un ésser humà no sigui capaç de seguir les consideracions i funcions complexes d’un sistema d’intel·ligència artificial. Tot i això, és incert fins a quin punt, a més dels experts i autoritats de supervisió, qualsevol titular afectat per una decisió automatitzada —per exemple, el consumidor, en un contracte de préstec— està en condicions d’entendre una informació exhaustiva; fins a quin punt aquesta exhaustivitat xoca amb la protecció dels drets de tercers; o fins a quin punt el nivell de transparència hauria de ser diferent segons qui fos el destinatari de les explicacions. És segur —i potser n’hi hauria prou amb això— que un consumidor mitjanament informat pot entendre la ponderació de les categories de criteris i el pes específic dels criteris individuals que més influeixen en el valor de probabilitat (vegeu ara § 37a (4) del Projecte de llei de reforma de la Bundesdatenschutzgeszes). D’altra banda, explicar el significat de conceptes genèrics, com ara «historial de pagaments», contribuiria a evitar l’opacitat de les decisions i en facilitaria la comprensió.

De moment, les mesures de control que el RIA imposa als desenvolupadors i usuaris del sistema ajuden perquè els consumidors confiïn en la seva fiabilitat, encara que, en realitat, no l’entenguin, i potser això no és poca cosa. Això no obstant, és segur que amb el temps caldrà desenvolupar eines d’intel·ligència artificial que siguin explicables per al consumidor, a la vista de les exigències que progressivament va imposant l’acquis communautaire i del que ja algunes decisions judicials i administratives nacionals permeten constatar (Arroyo Amayuelas, InDret , 2024, 3, 150-154).