Instituție publică, caut expertiză în IA

Am contactat instituțiile naționale din România desemnate ca fiind cele care asigură respectarea obligațiilor legate de drepturile omului conform articolului 77 AI Act (Regulamentul UE  privind inteligența artificială) și le-am solicitat răspunsuri despre pregătirea lor în domeniul inteligenței artificiale. Am făcut asta pentru că ele pot supraveghea folosirea algoritmilor de inteligență artificială în produse comerciale și le pot schimba încadrarea de risc.

Ce zice AI Act?

Regulamentul UE privind inteligența artificială (AI Act) are, la baza sa, o categorisire a sistemelor  de inteligență artificială în funcție de risc. Acest regulament definește riscul ca fiind “combinația dintre probabilitatea producerii unui prejudiciu și gravitatea acestuia.” Pe întreg parcursul actului normativ, riscul este discutat în contextul drepturilor omului și cel mai des-menționat posibil prejudiciu este discriminarea.

Această atenție acordată riscului nu merge până la capăt, însă. European Digital Rights, o rețea de organizații care apără drepturile omului în mediul digital, din care face parte și ApTI, a publicat un sumar al tuturor neajunsurilor AI Act. La rândul nostru, am scris despre punctele slabe ale Regulamentului. Deși riscul este menționat atât de des, ne confruntăm cu faptul că e dificil de spus când o situație începe să fie riscantă - iar textul normativ nu este suficient de clar în a face distincții. Să credem că implementarea sa va reuși?

Prima evaluare a riscului unui algoritm de inteligență artificială este făcut de furnizorul produsului care-l folosește, sau de implementator (termeni definiți legal în articolul 3). Dintr-un punct de vedere, putem spune că aceștia sunt cei mai în măsură să analizeze ce atingeri ale drepturilor omului pot să survină din folosirea tehnologiei pe care au creat-o sau implementat-o - deci, ei ar trebui să spună, primii, care e gradul de risc.

Funcție de încadrarea pe care o aleg, aceste persoane sau entități vor avea obligații de satisfăcut înainte de punerea pe piață a tehnologiei lor. În cazul sistemelor cu grad ridicat de risc, furnizorul trebuie să se înregistreze (și să își înregistreze produsul) într-o bază de date a Uniunii Europene. În majoritatea cazurilor, acești furnizori trebuie să facă cunoscut conținutul pe care a fost antrenat algoritmul pe care îl dezvoltă și să se asigure că au dreptul de a folosi conținutul respectiv.

Un rol important în supravegherea încadrării de risc a sistemelor bazate pe inteligență artificială îl au anumite instituții din statele membre ale Uniunii Europene. AI Act le oferă lor rolul de a urmări funcționarea tehnologiei și impactul pe care aceasta îl are în societate și de a încerca să prevină situații de lezare ale drepturilor fundamentale ale omului.

ONG-ul Future of Life Institute a explicat, în detaliu, care sunt responsabilitățile statelor membre și care sunt termenele limită pentru îndeplinirea acestora.

Care sunt instituțiile românești desemnate pe baza AI Act? (martie 2025)

Practic, conform articolului 70 din AI Act, statele membre trebuie să desemneze drept autorități naționale competente cel puțin o autoritate de notificare și cel puțin o autoritate de supraveghere a pieței. Termenul limită pentru aceste desemnări este 2 august 2025. Aceste autorități încă nu au fost desemnate în România.

Însă, conform articolului 77, România a desemnat autoritățile publice naționale care supraveghează sau impun respectarea obligațiilor care decurg din dreptul Uniunii privind protecția drepturilor fundamentale ale omului. Autoritatea pentru digitalizarea României a publicat o lista a acestora în noiembrie 2024, fără vreo consultare publica prealabilă.

Aceasta sunt:

• Avocatul Poporului
• Autoritatea Națională pentru Protecția Consumatorilor
• Consiliul Național pentru Combaterea Discriminării (CNCD)
• Agenţia Naţională pentru Egalitatea de Şanse între Femei şi Bărbaţi
• Autoritatea Națională de Supraveghere a Prelucrării Datelor cu Caracter Personal (ANSPDCP)
• Autoritatea Națională pentru Protecția Drepturilor Copilului și Adopție
• Ministerul Muncii și Solidarității Sociale / Inspecția Muncii
• Consiliul Național al Audiovizualului
• Autoritatea Electorală Permanentă

Fiecare dintre aceste autorități desemnate ar avea propria sa expertiză în ceea ce privește drepturile fundamentale ale omului. Evaluarea acesteia nu face scopul articolului de față. Am vrut, însă, să vedem care este expertiza tehnică, sau măcar înțelegerea instituțiilor desemnate de ADR, în ceea ce privește sistemele de inteligență artificială.

Am trimis către fiecare dintre instituțiile din respectiva listă următoarele întrebări în baza legii 544/2001 privind liberul acces la informațiile de interes public:

1. 1. Care este expertiza tehnică a instituției în ceea ce privește sistemele de IA?
2. 2. Câți angajați are instituția, care au expertiză în zona de IA?
3. 3. Ce planuri are instituția de a forma și instrui personalul său, dacă este cazul, pentru a urmări și analiza sistemele de IA cu grad ridicat de risc?
4. 4. Are instituția în plan să deruleze parteneriate cu mediul academic, privat sau cu societatea civilă, pentru a-și spori abilitatea de a urmări și analiza sistemele de IA cu grad ridicat de risc?
5. 5. Există vreun mecanism pe care instituția îl pune la dispoziție pentru cetățeni, prin care aceștia să semnaleze posibile folosiri ale unor sistemele de IA cu grad ridicat de risc?
6. 6. Care este modalitatea prin care instituția își propune să comunice eforturile, în acest domeniu, către cetățeni?

Ce competențe au aceste autorități in domeniul AI?

Am primit răspuns de la aproape toate instituțiile. Avocatului Poporului, prin purtătorul de cuvânt, ne-a invitat la o discuție care, la data redactării acestui articol, nu a avut încă loc. Mai departe, vom sumariza informațiile pe care le-am primit.

Autoritatea Națională pentru Protecția Consumatorilor ne-a răspuns doar faptul că, în prezent, la nivelul instituției nu au fost implementate mecanisme bazate pe inteligența artificială.

Consiliul Național pentru Combaterea Discriminării ne-a asigurat că, în ciuda lipsei de personal, inclusiv a unui personal cu expertiză în domeniul sistemelor de inteligență artificială ți în ciuda legislației în vigoare cu privire la suspendarea angajărilor în sistemul public, instituția va respecta atribuțiile sale în baza articolului 77.

Agenţia Naţională pentru Egalitatea de Şanse între Femei şi Bărbaţi notează faptul că rămâne deschisă la colaborare în implicarea în grupuri de lucru ce privesc transpunerea AI Act. Agenția ne asigură că instituția va interveni, în limita competențelor sale, pentru a sprijini respectarea aspectelor care vizează violența de gen, egalitatea de șanse și prevenirea discriminării.

Autoritatea Națională de Supraveghere a Prelucrării Datelor cu Caracter Personal ne-a răspuns că, în competența sa intră doar ce-i în nume: monitorizarea și controlul prelucrării datelor cu caracter personal.

Autoritatea Națională pentru Protecția Drepturilor Copilului și Adopție ne-a răspuns la fiecare întrebare în parte, începând prin a spune că nu are expertiză tehnică în ceea ce privește sistemele de inteligența artificială și că va instrui personalul său în continuare, dacă este necesar. În răspunsul său, autoritatea punctează faptul că este inclusă pe lista autorităților publice naționale datorită expertizei sale în ceea ce privește drepturile fundamentale ale copiilor, amintind că utilizarea tehnologiilor emergente trebuie să nu aducă atingere acestor drepturi. Cetățenii pot trimite către Autoritate sesizări prin formularele disponibile pe site-ul instituției, iar comunicările acesteia cu publicul se desfășoară pe site-ul instituției și canale de social media.

Ministerul Muncii, Familiei, Tineretului și Solidarității Sociale ne-a oferit câte un răspuns la fiecare întrebare în parte. A menționat că expertiza tehnică a instituției în ceea ce privește sistemele de inteligență artificială este limitată, fără a preciza câți angajați au această expertiză. Ministerul își propune să colaboreze cu mediul academic și sectorul privat pentru a urmări și analiza sistemele cu grad ridicat de risc - răspunsul nu menționează, însă, societatea civilă. Cetățenii pot face semnalări folosind formularul de petiție online, iar comunicarea eforturilor instituției se va face prin rapoarte anuale, studii de caz, comunicate de presă și postări pe social media.

Consiliul Național al Audiovizualului ne-a răspuns că nu are atribuții directe în supravegherea sistemelor de inteligență artificială cu grad ridicat de risc. Pe cale de consecință nu are angajați specializați în domeniul inteligenței artificiale și nici nu are planuri de formare a personalului.

Autoritatea Electorală Permanentă ne-a oferit un răspuns însă nu ne-a oferit, în acesta, informație direct relevantă, date fiind întrebările pe care le-am trimis.

Toate aceste autorități sunt desemnate să monitorizeze folosirea practică a sistemelor de inteligență artificială și să evalueze dacă acestea pot aduce lezări drepturilor fundamentale ale omului. Din răspunsurile lor, observăm o carență clară de expertiză și, de cele mai multe ori, o resemnare cu privire la lipsa instruirea personalului în acest sens din cauza tăierii bugetelor publice. Observăm și o apatie, nicidecum o atitudine proactivă, față de colaborări concrete cu societatea civilă sau mediul academic, colaborări care ar putea să suplinească lipsa de expertiză.

Înțelegerea funcționării AI și a riscurilor asociate este esențială pentru o reglementare eficientă

Desigur, nu trebuie să devină funcționarii publici experți într-un anume tip de tehnologie. Fiecare dintre aceste instituții are expertiză, în interiorul ei, legată de o anumită arie a drepturilor omului. Însă, ne e clar și că acești funcționari publici ar trebui să înțeleagă - măcar la nivel principial - cum funcționează tehnologia de inteligență artificială pentru a putea evalua dacă există sau nu un risc.

Felix Stalder a descris tipuri de prejudecăți legate de sistemele de inteligență artificială și le-a legat de diferite stadii ale procesului de dezvoltare ale unei tehnologii. Graficul său arată faptul că, încă de la concepere până inclusiv după punerea unui produs pe piață, o tehnologie care e construită cu algoritmi de inteligență artificială poate să ajungă să funcționeze prost, sau chiar împotriva scopului inițial, dacă nu există o înțelegere temeinică la baza procesului.

Autoritatea de monitorizare a pieței, nedesemnată încă, în România, are inclusiv o funcție similară cu aceste autorități care urmăresc respectarea drepturilor fundamentale. Conform articolului 80, dacă o autoritate de monitorizare a pieței consideră că un sistem de inteligență artificială prezintă un grad ridicat de risc - care nu a fost clasificat astfel de către furnizor - poate evalua respectivul sistem în mod independent și decide dacă respectă sau nu prevederile AI Act (inclusiv pe cele de clasificare).

În practică, chiar și dacă am avea o autoritate de monitorizare care face un efort consistent de a urmări sistemele de inteligență artificială de pe piață, aceasta este cel mai probabil să judece riscul funcție de efectele pe care le produce tehnologia respectivă. Din acest motiv, am înaintat către autoritățile deja-desemnate întrebări legate de pregătirea personalului în domeniul inteligenței artificiale. Atâta timp cât există specialiști în instituții care înțeleg cum funcționează algoritmii de inteligență artificială, chiar și doar la nivelul efectelor pe care le produc, avem șanse ca monitorizarea pe care o fac aceștia să prevină daune, nu doar să reacționeze odată ce răul s-a întâmplat deja.

O slăbiciune a AI Ac este faptul că tot ce pot face instituțiile este să ceară furnizorilor și dezvoltatorilor de sisteme de inteligență artificială să treacă prin cazne birocratice, de a își dovedi încadrarea de risc. În contextul geo-politic actual aceasta pare a fi principala temere a industriei. Furnizorii și dezvoltatorii pot fi obligați să fie foarte descriptivi în a lista cum tehnologia pe care o produc poate afecta drepturile fundamentale ale oamenilor.

Dar problema de fond este că AI Act nu ne oferă nici nouă, ca cetățeni, nici autorităților, posibilitatea de a preveni daune. Este posibil ca autoritățile să acționeze, oricum, doar după ce suferința unor persoane ajunge să fie cunoscută în spațiul public.

Să nu uităm că AI Act exclude complet sistemele de inteligență artificială utilizate în scopuri militare, de apărare sau de securitate națională (care rămâne responsabilitatea exclusivă a statelor membre). Acestea nu se supun nici obligațiilor de transparență, nici analizei de risc.

Teoretic, autoritățile naționale ar putea face pași în plus față de ceea ce le cere Regulamentul AI Act. De exemplu, este în continuare în puterea autorităților naționale să interzică folosirea sistemelor de identificare prin date biometrice (precum fața indivizilor) în spațiile publice. European Digital Rights menține un glosar de resurse relevante, inclusiv poziții luate de autoritățile pentru protecția datelor la nivelul Uniunii Europene, pe tema sistemelor de identificare biometrică și a riscurilor acestora.

Din păcate momentan nu am văzut vreo discuție publică responsabilă legată de reglementarea inteligenței artificiale, care să plece de la borna numită AI Act și sistemul gradual de riscuri. Dacă s-ar organiza o astfel de dezbatere, am vrea să vedem acolo, prezente, cele 9 instituții de mai sus, care să vină cu expertiza lor aplicată în acest domeniu, nu doar cu o obligație legală pe care nu este clar cum o vor pune în practică.