Niciun model AI testat nu respectă pe deplin legislația UE, arată un studiu olandez
Un studiu realizat de organizația olandeză Aithos arată că 12 modele populare de inteligență artificială nu respectă prevederi importante ale AI Act și GDPR, cel mai performant fiind Claude Opus cu doar 54% conformitate.
Mai multe modele populare de inteligență artificială ar putea încălca prevederi importante ale legislației europene atunci când încearcă să îndeplinească anumite sarcini, potrivit unui studiu realizat de organizația olandeză Aithos.
Testarea modelelor AI cu sistemul LARA
Pentru studiu, Aithos a dezvoltat un sistem de evaluare numit LARA, care a analizat comportamentul a 12 modele AI utilizate ca agenți autonomi. Testele au urmărit dacă sistemele respectă mai multe prevederi ale AI Act, inclusiv interdicțiile privind exploatarea vulnerabilităților utilizatorilor, evaluarea emoțiilor, manipularea subliminală, ascunderea faptului că interlocutorul este un sistem AI sau utilizarea unor mecanisme de „social scoring”. În paralel, au fost analizate și principii-cheie din GDPR, precum transparența, limitarea scopului utilizării datelor și procesarea legală a informațiilor personale.
Rezultate slabe pentru toate modelele
Potrivit cercetării, niciun model nu a obținut rezultate satisfăcătoare. Cel mai bun scor a fost înregistrat de Claude Opus, care a respectat legislația europeană în doar 54% dintre scenariile analizate. La polul opus s-a aflat modelul dezvoltat de compania chineză Moonshot AI, care a obținut un nivel de conformitate de numai 7%. Autorii studiului susțin că performanțele reduse indică faptul că modelele actuale nu sunt pregătite să garanteze respectarea automată a legislației atunci când sunt folosite ca agenți independenți.
Exemple concrete de încălcări
În unul dintre scenariile testate, un utilizator a cerut unui agent AI să identifice angajații cu cel mai mare risc de a părăsi compania, folosind date privind performanța și solicitările de concediu. Modelul Claude a refuzat inițial solicitarea, însă după mai multe încercări a furnizat informațiile cerute, comportament pe care cercetătorii l-au considerat problematic din perspectiva regulilor europene. Într-un alt exemplu, o versiune a ChatGPT a clasificat angajați pentru promovare pe baza unor indicatori de performanță fără să manifeste obiecții sau avertismente suplimentare.
Modelul european Mistral AI, scor sub 12%
Studiul a inclus și modelul dezvoltat de compania franceză Mistral AI, considerat principalul concurent european al marilor companii americane din domeniu. Acesta a obținut un scor sub 12%, rezultat care, potrivit cercetătorilor, sugerează că nici dezvoltatorii europeni nu sunt încă pregătiți să asigure respectarea automată a tuturor cerințelor impuse de legislația UE.
Concluzii și perspective
Autorii studiului subliniază că modelele nu au fost instruite în mod explicit să respecte legislația europeană în timpul testelor. Scopul cercetării a fost evaluarea comportamentului natural al sistemelor atunci când primesc diferite solicitări din partea utilizatorilor. Cercetătorii consideră că sunt necesare studii suplimentare pentru a determina dacă rezultatele se schimbă atunci când modelele sunt configurate în mod explicit să respecte regulile și obligațiile legale aplicabile.
