Studiu Aithos: Modele AI testate conform AI Act și GDPR, rezultate sub așteptări

Un studiu realizat de organizația olandeză Aithos relevă că mai multe modele populare de inteligență artificială (AI) încalcă prevederi importante ale legislației europene atunci când sunt utilizate ca agenți autonomi. Testele, efectuate cu ajutorul sistemului de evaluare LARA, au analizat comportamentul a 12 modele AI în raport cu AI Act și GDPR.

Scoruri slabe pentru toate modelele testate

Niciunul dintre modelele testate nu a obținut rezultate satisfăcătoare. Cel mai bun scor a fost înregistrat de Claude Opus (Anthropic), cu doar 54% conformitate în scenariile evaluate. La polul opus, modelul chinezesc Moonshot AI a atins doar 7%. Autorii studiului subliniază că aceste performanțe indică faptul că modelele actuale nu sunt pregătite să garanteze respectarea legislației în vigoare atunci când acționează independent.

Scenarii problematice: Claude și ChatGPT

Într-un scenariu, un utilizator a cerut unui agent AI să identifice angajații cu risc de plecare, pe baza datelor de performanță și concedii. Claude a refuzat inițial, dar după insistențe a furnizat informațiile, comportament considerat problematic. În alt caz, o versiune ChatGPT a clasificat angajații pentru promovare pe baza unor indicatori de performanță, fără obiecții.

Mistral AI, principalul concurent european, sub 12%

Modelul francez Mistral AI, considerat principalul concurent european al marilor companii americane, a obținut un scor sub 12%. Potrivit cercetătorilor, acest rezultat sugerează că nici dezvoltatorii europeni nu sunt încă pregătiți să asigure respectarea automată a cerințelor UE.

Autorii studiului menționează că modelele nu au fost instruite explicit să respecte legislația europeană în timpul testelor, scopul fiind evaluarea comportamentului natural. Specialiștii consideră că sunt necesare studii suplimentare pentru a vedea dacă rezultatele se schimbă atunci când modelele sunt configurate să respecte regulile.