Evropska komisija je objavila osnutek smernic za razvrstitev visoko tveganih sistemov umetne inteligence po Aktu EU o umetni inteligenci. Za vodstva podjetij, produktne ekipe, skladnostne funkcije in tehnične vodje to ni samo še en evropski dokument. Gre za prvi resen operativni zemljevid za odločitev, ali konkretni AI sistem pade v režim člena 6 in Priloge III.
Ta odločitev je vstopna točka. Če je sistem visoko tvegan, mora organizacija pripraviti sistem upravljanja tveganj, kontrole nad podatki, tehnično dokumentacijo, beleženje, transparentnost, človeški nadzor, kontrole točnosti in kibernetske varnosti, ugotavljanje skladnosti ter spremljanje po dajanju na trg. Če sistem ni visoko tvegan, mora biti tudi ta zaključek dokumentiran in zagovorljiv.
Praktično vprašanje ni več samo, ali je model zmogljiv. Vprašanje je, ali je konkretni sistem uporabljen v reguliranem kontekstu, za reguliran namen in z vplivom na ljudi ali varnost.
Zakaj smernice spreminjajo pogovor
Do zdaj so številne organizacije razvrstitev visoko tveganih sistemov obravnavale kot pravno interpretacijo: preberi člen 6, preveri Prilogo III, vprašaj pravnike in upaj, da je odgovor jasen. Osnutek smernic proces premika proti dokumentiranemu operativnemu razmišljanju. Pojasnjuje, kako morajo ponudniki in uporabniki oceniti predvideni namen, dejanski kontekst uporabe, kategorijo uporabe in omejene izjeme.
To pomaga, hkrati pa dviguje letvico. Trditev, da je sistem “samo podpora odločanju”, ne bo dovolj, če AI materialno vpliva na dostop do zaposlitve, izobraževanja, kredita, osnovnih storitev, migracijskih odločitev, varnosti ali kritične infrastrukture. Smernice dajejo regulatorjem, naročnikom in sodiščem skupni jezik za preverjanje teh trditev.
Osnovna logika razvrstitve
Prvi korak je natančno opredeliti AI sistem in njegov predvideni namen. Temeljni model, funkcija v izdelku, delovni tok in uvedeno orodje za podporo odločanju niso vedno isti regulativni predmet. Ista komponenta strojnega učenja je lahko nizko tvegana v enem kontekstu in visoko tvegana v drugem.
Drugi korak je preveriti, ali sistem spada pod člen 6(1) kot varnostna komponenta proizvoda ali pod člen 6(2) in Prilogo III kot sistem v eni od navedenih visoko tveganih kategorij. Priloga III vključuje biometrijo, kritično infrastrukturo, izobraževanje, zaposlovanje in upravljanje delavcev, dostop do bistvenih storitev, kazenski pregon, migracije ter pravosodje in demokratične procese.
Tretji korak je previdno uporabiti filter izjem. Akt priznava, da nekateri sistemi v bližini Priloge III ne predstavljajo znatnega tveganja, ker izvajajo ozko postopkovno nalogo, izboljšajo rezultat že opravljene človeške aktivnosti, zaznavajo vzorce odločanja brez vpliva na odločitev ali opravljajo pripravljalno nalogo. Toda izjema ni bližnjica. Organizacija mora pokazati, zakaj sistem ne vpliva materialno na odločitev.
Filter izjem bo najtežji del
Najbolj praktičen del smernic je razlaga, kdaj je sistem lahko izvzet, čeprav je blizu uporabe iz Priloge III. To je tudi področje, kjer bodo produktne ekipe najlažje pretiravale z optimizmom. Sistem, ki samo formatira informacije, odstranjuje podvojene zapise, prevaja besedilo ali usmerja dokument, je lažje utemeljiti kot postopkoven. Sistem, ki ocenjuje, rangira, priporoča, prioritizira ali vpliva na dostop do storitve, je bistveno težje obdržati zunaj visoko tveganega režima.
Ključ je materialni vpliv. Če izhod AI spremeni, kaj človek vidi, kako so možnosti razvrščene, kateri primeri so eskalirani ali kako se razporedijo omejeni viri, sistem lahko vpliva na odločitev, tudi če je človek formalno odgovoren. “Človek v zanki” ni čarobna zaščita.
Kaj naj ponudniki storijo zdaj
Ponudniki naj začnejo z inventarjem AI sistemov, ki je podrobnejši od seznama modelov. Inventar mora opisati predvideni namen, skupine uporabnikov, kontekste uvedbe, prizadete osebe, vhodne podatke, izhode, odločitvene točke, model človeškega nadzora, znane omejitve in integracijske odvisnosti.
Za vsak sistem naj pripravijo kratek klasifikacijski memorandum. Ta naj mapira sistem na člen 6 in Prilogo III, razloži, zakaj kategorija velja ali ne velja, dokumentira morebitno izjemo in navede dokaze. Memorandum naj bo verzioniran in posodobljen ob spremembah sistema.
Tehnično dokumentacijo je treba načrtovati zgodaj. Če je sistem visoko tvegan, dokumentacije ni mogoče na koncu sestaviti iz Jira kartic in modelnih kartic. Vgrajena mora biti v razvojni življenjski cikel: izvor podatkov, validacijski rezultati, kontrole tveganj, navodila za človeški nadzor, beleženje, kibernetska varnost in spremljanje po uvedbi.
Kaj naj uporabniki sistemov storijo zdaj
Uporabniki oziroma deployerji ne smejo pasivno čakati na dobavitelje. Isti produkt je lahko nizko ali visoko tvegan, odvisno od konteksta. Splošno analitično orodje lahko postane visoko tvegano, če se uporablja za rangiranje zaposlenih, triažo vlog za javne storitve ali vpliv na izobraževalne možnosti.
Organizacije naj uvedejo vstopni proces za nove AI uporabe. Vprašanja naj bodo praktična: Na katero odločitev ali proces AI vpliva? Kdo je prizadet? Ali je področje v Prilogi III? Ali sistem rangira, ocenjuje, priporoča, napoveduje ali prioritizira? Ali lahko človek realno pregleda in preglasi rezultat?
Pregledati je treba tudi obstoječa orodja v HR, financah, podpori strankam, operacijah, kakovosti in skladnosti. AI funkcije pogosto pridejo skozi posodobitve SaaS rešitev, ne skozi formalne AI projekte.
Zamik do decembra 2027 ni razlog za mirovanje
Javna razprava ob objavi smernic je izpostavila tudi politični dogovor o zamiku nekaterih obveznosti za visoko tvegane sisteme do 2. decembra 2027. Zamik spremeni časovnico, ne smeri. Resne organizacije bi morale ta čas uporabiti za mirno pripravo, ne za odlašanje.
Obveznosti za visoko tvegane sisteme vplivajo na arhitekturo, podatke, pogodbe, kakovost, spremljanje in upravljanje. Tega ni mogoče kredibilno uvesti v nekaj tednih. Poleg tega naročniki, vlagatelji in partnerji že danes postavljajo vprašanja o AI upravljanju.
Praktični delovni list
Najenostavnejše orodje je klasifikacijski delovni list. Za vsak AI sistem zapišite mejo sistema, predvideni namen, dejansko uporabo, prizadete osebe, analizo Priloge III, analizo izjeme, model človeškega nadzora, dobaviteljske odvisnosti, vire dokazov in končno odločitev. Dodajte odgovorno osebo in datum naslednjega pregleda.
Delovni list naj vsebuje tudi “challenge” del: Kaj bi lahko naredilo zaključek napačen? Ali bi uporabniki rezultat uporabljali bolj neposredno, kot je predvideno? Ali bi se sistem lahko uporabil v zaposlovanju, izobraževanju, kreditiranju ali bistvenih storitvah? Ali prihodnje integracije spremenijo kategorijo tveganja?
Pomen za medicinske pripomočke in regulirane proizvode
Za medicinske pripomočke, stroje, avtomobilske in industrijske proizvode je pomemben člen 6(1). Če je AI varnostna komponenta proizvoda ali sam proizvod, zajet s harmonizacijsko zakonodajo Unije, lahko obveznosti nastanejo po produktno-varnostni poti. To se neposredno povezuje z obstoječimi sistemi kakovosti, upravljanjem tveganj in ugotavljanjem skladnosti.
Dobra novica je, da regulirane ekipe že poznajo dokumentirane procese, validacijo, nadzor sprememb in spremljanje po dajanju na trg. Izziv je AI kontrole vključiti v obstoječi sistem, ne ustvariti vzporedne birokracije.
Pogoste napake
- Razvrščanje modela namesto uporabe. Razvrstitev sledi predvidenemu namenu in kontekstu uvedbe.
- Domneva, da človeški pregled odstrani visoko tveganje. Človeški nadzor je kontrola, ne samostojna izjema.
- Ignoriranje SaaS funkcij. AI zmogljivosti lahko pridejo z nadgradnjo dobavitelja.
- Preširoka uporaba postopkovne izjeme. Naloga ni ozko postopkovna, če materialno oblikuje vsebinsko odločitev.
- Dokumentacija šele ob reviziji. Dokaze je najlažje zbrati med načrtovanjem sistema.
Zaključek
Osnutek smernic je dragocen, ker zapleten pravni okvir prevede v praktična klasifikacijska vprašanja. Hkrati otežuje skrivanje za nejasnimi izrazi, kot sta “samo asistivno” ali “ni avtomatizirano odločanje”. Organizacije imajo zdaj jasnejše merilo za razlago, zakaj je sistem visoko tvegan, ni visoko tvegan ali je izvzet.
Smiselno je začeti zdaj: vzpostaviti inventar, napisati klasifikacijske memoje, preveriti izjeme, vključiti ljudi, ki razumejo delovni tok, in pripraviti dokaze, preden jih zahtevajo naročniki, revizorji ali regulatorji.
Viri: osnutek smernic Evropske komisije o razvrstitvi visoko tveganih AI sistemov, gradivo ciljanega posvetovanja in javni komentar Oliverja Patela ob objavi smernic.