V 1. delu sem trdil, da AI tveganje ne sodi neatno v tradicionalni ISMS. To je konceptualni prelom, ki ga mnoge organizacije najprej potrebujejo.
Ko pa ta točka pristane, hitro pride naslednje vprašanje: kaj je pravzaprav drugače?
AI tveganje in ISMS tveganje se res prekrivata. Delita infrastrukturo, podatke, ponudnike, kontrole in točke upravljanja. Toda razlikujeta se v tem, kaj poskušata zaščititi, kako se kaže odpoved, katere dokaze je treba upoštevati in kdo mora biti lastnik odziva.
ISMS tveganje sprašuje, ali so informacije in sistemi zaščiteni. AI tveganje sprašuje tudi, ali so vedenje modela, izhodi in odločitve dovolj vredni zaupanja za primer uporabe.
Začnite z najpreprostejšo razliko: objekt tveganja
ISMS tveganje se ukvarja predvsem z zaščito informacijskih sredstev, sistemov in storitev. Objekt zaščite je ponavadi jasen: podatki, infrastruktura, aplikacije, uporabniki in pravice dostopa, neprekinjenost poslovanja in odvisnosti od dobaviteljev.
AI tveganje premakne fokus. Zdaj je objekt skrbi vključuje tudi izhode modela, vedenje modela v razmerah negotovosti, sledljivost podatkov, statistično zmogljivost v različnih kontekstih, razložljivost, vzorce zanašanja ljudi in dolvodno poslovno ali družbeno škodo.
To takoj spremeni pogovor o upravljanju. V razpravi o AI je sistem lahko varen, razpoložljiv in tehnično delujoč, medtem ko še vedno ustvarja škodljive ali nezanesljive rezultate.
ISMS tveganje se večinoma ukvarja s kompromitacijo. AI tveganje pogosto z vedenjem.
Koristna bližnjica je naslednja:
- ISMS tveganje je pogosto v zvezi z nepooblaščenim dostopom, motnjo, korupcijo ali izpostavljenostjo.
- AI tveganje je pogosto v zvezi s slabim vedenjem, slabimi izhodi, slabo podporo pri presoji ali slabo avtomatizacijo.
Napake vedenja je težje opaziti kot varnostne napake. Izpad sistema izgleda kot incident. Napad z izsiljevalsko programsko opremo izgleda kot incident. A AI sistem, ki sčasoma postaja vse bolj zavajajoč, morda ne sproži nobenega tradicionalnega postopka za incidente.
Primerjava vzporedno
| Dimenzija |
ISMS tveganje |
AI tveganje |
| Primarni objekt tveganja | Informacijska sredstva, sistemi, storitve | Izhodi, modeli, vedenje, podpora pri odločanju, avtomatizacija |
| Tipičen način odpovedi | Vdor, uhajanje, nepooblaščen dostop, izpad | Halucinacija, pristranskost, drift, nevarna priporočila, neprozorno odločanje |
| Pot vpliva | Škoda zaupnosti, integritete, razpoložljivosti | Operativna, pravna, etična, finančna ali reputacijska škoda |
| Narava sistema | Večinoma deterministična in na pravilih temelječa | Probabilistična, kontekstno odvisna, včasih nerazložljiva |
| Dokazi | Dnevniki dostopa, popravki, pregled dobaviteljev, zapisi incidentov | Rezultati validacije, nadzor drifta, omejitve modela, zapisi o človeškem pregledu |
| Lastništvo | Varnost, IT, tveganje, operacije | Varnost, pravni oddelek, skladnost, podatki, produkt, poslovanje, vodstvo |
Isti interni AI asistent zdaj izgleda drugače
Vrnimo se k ponavljajočemu se primeru iz 1. dela: podjetje uvede interni AI asistent za iskanje po politikah, pripravo odgovorov za stranke in povzetke analiz tveganj.
Gledano skozi lečo ISMS, ekipa sprašuje: kdo ima dostop? Kje so shranjeni podatki? Kateri ponudnik je vključen? Ali se dnevniki hranijo? Ali je prenos šifriran? Kaj se zgodi, če sistem ni razpoložljiv?
Gledano skozi lečo AI tveganja, mora ekipa vprašati tudi: kako dosledni so odgovori pri različnih pozivih? Kaj se zgodi, ko asistent ni gotov? Ali bi verjeten, a napačen odgovor vplival na regulirano odločitev? Kateri dokazi kažejo, da je primer uporabe še vedno varen šest mesecev pozneje?
Prva skupina ščiti okolje. Druga skupina upravlja vedenje v tem okolju. Obe sta potrebni. Nobena ne nadomešča druge.
Statičnih sredstev in probabilističnih sistemov ne bi smeli upravljati enako
Tradicionalno razmišljanje ISMS je nastalo ob sredstvih, ki se relativno stabilno obnašajo. AI sistemi se ne obnašajo z enako jasnostjo. Njihovi izhodi so oblikovani z učnimi podatki, formulacijo poziva, izbirami prilagajanja, kakovostjo pridobivanja in spremenjenimi resničnimi pogoji.
Sistem morda ne bo odpovedat enako dvakrat. Isti poziv morda ne bo vedno ustvaril istega odgovora. Model se morda dobro obnese pri testih in slabo pod operativnim pritiskom. Škoda se morda pokaže postopoma in ne dramatično.
Zgodba o vplivu je pri AI širša
Napake AI lahko ustvarijo nepravično obravnavo, zavajajoče notranje svetovanje, nizkokakovostno komunikacijo s strankami, napake avtomatizacije, ki obidejo presojo, tiho degradacijo zmogljivosti in reputacijsko škodo zaradi tekočih, a napačnih izhodov.
To je eden od razlogov, zakaj se uprave sprva soočajo z AI tveganjem s težavami. Vpliv ni vedno vidno tehničen, čeprav je temeljni vzrok tehničen.
Dokazi so prav tako drugačni
Zrel ISMS ustvarja znane dokaze: preglede dostopa, varnostno testiranje, ocene dobaviteljev, stanje popravkov, inventarje sredstev in dnevnike incidentov.
Upravljanje AI potrebuje drugačno dokazno plast na vrhu tega: rezultate validacije po primeru uporabe, pragove zanesljivosti, meje delovnega toka, preverbe pravičnosti, nadzor drifta in dokaze o človeškem pregledu v občutljivih primerih.
Varnostni dokazi dokazujejo nekatere potrebne stvari. Ne dokazujejo, da je model primeren za namen.
Lastništvo ne more ostati znotraj varnostne ekipe
Če se tveganje razlikuje, se mora razlikovati tudi lastništvo. AI tveganja ni mogoče odgovorno upravljati samo z varnostjo, IT in poslovnim tveganjem.
Ključna vprašanja niso samo tehnična. Vključujejo, ali je primer uporabe sploh sprejemljiv, kakšna stopnja nadzora s strani človeka je potrebna, kakšna pravna izpostavljenost obstaja in kateri poslovni vodja je lastnik posledice napačnega odgovora.
Zaključek
AI tveganje in ISMS tveganje sodita v isto sejno sobo, a nista ista zver. Prekrivanje je resnično. Razlika je prav tako resnična.
Ko organizacije to jasno razumejo, prenehajo postavljati napačno vprašanje — ali naš ISMS lahko absorbira AI? — in začnejo postavljati boljše: kje naše obstoječe kontrole še pomagajo in kje potrebujemo drugačno upravljalsko plast?
Tam gre 3. del naprej: kje se AI tveganje in tveganje kibernetske varnosti dejansko trčita v resničnem svetu?