V 1. delu sem trdil, da AI tveganje ne sodi neatno v tradicionalni ISMS. V 2. delu sem razliko naredil bolj eksplicitno. Na tej točki nekateri bralci naredijo novo napako: preveč zanihajo v drugo smer in začnejo govoriti, kot da sta AI tveganje in kibernetska varnost ločeni vesolji z minimalnim stikom.
To je prav tako napačno.
AI sistemi živijo znotraj tehničnih okolij, so odvisni od informacijskih tokov, se zanašajo na ponudnike, izpostavljajo vmesnike, dedujejo modele dostopa in ustvarjajo nove napadalne poti. Torej, čeprav je upravljanje AI širše od kibernetske varnosti, je z njo tudi globoko prepleteno.
ISMS ščiti okolje okoli AI, medtem ko upravljanje AI ščiti vedenje in posledice v njem. V resničnih sistemih ti dve plasti nenehno medsebojno delujeta.
Zakaj je prekrivanje pomembnejše od same razlike
Razlika je pomembna, ker sicer organizacije obravnavajo AI kot le še eno aplikacijo. Toda prekrivanje je pomembno, ker sicer organizacije ustvarjajo upravljalno gledališče.
Ustvarijo razpravo o upravljanju AI, ki lebdi nad infrastrukturo, podatkovnimi cevovodi, ponudniki, vmesniki in operativnimi kontrolami, ki dejansko oblikujejo tveganje.
To ponavadi vodi do ene od dveh odpovedi: varnostne ekipe predpostavljajo, da je upravljanje AI nekdo drugega abstraktni etični projekt, ali ekipe za upravljanje AI predpostavljajo, da so osnove varnosti stabilne in rešene, čeprav niso.
Prekrivna cona se začne s podatki
Podatki so eno od najjasnejših mest, kjer se kibernetska varnost in upravljanje AI trčita.
Z vidika klasičnega ISMS so vprašanja znana: kdo ima dostop do podatkov, ali so šifrirani, ali se dostop beleži, ali je vir odobren in ali je okolje za shranjevanje zaupanja vredno?
Toda AI doda drugo plast: ali so podatki dovolj reprezentativni za primer uporabe, ali so bili zbrani pod pravimi dovoljenji, ali vnašajo pristranskost, ali organizacija lahko slediti, kateri podatki so oblikovali katero vedenje modela in kaj se zgodi, ko se porazdelitev podatkov sčasoma spremeni?
Učni podatki niso le še eno zaščiteno sredstvo. So tudi vedenjski vnos v model.
Kontrola dostopa ni več samo o tem, kdo se prijavi
AI spremeni pomen dostopa na vsaj tri načine:
- Dostop do modela: kdo ga lahko poizveduje, ga fino nastavi, spreminja pozive ali ga poveže z orodji in notranjim znanjem.
- Dostop prek modela: uporabnik morda nima neposrednega dostopa do nabora podatkov, a ga model morda še vedno izpostavi prek odgovorov ali povzetkov.
- Dostop do vplivanja na model: zastrupljeni podatki, manipulacija pozivov ali nevarna logika integracije lahko usmerjajo vedenje.
To pomeni, da kontrola dostopa v okoljih AI ni več samo o perimetru in identiteti. Gre tudi za to, kaj model lahko razkrije, pokliče, sklepa ali v kaj ga je mogoče usmeriti.
Prompt injection je prekrivna cona v enem stavku
Če želite en primer, ki zajame trčenje med kibernetsko varnostjo in upravljanjem AI, je prompt injection močan kandidat.
Je hkrati varnostno vprašanje, vprašanje meje zaupanja, vprašanje vedenja modela, vprašanje zasnove sistema in vprašanje upravljanja.
Klasičen varen sistem bi morda obravnaval vnos kot neškodljivo besedilo. AI sistem lahko isti vnos obravnava kot vedenjske navodila. Točno zato stare varnostne predpostavke same po sebi ne zadoščajo.
Tveganje dobavne verige se z AI razširi
Ekipe za ISMS že razumejo tveganje tretjih oseb in dobavne verige. AI razširi dobavno verigo na načine, ki jih mnoge organizacije še vedno podcenjujejo.
Zemljevid odvisnosti zdaj lahko vključuje ponudnike osnovnih modelov, gostovane API, uteži odprtokodnih modelov, vektorske baze podatkov, cevovode pridobivanja, orodja za orkestriranje pozivov, okvirje za vrednotenje, dobavitelje podatkov za fino nastavitev in integracije vtičnikov ali orodij.
Tveganje ni le, ali je bil ponudnik vdrt. Je tudi, ali ponudnik nepričakovano spremeni vedenje modela, ali se varnostne nastavitve spremenijo, ali model degradira na vašem primeru uporabe, ali so pravila zadrževanja podatkov nejasna, ali skrite odvisnosti pokvarijo vašo logiko zagotavljanja.
Beleženje in sledljivost postaneta veliko težja — in pomembnejša
Varnostne ekipe se pri nadzoru, preiskovanju in odzivu na incidente zanašajo na beleženje. Upravljanje AI prav tako potrebuje beleženje, a iz dodatnih razlogov: rekonstrukcija, zakaj je bil ustvarjen izhod, sledenje, kateri poziv ali rezultat pridobivanja je vplival na odgovor, dokazovanje, kakšna raven človeškega pregleda je bila izvedena, in razumevanje, kdaj se je vedenje modela spremenilo.
Če model da škodljiv nasvet, morda ne bo dovolj vedeti, da je uporabnik odprl orodje ob 10:03 in oddal poizvedbo. Morda boste morali vedeti, kakšen je bil natančen poziv, katera različica modela je odgovorila, kateri kontekst je bil pridobljen in ali je uporabnik uredil izhod, preden je na njem ukrepal.
Odziv na incidente potrebuje širši sprožilni jezik
AI sistemi lahko sprožijo klasične incidente, a ustvarijo lahko tudi druge pogoje, ki zaslužijo eskalacijo: ponavljajoče se halucinacije v občutljivem delovnem toku, nenormalen drift, nevarne ali pristranske vzorce odgovorov, uhajanje pridobivanja, poskuse prompt injection ali samodejno izvajanje dejanj na podlagi šibkega razlogovanja.
Mnogi od teh se ne ujemajo neatno v obstoječe taksonomije incidentov. Zato organizacije ali premalo reagirajo ali improvizirajo. To je signal, da prekrivna cona še ni ustrezno upravljana.
Ponavljajoči se scenarij postane tu bolj realen
Vrnite se k internemu AI asistentu, ki se uporablja za iskanje po politikah, pripravo odgovorov za podporo in povzetke tveganj. Do 3. dela organizacija ugotovi, da tveganje ni le slabi odgovori AI ali slabe varnostne kontrole. Je interakcija med obema.
- asistent pridobiva zastarelo besedilo politik, ker cevovod vsebine nima discipline upravljanja sprememb
- uporabnik brez neposrednega dostopa do dokumenta lahko še vedno sklepa o njegovi vsebini prek ustvarjenih povzetkov
- skrbno sestavljen poziv povzroči, da asistent prezre normalne meje odgovorov
- posodobitev na strani ponudnika spremeni vedenje izhoda brez enakovredne lokalne validacije
Organizacija nima dveh ločenih problemov. Ima en medsebojno povezan sistemski problem.
Zakaj upravljanje AI odpove, ko je osnova ISMS šibka
Če je vaša osnovna varnostna disciplina slaba, je vaše upravljanje AI verjetno le predstava. Imate lahko načela, odbore in predloge za pregled modelov. Toda če ne veste, kje so vaši podatki, kdo ima dostop do sistema, kateri ponudniki so vključeni, kaj se je spremenilo v produkciji ali kako se beležijo incidenti, potem vaše upravljanje AI stoji na šibkih temeljih.
Varnost ni celoten odgovor. Je pa tla.
Boljši model: plastno upravljanje
Najkoristnejši operativni model ni niti AI je le kibernetska varnost niti upravljanje AI je popolnoma ločeno. Je plastno upravljanje:
- Plast 1 — Varnost in operativna kontrola: zaščita sistemov, podatkov, vmesnikov, identitet, ponudnikov in odpornosti.
- Plast 2 — AI-specifična kontrola vedenja: upravljanje zmogljivosti, drifta, pravičnosti, razložljivosti, avtonomije in omejitev primerov uporabe.
- Plast 3 — Kontrola odločitev in odgovornosti: definiranje, kdo je lastnik posledic, kdaj je človeški pregled obvezen, kateri dokazi so potrebni in kako deluje eskalacija.
Zaključek
AI tveganje in tveganje kibernetske varnosti ne koeksistirata le. Se trčita. Trčita se pri podatkih, dostopu, vmesnikih, ponudnikih, sledljivosti, incidentih in operativni zasnovi.
Zato bi zrele organizacije morale nehati obravnavati to razmerje kot spojitev ali ločitev. Je prekrivanje. Živo prekrivanje. In zahteva plastno upravljanje.
4. del se nadaljuje z AI-specifičnimi tveganji, ki jih varnostne ekipe dosledno podcenjujejo: halucinacije, skrita pristranskost, tihi drift, šibka razložljivost in prekomerna avtomatizacija.