Kateri so vrsti AI drifta?
Drift lahko se pojavi na več načinov. Pomembno je vedeti razliko.
1. Konceptni drift
To se zgodi, ko se pomen vašega cilja sčasoma spremeni. Stvari, ki jih poskušate napovedati, so zdaj drugačne.
- Preprost primer: Pomislite na AI, ki poskuša najti »spam« e-pošto. Pred desetimi leti je bil spam enostavno prepoznati. Imel je slab pravopis in nenavadne povezave. Danes so spam e-poštna sporočila videti zelo profesionalna. Koncept tega, kaj je spam e-pošta, se je spremenil.
- Primer iz zdravstva: Na začetku pandemije COVID-19 so se simptomi za »visoko tveganega pacienta« zelo hitro spremenili. Model AI, usposobljen pred pandemijo, novih simptomov ne bi poznal. Ideja »visokega tveganja« je postala nov koncept.
2. Podatkovni drift
To se zgodi, ko se vhodni podatki, ki gredo v model, spremenijo, a koncept ostane enak. AI dobi informacije, ki jih še ni videl.
- Preprost primer: Predstavljajte si AI, ki na tovarniški liniji preverja pokvarjena jabolka. Usposobljen je bil na slikah rdečih jabolk. Če tovarna začne predelovati zelena jabolka, bi AI mislil, da so vsa pokvarjena. Jabolka so drugačna, čeprav je cilj (»najdi pokvarjeno jabolko«) enak.
- Primer iz zdravstva: Bolnišnica kupi nov tip naprave MRI. Ta nova naprava proizvaja slike z višjo ločljivostjo ali drugačnim kontrastom. AI, usposobljen za iskanje tumorjev na slikah starejših naprav, morda ne bo deloval dobro. Vhodni podatki (slika) so se premaknili, čeprav se naloga (iskanje tumorja) ni.
Ko se ti drifti zgodijo, se zmogljivost AI poslabša. To se včasih imenuje drift modela. Model ni več primeren za novo realnost.
Kako drift ustvarja velike težave za učinkovitost in varnost
Drift je tiho težavo. AI sistem ne zgreši ali prikaže napako. Samo poč
- Padec učinkovitosti in zmogljivosti: Diagnostični AI bi lahko začel zamujati več zgodnjih znakov bolezni. Sistem za upravljanje bolniških postelj bi lahko postal slab pri napovedovanju časov odpusta pacientov. To naredi rešitev manj koristno in ljudje ji bodo nehali zaupati. (NEPOTRJENO) Nekatere študije kažejo, da se zmogljivost modela lahko v prvih nekaj mesecih zniža za 5–10 %, ne da bi to kdo opazil (NEPOTRJENO).
- Velika varnostna tveganja: To je najpomembnejši del za kritične sisteme. Ko so napovedi AI napačne, to lahko povzroči škodo. Predstavljajte si sistem AI, ki priporoča odmerke inzulina za paciente. Usposobljen je bil na podatkih iz ene države. Če se zdaj uporablja v novi državi, kjer ima prebivalstvo drugačno povprečno prehrano, telesno težo ali genetiko, bi njegova priporočila lahko postala nevarna. To je neposredno tveganje za varnost pacientov.
Zakaj drift spremeni verifikacijo in validacijo (V&V)
V tradicionalni programski opremi je verifikacija in validacija (V&V)
Pri AI to ni dovolj. Pravilno obnašanje AI je odvisno od podatkov. Prva validacija dokaže le, da je model deloval na podatkih iz tistega časa. Ko se zgodi podatkovni drift ali konceptni drift, ta prva validacija ni več smiselna. Za sisteme AI mora biti V&V neprekinjana dejavnost. Modela ne moremo samo enkrat validirati. Imeti moramo sistem za neprekinjeno preverjanje, da model v resničnem svetu še vedno deluje pravilno.
Kaj timovi kakovosti in regulacije morajo vedeti
Kako član kakovostnega ali regulacijskega tima, ste ključni del za var
1. Vprašajte o spremljanju, ne le o validaciji
Najpomembnejše vprašanje ni »Ali je bil model validiran?« Boljše vprašanje je: »Kako spremljamo zmogljivost modela in vhodne podatke *po* namestitvi?« Katera orodja uporabljamo za zaznavanje podatkovnega drifta? Kakšno je pravilo, ko prejmemo opozorilo, da se model premika?2. Understand Where the Data Comes From
Vaš tim mora biti vključen v proces podatkov. Vprašajte, kje je izvorn3. Demand a Plan for Retraining
Ko se drift zazna, kaj storimo? Moramo imeti jasen, dokumentiran načrt4. Treat Drift as a Manageable Risk
AI drift ni preskok; je normalen rizik za AI sisteme. Morati ga vključ
Z zaznavanjem teh vprašanj pomagate tehničnim timom, da izgradijo varn