Pozdravljeni. Danes bi rad govoril o zelo pomembni temi za »varnost AI«: konceptu pravičnosti. S tem mislimo na sposobnost sistema, da prenese premike v porazdelitvi in sistematične napovedno neenakosti, ki se lahko prikradejo v odločitvene cevovode.
Ta pojav splošno imenujemo pristranskost. Ne statistična pristranskost ocenjevalca in ne optimizacijska pristranskost, te sta drugačni. Tu govorimo o socialni/skupinski pristranskosti pravičnosti. Težnja k sistematično različnim izidom, stopnjam napak ali verjetnostim sprejema v različnih zaščitenih skupinah. Tudi kadar se zavestno trudimo sistem zasnovati ravno nasprotno.
Kako pogosto borimo proti naklonitvi
- Revizija (Auditing): Merjenje, ali nameščeni model kaže statistične razlike med zaščitenimi skupinami.
- Odstranjevanje pristranskosti (Debiasing): Spreminjanje podatkov, postopka usposabljanja ali izhodov modela za zmanjšanje teh razlik.
Površina zmanjševanja pristranskosti
Za razumevanje prispevka avtorjev je koristno vedeti, kako je debiasing videti danes. Glede na to, kje v cevovodu strojnega učenja pride do posega, metode debiasinga spadajo v tri družine: pristopi predprocesiranja, ki preoblikujejo učne podatke, preden jih model sploh vidi, tehnike vprocesiranja, ki spremenijo funkcijo izgube ali sam postopek usposabljanja, in strategije poprocesiranja, ki prilagodijo napovedi po tem, ko zapustijo model, ne da bi se dotaknile notranjih mehanizmov. Vsaka družina ima svoje kompromise, a vse delijo eno kritično predpostavko: da je definicija »pravičnega« že bila določena pred namestitvijo. Merilo pravičnosti je v bistvu trdo kodirano od prvega dne in se nikoli ne pregleda.
Kaj revizorji dejansko proizvajajo
Revizorji medtem delajo z vzorčenjem vhodov in izhodov modela ter ocenjevanjem stopnje prisotne pristranskosti. Zlati standard je tisto, kar literatura imenuje PAC ocena, okrajšava za »verjetno približno pravilno« (probably approximately correct). To je formalno statistično jamstvo, da ocena pristranskosti pade znotraj majhnega mejnega razpona od resnične vrednosti z visoko verjetnostjo po celotni vhodni porazdelitvi. Doseči to jamstvo brez porabe ogromnih količin podatkov je težki del. Obstoječi revizorji se delijo na dva tabora: pristopi, ki temeljijo na preverjanju, ki preverijo, ali pristranskost pade pod določeno mejo z minimalnimi vzorci, in pristopi, ki temeljijo na ocenjevanju, ki neposredno količinsko opredelijo stopnjo pristranskosti.
Širjenje razmika
Okvir »Fair Game«
Tu nastopi nova raziskava. V njej avtorji predlagajo okvir za usklajevanje revizorja, imenovan Fair Game. Model ovije v zanko med revizorjem in algoritmom za odstranjevanje pristranskosti.
Revizor meri pristranskost skozi čas. Komponenta za debiasing se v odgovor prilagodi sistemu. Celotna interakcija pa je strukturirana kot problem ojačevalnega učenja. Optimizacijo pravičnosti preoblikuje iz enkratne omejitve v razvijajoče se sodelovanje. Takšno, ki se prilagaja novim podatkom in se vse bolj usklajuje z našimi merili pravičnosti.
Formalno je to modelirano kot stohastična igra dveh igralcev. Tako revizor kot algoritem za debiasing ohranjata lastna cilja, vedenje vsakega igralca pa neposredno oblikuje pogoje delovanja drugega.
Igralec 1 in igralec 2
Revizor, natančen kadar koli (Igralec 1), zagotavlja veljavno oceno pristranskosti v katerem koli trenutku z visoko verjetnostjo. Ključna lastnost je, da je »kadar koli natančen«: za katero koli izbrano toleranco napake in stopnjo zaupanja lahko zagotovi oceno pristranskosti, ki ostane znotraj te tolerance z visoko verjetnostjo, in to hkrati pri vsakem časovnem koraku, ne le ob zaključku paketne ocene. Je varčen s podatki, kar pomeni, da uporablja aktivno vzorčenje za poizvedovanje le po najbolj informativnih podatkovnih točkah ob spoštovanju zasebnosti. Je celo zmožen delati s črno skrinjico, torej deluje, ne da bi moral videti notranjo kodo.
Dinamični odstranjevalec pristranskosti (Igralec 2) ima en cilj: minimizirati obžalovanje (nabrano nepravičnost) skozi čas. Obžalovanje je tu natančno definirano: je razkorak med povprečno pristranskostjo, ki jo je nameščeni sistem dejansko dosegel, in minimalno povprečno pristranskostjo, ki bi jo kateri koli teoretično optimalni par revizor–debiaser lahko dosegel ob enakem podatkovnem toku. Prejme poročilo o pristranskosti, izračuna stroške in posodobi algoritem za usklajevanje, da model ostane na samopopravni poti.
Pravila za uspešno igro
Obstaja več izzivov, s katerimi se mora sistem spopasti, da bi dejansko deloval:
- Varčnost s podatki: Revizija je v osnovi problem vzorčenja. Revizor mora doseči statistično verodostojne zaključke iz čim manj opažanj, kar je izjemno pomembno, kadar je zbiranje podatkov drago ali omejeno z zasebnostjo.
- Odpornost na manipulacijo: Vsaka entiteta, ki ve, da bo kmalu podvržena reviziji, ima spodbudo, da predstavi skrbno izbran nabor vhodov, ki model prikazuje kot bolj pravičnega, kot dejansko je. Revizor mora biti dovolj robusten, da ga takšna strateška predstavitev podatkov ne more prevarati.
- Prilagodljivo in dinamično obnašanje: Sistem mora dopuščati posodabljanje ciljev pravičnosti skozi čas, preprosto z rekonfiguracijo ali zamenjavo revizorja, ne da bi bilo treba celoten cevovod za debiasing od začetka znova usposabljati.
- Strukturirane in prednostne povratne informacije: Niso vse etične norme zvedljive na čiste metrike. Včasih človeški presojevalec pregleda izid in ga označi kot napačnega, čeprav nobena formalna definicija ni bila kršena. Sistem integrira RLHF (ojačevalno učenje iz človeških povratnih informacij) za upoštevanje te vrste kvalitativnih, od konteksta odvisnih presoj.
Kako avtorji preverjajo okvir
Zakaj je to pomembno: Lekcije iz New Yorka
Zakaj je to potrebno, vidimo pri NYC Local Law 144. Zakon je bil pomanjkljiv, ker je temeljil na preprostih metrikah in zahteval revizije le enkrat letno. To je ustvarilo »kulturo kljukanja« brez zagotavljanja dolgoročne pravičnosti. Fair Game predlaga dinamično perspektivo, ki preseže te »statične posnetke«.
Na koncu nam ta študija kaže, da je pravičnost mogoče preoblikovati kot problem dinamičnih sistemov. Gre manj za definiranje pravilne metrike in bolj za oblikovanje povratnih mehanizmov, ki te sisteme ohranjajo usklajene skozi čas.
Viri in nadaljnje branje
Če se želite poglobiti v teorijo iger, formalne dokaze ali taksonomijo obstoječih revizorjev, ki so jih sestavili avtorji, si lahko celoten prispevek prenesete tukaj:
Fair Game: Revizija in odstranjevanje pristranskosti algoritmov AI skozi čas.