Ko ljudje govorijo o »AI«, si navadno predstavljajo eno stvar. En velik, pameten sistem nekje v oblaku. Toda ta slika je zavajajoča. AI je družina zelo različnih tehnologij, in strojna oprema, ki poganja vsako od njih, je prav tako raznolika. Če vaša organizacija ocenjuje infrastrukturo za AI, gradi ML produkte ali preprosto poskuša razumeti, zakaj računski stroški naraščajo, je ta razlika pomembna.
Zakaj je strojna oprema pravi ozki grlo
V srcu vsakega modela globokega učenja je varljivo preprosta operacija: pomnožite dve števili, dodajte rezultat k tekoči vsoti. To ponavljajte milijardokrat na sekundo. To se imenuje operacije množenja in kopičenja, ali MACs. Vsaka plast vsake nevronske mreže deluje na MACs.
Težava je, da standardni procesorji niso bili zasnovani za to. CPU je zgrajen za splošne naloge — dober pri izvajanju ene kompleksne stvari hkrati. Globoko učenje ne potrebuje ene stvari hitro. Potrebuje milijone preprostejših stvari hkrati, vzporedno. CPU-ji postanejo ozko grlo. Zato je industrija zgradila alternative. In te alternative prav tako niso vse enake.
Štiri strojne poti za globoke nevronske mreže
Raziskava Univerze Hanyang, objavljena v reviji Advanced Intelligent Systems (Song idr., 2024), prikazuje glavne možnosti strojne opreme v uporabi danes. Za standardne globoke nevronske mreže — tiste, ki stojijo za prepoznavanjem slik, jezikovnimi modeli in večino podjetniških orodij AI — obstajajo štiri različni pristopi:
- CPU-ji (centralne procesne enote): Splošnonamenski procesorji, ki jih najdemo v vsakem računalniku. Dobro obvladujejo sekvenčno logiko in lahko poganjajo lahkotne modele AI, zlasti redke. Toda niso grajeni za masivno vzporednost. Za kar koli onkraj majhnega modela sam CPU ni dovolj.
- GPU-ji (grafične procesne enote): Sprva zasnovani za upodabljanje grafike, so se GPU-ji izkazali odlični za vzporedno matematiko, ki jo zahteva globoko učenje. Obdelujejo tisoče operacij hkrati in podpirajo širok razpon podatkovnih formatov. Trenutno so prevladujoča strojna oprema za učenje AI. Slabost je poraba energije — GPU-ji jo porabijo veliko, kar omejuje njihovo uporabo v robnih napravah ali okoljih z omejenimi baterijami.
- NPU-ji (nevronske procesne enote): Čipi, zasnovani po meri za eno specifično nalogo — pospeševanje računanja nevronskih mrež. Za razliko od GPU-jev, ki so splošnonamenski vzporedni procesorji, so NPU-ji aplikacijsko specifični. Uporabljajo zasnovo, imenovano sistolična polja — mreže procesnih elementov, ki prenašajo podatke v neprekinjeni tok, kar minimizira fizično razdaljo, ki jo morajo podatki prepotovati. Googlov TPU je eden dobro znanih primerov. NPU-ji so zelo učinkoviti za računalniško zahtevne naloge, a manj prilagodljivi, ko se zahteve modela pogosto spreminjajo.
- CIM (računanje v pomnilniku): Najnovejša smer. Namesto premikanja podatkov iz pomnilnika v procesor CIM postavi računanje neposredno znotraj pomnilniške enote. S tem odpravlja enega od največjih virov zakasnitve in zapravljanja energije. Obstajata dve različici: digitalni CIM, ki je natančnejši in zanesljivejši, ter analogni CIM, ki je energetsko učinkovitejši, a uvaja šum, ki zahteva skrbno inženiringom upravljanje.
Drugačna paradigma: Nevromorfni čipi za pulzirajoče nevronske mreže
Vsi modeli AI ne delujejo na enak način. Standardne globoke nevronske mreže obdelujejo podatke neprekinjeno — vedno računajo, vedno posodabljajo. Obstaja pa drug razred, imenovan pulzirajoče nevronske mreže (SNN). Ti modeli bolj posnemajo biološke nevrone. Nevron v SNN sproži samo takrat, ko nakopičeni signal preseže prag. Preostali čas ne počne ničesar.
To naredi SNN dobro primerne za podatke v realnem času, ki jih poganjajo dogodki — robotski senzorji, obdelava zvoka ali katero koli aplikacijo, kjer je večina signala tišina, ki jo prekinejo kratki izbruhi aktivnosti. Za učinkovito poganjanje SNN potrebujete strojno opremo, ki prav tako deluje na dogodkih in ne na neprekinjenih računskih ciklih. Tu pridejo v poštev nevromorfni čipi.
Nevromorfni čipi se odmikajo od klasične procesorske arhitekture, kjer sta pomnilnik in obdelava ločena in podatki se morajo med njima nenehno premikati. V nevromorfni zasnovi vsaka nevronska enota shranjuje in obdeluje podatke na istem fizičnem mestu. Ni prenosa podatkov. Ni ozkega grla. To ni le hitrejša različica obstoječe strojne opreme — je temeljno drugačen računski model.
Izbira prave strojne opreme za vaš primer uporabe
Praktično vprašanje za vsako organizacijo je, katera strojna oprema ustreza kateremu problemu. Ni enega samega pravega odgovora, toda obstaja jasen niz vprašanj, skozi katera je treba delati:
- Kje je trenutno ozko grlo? Če vas omejuje hitrost računanja, sta GPU ali NPU prava smer. Če je ozko grlo dostop do pomnilnika in prenos podatkov, CIM arhitekture ta problem rešujejo neposredneje.
- Koliko prilagodljivosti potrebujete? GPU-ji obvladujejo mnoge vrste modelov in se dobro razvijajo s spremenljivimi zahtevami. NPU-ji so hitrejši, a zaklenjeni na določene naloge. Če so vaši modeli še v razvoju, je prilagodljivost bolj pomembna od vrhunske učinkovitosti.
- Kakšne so omejitve glede napajanja? Pri oblačnih uvedbah se napajanje neposredno prevaja v obratovalne stroške. Pri vgrajenem ali robnem AI napajanje omejuje, kar je fizično mogoče. GPU-ji so dragi za delovanje v velikem obsegu. CIM in NPU-ji so boljši kandidati za okolja, občutljiva na porabo energije.
- Ali so podatki neprekinjeni ali s prožitvijo pri dogodkih? Neprekinjeni tokovi podatkov — slike, besedilo, strukturirani zapisi — ustrezajo standardnim DNN, ki tečejo na strojni opremi GPU ali NPU. Redki podatki s prožitvijo pri dogodkih v aplikacijah s senzorji v realnem času ustrezajo SNN in nevromorfnim čipom.
Kaj to pomeni pri ocenjevanju sistemov AI
Fraza »uporabljamo AI« zdaj pokriva ogromno razpon tehnologij in infrastrukturnih odločitev. Dve organizaciji lahko obe uporabljata AI in poganjata temeljno različne sisteme na temeljno različni strojni opremi, z zelo različnimi stroškovnimi strukturami, profili zakasnitve in omejitvami razširljivosti.
Pri ocenjevanju prodajalcev AI, ponudnikov oblaka ali internih ML predlogov se splača vprašati, katera vrsta modela je vključena in kakšna strojna oprema jo poganja. Odgovori razkrivajo nekaj resničnega o stroških, zmogljivosti in tveganju — ne tržnega govora o inteligenci.
AI ni ena monolitna tehnologija. Je nabor orodij. Strojna oprema pod vsakim orodjem se bistveno razlikuje. Razumevanje te variabilnosti ni le tehnična podrobnost. Je poslovna odločitev.
Reference