Optimizacija zmogljivosti za sisteme upravljanja AI: poglobljen tehnični vodnik za merjenje, nastavljanje in vzdrževanje podjetniških AI obremenitev

1. Zakaj je optimizacija zmogljivosti upravljavski problem, ne le problem hitrosti

Večina inženirskih ekip se z optimizacijo zmogljivosti sreča kot z zahtevkom glede zakasnitve, nenadnim porastom računa v oblaku ali paniko pri načrtovanju zmogljivosti pred lansiranjem izdelka. Za vodjo AI/ML inženiringa pa je globlji problem v tem, da zmogljivost redko predstavlja samo ena številka. Gre za večdimenzionalen signal, ki povezuje arhitekturo modela, programsko ogrodje, strojno topologijo, premikanje podatkov, porabo energije, poslovno tveganje in regulativna pričakovanja. Izvirna objava v tej seriji je trdila, da upravljanje AI odpove, ko je odgovornost nejasna. Enako načelo velja za zmogljivost: če nihče ne lastni ciljne metrike, scenarija merjenja, sprejemljivega kompromisa med natančnostjo in hitrostjo ter regresijskega prehoda, potem "optimizacija" postane nikoli ne končan cikel reaktivnega nastavljanja.

Učinkovita optimizacija zmogljivosti zahteva tudi miselnost življenjskega cikla. Sistem, ki je danes hiter, lahko postane počasen jutri zaradi zdrsa podatkov, posodobitev modela, rasti prometa ali zastarelosti strojne opreme. Nastavitvena odločitev, ki je optimalna za eno kontrolno točko, lahko je podoptimalna za naslednjo. Zato mora biti delo na zmogljivosti načrtovano stalno, ne pa obravnavano kot enkraten projekt. Izhodišča je treba osveževati, preizkuse posodabljati, da odražajo produkcijsko resničnost, in SLO ponovno usklajevati, ko se poslovni kontekst spremeni. Vodja inženiringa mora zagotoviti tudi, da se podatki o zmogljivosti arhivirajo in različičijo, da so možne zgodovinske primerjave in da lahko regulatorji ali revizorji rekonstruirajo pot odločanja. V tem smislu optimizacija zmogljivosti ni sprint do ene številke; je disciplina na dolge proge, ki zahteva merjenje, upravljanje in prilagodljivost.

Podjetniški AI sistemi so danes pod drobnogledom nabavnih, revizijskih, pravnih in trajnostnih funkcij. Notranji asistent, ki odgovarja na vprašanja HR, mora izpolnjevati ciljno raven storitve (SLO) glede zakasnitve. Model za ocenjevanje kreditne sposobnosti mora izpolnjevati meje pretočnosti in pravičnosti. Model za klinično odločanje mora izpolnjevati zahteve glede validacije, zanesljivosti in časa odziva. V vsakem primeru je zmogljivost del dokazov, da je sistem primeren za namen uporabe. ISO/IEC 23053:2022 opredeljuje sisteme strojnega učenja kot cevovode pridobivanja podatkov, priprave, modeliranja, preverjanja, validacije, uvajanja in obratovanja; merjenje zmogljivosti je prepleteno z vsako stopnjo, ne pa dodano šele na koncu. ISO/IEC 25059:2023 razširja model kakovosti SQuaRE na sisteme AI in izrecno obravnava zmogljivostno učinkovitost, zanesljivost in natančnost kot ključne značilnosti kakovosti. NIST AI RMF 1.0 dodaja, da morajo biti pristopi merjenja dokumentirani, redno presojani in povezani z resničnimi konteksti uvajanja.

Ta poglobljena analiza obravnava optimizacijo zmogljivosti kot inženirsko disciplino z upravljavskimi zobmi. Pisana je za vodjo AI/ML inženiringa, ki mora ne le pospešiti model, temveč tudi dokazati, da je bila hitrost pravilno izmerjena, odgovorno nastavljena in vzdrževana ob spremembah.

2. Opredelitev prostora zmogljivosti: kaj točno optimiziramo?

Preden ekipa nastavi karkoli, mora opredeliti operativni cilj. Najpogostejše dimenzije so zakasnitev, pretočnost, stroški, energija in kakovost. Vsaka dimenzija je smiselna le znotraj scenarija. Model, ki doseže visoko pretočnost v paketnem načinu, lahko odpove v interaktivni klepetalni aplikaciji, kjer čas do prvega žetona (TTFT) prevlada uporabniško izkušnjo. Model, ki minimizira absolutno zakasnitev, je lahko pri veliki obsežnosti prepovedano drag. Model, ki zniža stroške z agresivno kvantizacijo, lahko poslabša natančnost pod sprejemljivo mejo.

2.1 Zakasnitev

Zakasnitev meri čas med zahtevo in odgovorom. Pri generativnem AI jo običajno razdelimo na TTFT in čas na izhodni žeton (TPOT). TTFT zajema strošek obdelave poziva, ki je računsko intenziven, ker vsak vhodni žeton sodeluje v polni naprej usmerjeni prehodu. TPOT zajema strošek avtoregresivnega dekodiranja, ki je običajno omejen s pasovno širino pomnilnika. Pri negenerativnih obremenitvah se zakasnitev pogosto poroča kot p50, p95, p99 ali največji čas odziva na reprezentativnem vzorcu zahtev.

2.2 Pretočnost

Pretočnost meri količino opravljenega dela na enoto časa: žetoni na sekundo, poizvedbe na sekundo, slike na sekundo ali zapisi na sekundo. Surova pretočnost je lahko zavajajoča, če je dosežena z agresivnim paketiranjem, ki krši uporabnikova pričakovanja glede zakasnitve. Uporabnejši koncept je zakasnitev-omejena pretočnost: največja pretočnost, dosegljiva ob hkratnem ohranjanju repne zakasnitve pod določeno mejo. MLPerf Inference uporablja natančno to formulacijo za strežniški scenarij, kjer poizvedbe prihajajo po Poissonovem procesu in sistem mora izpolnjevati zahtevo glede kakovostne storitve.

2.3 Stroški

Stroški so običajno izraženi kot cena na milijon žetonov, cena na sklepanje ali skupni strošek lastništva (TCO) za celotno življenjsko obremenitev. Optimizacija stroškov je medfunkcionalna naloga. Odvisna je od cen primerkov v oblaku, rezervirane zmogljivosti, razpoložljivosti spot virov, programskih licenc, inženirskega časa in operativnega bremena upravljanja posebnih jedrov ali specializirane strojne opreme.

2.4 Energija in trajnost

Energetska učinkovitost postaja upravljavska zahteva. MLPerf Power, ki ga razvija MLCommons v partnerstvu s SPEC, meri porabo energije med preizkusi sklepanja in učenja. NIST AI RMF 1.0 zahteva oceno in dokumentiranje vpliva usposabljanja in upravljanja modelov na okolje. Za vodjo AI/ML inženiringa so energija na žeton, vati na poizvedbo in ogljična intenzivnost na učno sejo danes tako pomembni kot FLOP-i.

2.5 Kakovost

Kakovost je neodtujljiva omejitev. Optimizacija zmogljivosti ni veljavna, če poslabša natančnost, pravičnost, robustnost ali varnost pod sprejete meje. Postopek nastavljanja mora zato meriti kakovost pred in po vsaki optimizaciji, določiti minimalno sprejemljivo kakovostno dno in obravnavati vsako regresijo kot znak za ustavitev ali povratek.

3. Temelji merjenja: referenčne obremenitve, scenariji in metrike

Merjenje zmogljivosti je empirično jedro optimizacije. Dober preizkus je reprezentativen, reproducibilen, pošten in pomemben za ciljno uvajanje. Brez preizkusa postane optimizacija neskončni lov na umetne pohitritve, ki se ne prenesejo v resnično vrednost.

3.1 MLPerf Inference in Training

MLPerf, ki ga vzdržuje MLCommons, je de facto industrijski standard za merjenje zmogljivosti strojnega učenja. Zbirka za sklepanje pokriva podatkovne centre in robne sisteme ter določa štiri scenarije: enojni tok (zakasnitev), več tokov (število tokov znotraj meje zakasnitve), strežnik (poizvedbe na sekundo po Poissonovem procesu znotraj meje zakasnitve) in paketni način (pretočnost). Zbirka za učenje meri čas do konvergence referenčnih modelov do določenih ciljev kakovosti. Članek MLPerf: An Industry Standard Benchmark Suite for Machine Learning Performance pojasnjuje oblikovalske odločitve, vključno s poudarkom na statistično zanesljivih mejah repne zakasnitve, ciljih kakovosti in scenarijsko specifičnih metrikah. MLPerf Inference v4.1 je dodal obremenitev mešanice ekspertov (Mixtral 8x7B), kar odraža arhitekturni premik k redkim modelom ekspertov, in poročal o merjenjih moči poleg zmogljivosti.

3.2 Standardi IEEE za merjenje AI

IEEE 2937-2022, Standard za merjenje zmogljivosti umetno-inteligenčnih strežniških sistemov, zagotavlja formalne metode za merjenje zmogljivosti AI strežnikov, vključno s pristopi preizkušanja, metrikami in zahtevami za orodja. Je uporabna referenca, ko organizacija primerja možnosti nabave strojne opreme ali gradi notranji merilni laboratorij. IEEE 2857-2024 razširja portfelj z metodologijami za merjenje zmogljivosti in razširljivosti AI v računanju, zakasnitvi, pretočnosti in izkoriščanju virov.

3.3 Standardizirano kakovostno okvirje

ISO/IEC 23053:2022 vzpostavlja okvir za sisteme AI, ki uporabljajo strojno učenje, in prepoznava metrike vrednotenja kot osrednjo kategorijo orodij. ISO/IEC 25059:2023 zagotavlja model kakovosti, ki povezuje zmogljivostno učinkovitost, zmogljivost in izkoriščanje virov s širšo zanesljivostjo sistema. ISO/IEC 23894:2023 usmerja organizacije pri vključevanju upravljanja AI tveganj v življenjski cikel, vključno z obravnavo zmogljivostnih tveganj, kot so drift, degradacija in odvisnost od strojne opreme. Ti standardi ne nadomeščajo praktičnega merjenja, ampak vodji inženiringa dajejo besedišče in strukturo za upravičevanje izbire metrik pred revizorji in vodstvom.

3.4 Izgradnja notranjega preizkusa

Javni preizkusi so nujni, a ne zadostni. Vsak produkcijski AI sistem ima edinstveno porazdelitev obremenitve: mešanica dolžin pozivov, porazdelitev dolžin izhodov, vzorec sočasnosti, modaliteta podatkov in zahteva glede kakovosti. Notranji preizkus bi moral vzorčiti iz produkcijskega prometa ali realističnega sintetičnega sleda, vključevati fazo segrevanja in stacionarnega stanja, poročati o percentilnih metrikah ter različico nabora podatkov in kontrolne točke modela skupaj s kodo. Li et al. (ACM EdgeSys 2024) podajajo praktično metodologijo za izgradnjo preizkusov zakasnitve sklepanja na raznoliki mobilni strojni opremi in ogrodjih; ista disciplina velja za strežniške obremenitve.

4. Izbira pravih metrik za podjetniški AI

Izbira metrike oblikuje rezultat optimizacije. Naslednje metrike bi moral vodja AI/ML inženiringa znati opredeliti, zagovarjati in spremljati.

4.1 Čas do prvega žetona (TTFT)

TTFT je zakasnitev od prihoda zahteve do prvega generiranega žetona. Prevladuje jo obdelava poziva, računanje pozornosti in morebitna predobdelava, kot je tokenizacija ali pridobivanje. Za klepetalne vmesnike TTFT močno vpliva na zaznano odzivnost. Strategije nastavljanja vključujejo predpomnjenje pozivov, predračun predpon, razdeljeno predobdelavo in skrajšanje poziva z boljšim pozivanjem ali oblikovanjem pridobivanja.

4.2 Čas na izhodni žeton (TPOT) in čas med žetoni (TBT)

TPOT meri povprečen čas za generiranje vsakega naslednjega žetona. TBT je tesno povezana različica. Nizek TPOT je bistven za pretakanje odgovorov. Ker je dekodiranje omejeno s pasovno širino pomnilnika, so glavni vzvodi kvantizacija, optimizacija predpomnilnika ključ-vrednost (KV), učinkovitost jeder pozornosti, velikost paketa in špekulativno dekodiranje.

4.3 Zakasnitev-omejena pretočnost

To je največja vzdržna hitrost zahtev, ki izpolnjuje omejitev repne zakasnitve. Je metrika, ki je pomembna za načrtovanje zmogljivosti in samodejno prilagajanje. Razkrije tudi napetost med paketiranjem in zakasnitvijo: večji paketi izboljšajo pretočnost, a poslabšajo repno zakasnitev.

4.4 Uporabna pretočnost (goodput)

Goodput je pretočnost uspešnih, kakovostnih odgovorov. Izključuje zahteve, ki potekajo, se zmotijo ali proizvedejo izhode pod pragom kakovosti. Goodput je poslovno pomembna metrika, ker povezuje zmogljivost sistema z uporabniško vrednostjo.

4.5 Strošek na žeton in energija na žeton

Ti metriki normalizirajo zmogljivost glede na porabo virov. So bistveni za primerjavo uvajanja na različni strojni opremi, ponudnikih oblaka in tehnikah optimizacije. Podpirajo tudi trajnostno poročanje in nabavne odločitve.

5. Profiliranje in analiza ozkih grl

Optimizacija brez profiliranja je ugibanje. Strukturirana analiza ozkih grl se začne z modelom strehe (roofline), ki prikazuje dosegljivo zmogljivost glede na aritmetično intenzivnost in ugotovi, ali je obremenitev omejena z računanjem ali pasovno širino pomnilnika. Moderno sklepanje s transformatorji je pri dekodiranju pogosto omejeno s pomnilnikom, pri predobdelavi pa z računanjem. Učenje je običajno mešanica računanja, komunikacije in I/O.

5.1 Računsko profiliranje

Orodja, kot so NVIDIA Nsight Compute, PyTorch Profiler in TensorFlow Profiler, prikazujejo čase izvajanja na ravni jeder, zasedenost in izkoriščanje Tensor Core. Cilj je odkriti jedra, ki porabijo največ časa, in ugotoviti, ali poduporabljajo GPU, se zaganjajo neučinkovito ali uporabljajo podoptimalne algoritme.

5.2 Pomnilniško profiliranje

Pomnilnik je prevladujoče ozko grlo pri streženju velikih modelov. KV predpomnilnik za avtoregresivne modele raste z velikostjo paketa in dolžino zaporedja ter lahko preseže teže modela. Fragmentacija, podvojeni kopiji in prevelika rezervacija za največjo dolžino zaporedja zapravljajo GPU pomnilnik in zmanjšujejo velikost paketa. PagedAttention, predstavljen s sistemom vLLM (Kwon et al., SOSP 2023), obravnava KV predpomnilnik kot navidezni pomnilnik: ključe in vrednosti shranjuje v fiksne, nezvezne bloke, zmanjšuje fragmentacijo skoraj na nič in omogoča prilagodljivo deljenje med zahtevami in algoritmi dekodiranja. Rezultat je 2-4-kratna izboljšava pretočnosti pri enaki zakasnitvi v primerjavi s sistemi, ki KV predpomnilnik hranijo kot zvezne tenzorje.

5.3 Optimizacija pozornosti

FlashAttention, razvit od Dao et al. (NeurIPS 2022), preoblikuje pozornost v ploščicam prijazen, I/O-pozoren algoritem, ki izogne materializaciji polne N×N matrike pozornosti v pomnilniku z visoko pasovno širino. Z združevanjem nalaganja, računanja in softmax normalizacije v eno jedro ter hranjenjem vmesnih vrednosti v SRAM na čipu FlashAttention zmanjša promet s pomnilnikom in omogoča daljše kontekste. FlashAttention-2 in FlashAttention-3 še izboljšata razdelitev dela in izkoriščanje strojne opreme na novejših GPU-jih.

5.4 I/O in nalaganje podatkov

Obremenitve učenja so pogosto omejene z nalaganjem podatkov, predobdelavo in zakasnitvijo shranjevanja. Profiliranje mora pregledati čas prenosa CPU-GPU, prepustnost cevi predobdelave in vzorce branja shranjevanja. Tehnike, kot so prednalaganje, razdrobljeno nalaganje podatkov, formati predpomnjenja in združena predobdelava, lahko povrnejo veliko učnega časa.

5.5 Komunikacijsko profiliranje

Razpršeno učenje in sklepanje porabita velik del časa za kolektivno komunikacijo. Analiza sledi NCCL, izkoriščanje omrežja in vzorcev all-reduce pomaga ugotoviti, ali je ozko grlo pasovna širina, zakasnitev ali sinhronizacija. Topološko ozaveščena namestitev, pakiranje gradientov in prekrivanje komunikacije z računanjem so standardni ukrepi.

6. Optimizacija učenja

Optimizacija učenja je usmerjena v povečanje uporabnih posodobitev modela na enoto časa in stroškov ob ohranjanju konvergence in kakovosti.

6.1 Učenje z mešano natančnostjo

Učenje z mešano natančnostjo, formalizirano od Micikevicius et al. (ICLR 2018), shranjuje uteži, aktivacije in gradiente v FP16, hkrati pa ohranja FP32 mojstrsko kopijo uteži za stabilne posodobitve. Skaliranje izgube ohranja majhne gradiente, ki bi sicer podtekli. Tehnika približno prepolovi porabo pomnilnika in na strojni opremi s Tensor Core bistveno poveča prepustnost.

6.2 Strategije razpršene vzporednosti

Podatkovna vzporednost podvaja model med napravami in razdeli paket. Cevovodna vzporednost razdeli plasti med napravami. Tenzorska vzporednost razdeli posamezne plasti med napravami. Zaporedna vzporednost razširja tenzorsko vzporednost na aktivacijske tenzorje po dimenziji zaporedja. Ekspertna vzporednost, uporabljena v modelih mešanice ekspertov, usmerja žetone na različne ekspertne podmreže na različnih napravah. Prava kombinacija je odvisna od velikosti modela, dolžine zaporedja, topologije gruče in pasovne širine komunikacije.

6.3 ZeRO in optimizacija pomnilnika

ZeRO (Zero Redundancy Optimizer), predstavljen od Rajbhandari et al. (SC20), odpravlja podvojeno replikacijo stanj optimizatorja, gradientov in parametrov med podatkovno vzporednimi procesi. Stopnje ZeRO razdelijo stanja optimizatorja, nato gradiente, nato parametre med nivoji. Najbolj agresivna konfiguracija lahko na tisočih GPU-jih uči modele s bilijon parametrov, ker vsakemu procesu na voljo postane skupni pomnilnik gruče. ZeRO-Infinity in ZeRO-Offload razširjata to idejo na NVME in CPU pomnilnik, kar omogoča učenje zelo velikih modelov na skromnem številu GPU-jev za ceno komunikacije.

6.4 Preverjanje gradientov in ponovno računanje aktivacij

Preverjanje gradientov zamenja računanje za pomnilnik tako, da med naprej usmerjenim prehodom hrani le podmnožico aktivacij in ostale ponovno izračuna med nazaj usmerjenim prehodom. Bistveno je za učenje obremenitev z dolgimi zaporedji ali velikimi modeli na omejenem GPU pomnilniku. Optimalna granularnost preverjanja se poišče s skupnim profiliranjem pomnilnika in prepustnosti.

6.5 Prevajalnik in optimizacija jeder

Prevajalniki v času izvajanja, kot so TorchInductor, XLA in NVIDIA TensorRT, lahko združujejo operacije, odpravljajo pretvorbe postavitev in izbirajo učinkovita jedra. Ročno napisana združena jedra za pozornost, normalizacijo plasti in aktivacijske funkcije ostajajo pomembna za vrhunsko zmogljivost. Vodja inženiringa mora tehtati strošek vzdrževanja posebnih jeder proti pridobitvi zmogljivosti.

7. Optimizacija sklepanja

Optimizacija sklepanja je običajno tisto področje, kjer ima optimizacijsko delo najhitrejši poslovni učinek, ker vsaka produkcijska zahteva poteka skozi pot sklepanja.

7.1 Kvantizacija

Kvantizacija zmanjša numerično natančnost uteži in aktivacij, zniža pasovno širino pomnilnika in omogoča hitrejše celoštevilsko računanje. Kvantizacija INT8 in FP8 je široko podprta na modernih pospeševalnikih. Ključno tveganje je degradacija natančnosti, ki jo je treba izmeriti na validacijskem naboru, ki odraža produkcijsko porazdelitev. Tehnike, kot so učenje s pozorno kvantizacijo (QAT), SmoothQuant in GPTQ, omilijo izgubo natančnosti z prilagajanjem uteži in faktorjev skaliranja na porazdelitev aktivacij modela.

7.2 Rezanje in destilacija

Rezanje odstrani uteži ali celotne strukture, ki malo prispevajo k izhodu modela. Destilacija uči manjši študentski model, da reproducira vedenje večjega učitelja. Obe lahko zmanjšata zakasnitev in stroške, vendar zahtavata skrbno validacijo, ker lahko strukturno poenostavljanje škodi zmogljivosti na repnih vhodih ali pod premikom porazdelitve.

7.3 Prevajanje in optimizacija grafa

TensorRT-LLM, ONNX Runtime, vLLM, SGLang in drugi sklepalni pogonovi uporabljajo optimizacije na ravni grafa: združevanje jeder, zlaganje konstant, načrtovanje pomnilnika in posebna pozornostna ozadja. Izbira pravega pogona je odvisna od arhitekture modela, strojne opreme in vzorca streženja. Primerjalna študija Samsami et al. (arXiv:2511.17593) poroča, da lahko vLLM pri visoki sočasnosti doseže večkratno višjo pretočnost kot HuggingFace TGI, hkrati pa opozarja, da se repna zakasnitev in izkoriščanje pomnilnika razlikujeta med pogoni.

7.4 Paketiranje in neprekinjeno paketiranje

Statično paketiranje združuje zahteve podobne velikosti in jih obdeluje skupaj. Je preprosto, vendar neučinkovito, ko imajo zahteve različne dolžine izhodov, ker mora celoten paket čakati na najdaljšo zahtevo. Neprekinjeno paketiranje, imenovano tudi razvrščanje na ravni iteracije, dodaja in odstranjuje zahteve iz GPU paketa ob vsaki iteraciji modela. Orca, predstavljen od Yu et al. (OSDI 2022), je utiral pot razvrščanju na ravni iteracije s selektivnim paketiranjem in pokazal red velikosti izboljšanja pretočnosti v primerjavi z razvrščevalniki na ravni zahteve. vLLM in moderni sklepalni sistemi so neprekinjeno paketiranje sprejeli kot privzeto za generativne modele.

7.5 Špekulativno dekodiranje

Špekulativno dekodiranje, predstavljeno od Leviathan et al. (ICML 2023), uporablja manjši osnutkovni model za napoved več prihodnjih žetonov in večji ciljni model za njihovo vzporedno preverjanje. Sprejeti žetoni napredujejo zaporedje brez polnega naprej usmerjenega prehoda ciljnega modela na žeton. Metoda proizvaja popolnoma enako izhodno porazdelitev kot ciljni model, hkrati pa zmanjšuje zakasnitev, kar jo naredi privlačno za aplikacije, občutljive na kakovost.

7.6 Predpomnjenje predpon in ponovna uporaba pozivov

Mnoge produkcijske obremenitve ponovno uporabljajo dolge predpone: sistemske pozive, pridobljeni kontekst, zgodovino pogovorov ali dele dokumentov. Predpomnjenje KV vektorjev za te predpone izogne ponovnemu računanju in zmanjša TTFT. Predpomnjevalni razvrščevalniki, kot je SGLangov RadixAttention, izkoriščajo to ponovno uporabo za izboljšanje pretočnosti in zakasnitve.

8. Izbire arhitekture modela

Odločitve o arhitekturi, sprejete med oblikovanjem modela, kasneje omejujejo prostor za optimizacijo. Vodja AI/ML inženiringa bi moral te odločitve vplivati z zmogljivostnimi dokazi.

8.1 Mešanica ekspertov (MoE)

MoE arhitekture aktivirajo le podmnožico parametrov na žeton, kar zmanjša računanje na žeton ob ohranjanju zmogljivosti modela. Lahko dosežejo višjo pretočnost kot gosti modeli enake kakovosti, vendar prinašajo kompleksnost usmerjanja, zahteve po uravnoteženju obremenitve in pomnilniški pritisk zaradi nalaganja uteži ekspertov. MLPerf Inference v4.1 z obremenitvijo Mixtral 8x7B odraža naraščajoče industrijsko zanimanje za merjenje zmogljivosti streženja MoE.

8.2 Pozornost z združenimi poizvedbami (GQA) in večglava latentna pozornost (MLA)

GQA deli ključe in vrednostne glave med poizvedovalnimi glavami, kar zmanjša velikost KV predpomnilnika in pasovno širino pomnilnika. MLA stisne ključno-vrednostne predstavitve v latentni vektor, kar še dodatno zmanjša pomnilnik. Arhitekturno ozaveščeno nastavljanje je potrebno: MLA modeli lahko potrebujejo posebne velikosti blokov in ne morejo vedno uporabljati splošnega razbremenjevanja KV predpomnilnika.

8.3 Redka in linearno kompleksna pozornost

Za zelo dolge kontekste lahko aproksimacije pozornosti, kot so drseče-okenska pozornost, redki vzorci ali modeli stanja-prostora, zmanjšajo zahtevnost iz kvadratične na linearno ali skoraj linearno. Kompromis je izraznost in natančnost pri nalogah, ki zahtevajo globalni kontekst. Preverjanje na ciljni nalogi je edini način za potrditev teh izbir.

9. Nastavljanje na ravni sistema

Programska optimizacija doseže strop, ko postaneta ozko grlo strojna oprema in orkestracijska plast.

9.1 Konfiguracija GPU in pospeševalnikov

Izbira pospeševalnika je odvisna od prevladujoče omejitve obremenitve. Obremenitve predobdelave, omejene z računanjem, imajo korist od visoke prepustnosti Tensor Core. Obremenitve dekodiranja, omejene s pomnilnikom, imajo korist od visoke pasovne širine in zmogljivosti HBM. Mešane obremenitve zahtevajo uravnotežene konfiguracije. Rezultati MLPerf dosledno kažejo, da lahko sooblikovanje strojne in programske opreme, vključno s formati natančnosti, kot je FP4, in posebnimi jedri pozornosti, spremeni relativno uvrstitev.

9.2 Kubernetes in orkestracija

GPU razvrščanje, afiniteta vozlišč, razmestitvena omejitev topologije podov in kvote virov določajo, ali se replike sklepanja namestijo na optimalno strojno opremo. Za več-GPU modele namestitev delavcev na isti NUMA vozlišče ali istem omrežnem stikalu zmanjša komunikacijsko zakasnitev. Pravila samodejnega prilagajanja morajo reagirati na globino vrste in zakasnitev, ne le na izkoriščanje CPU ali GPU.

9.3 Omrežje in shranjevanje

Visokopasovna, nizkozakasnjena omrežja, kot so NVLink, InfiniBand ali hitri Ethernet, so ključna za razpršeno učenje in streženje velikih modelov. Vzporedni datotečni sistemi ali predpomnilniške plasti predmeta-shranišča zmanjšujejo zastoje podatkov. Vodja inženiringa mora preveriti, da sta omrežje in shranjevanje zagotovljena za vrhunsko obremenitev, ne le povprečno.

9.4 Upravljanje moči in temperature

Omejevanje moči lahko zniža stroške in ogljični odtis, lahko pa tudi zmanjša vrhunsko pretočnost. Termično priguševanje lahko povzroči nepredvidljive sunke zakasnitve. Spremljanje moči, temperature in skaliranja frekvence je del operativnega upravljanja zmogljivosti.

10. Vključevanje v upravljanje: sprejemni kriteriji, regresijska vrata in spremljanje

Nastavljanje zmogljivosti mora biti reproducibilno, revizabilno in usklajeno z upravljanjem tveganj. Naslednje prakse povezujejo optimizacijo z upravljanjem.

10.1 Sprejemni kriteriji zmogljivosti

Pred uvajanjem določite SLO-je za zakasnitev, pretočnost, stroške, energijo in kakovost. Določite preizkus, nabor podatkov, strojno opremo in obremenitveni model, s katerim jih boste preverili. Dokumentirajte, kdo je odobril cilje in na podlagi česa. ISO/IEC 25059:2023 to podpira z zagotavljanjem strukturiranega besedišča za določanje zahtev kakovosti.

10.2 Regresijska vrata

Vsaka posodobitev modela, sprememba programske opreme ali migracija strojne opreme mora prestati regresijski preizkus zmogljivosti. Preizkus mora primerjati novi sistem z izhodiščem na istem preizkusu in poročati ne le o povprečnih metrikah, temveč tudi o repnih zakasnitvah in razlikah v kakovosti. Poslabšanje čez vnaprej določeno toleranco mora blokirati izdajo.

10.3 Neprekinjeno spremljanje

Produkcijsko spremljanje mora slediti porazdelitvam zahtevkov glede zakasnitve, pretočnosti, stopnje napak, izkoriščanja virov, stroškov na zahtevo, energije na zahtevo in zdrsa kakovosti modela. Alarmi se morajo sprožiti, ko metrike prestopijo kontrolne meje ali ko se porazdelitve vhodov premaknejo. NIST AI RMF 1.0 poudarja, da je treba poprodajno merjenje primerjati s predprodajnim merjenjem in da razlike sprožijo pregled.

10.4 Nadzor sprememb in povratek

Odločitve o nastavitvi so spremembe sistema. Morajo biti pod nadzorom različic, preizkušene v pripravnem okolju in dokumentirane v zapisu spremembe. Če nastavitvena sprememba v produkciji povzroči nepričakovano vedenje, morajo postopki povratka hitro obnoviti prejšnjo konfiguracijo.

11. Primeri iz prakse

11.1 Primer A: podjetniški asistent na osnovi LLM

Globalno podjetje je uvedlo notranjega LLM asistenta za pisanje in povzemanje. Začetna zakasnitev je bila sprejemljiva pri nizki sočasnosti, vendar je TTFT skočil med evropskimi jutranjimi urami. Profiliranje je pokazalo, da se dolgi sistemski pozivi računajo za vsako zahtevo. Ekipa je uvedla predpomnjenje predpon, razdeljeno predobdelavo, zmanjšala TTFT za 40 % in omogočila neprekinjeno paketiranje za izboljšanje pretočnosti za 2,5-krat. Uvedli so tudi kvantizacijo uteži v INT8, ki je zmanjšala pasovno širino pomnilnika in strošek na žeton za 30 % brez merljive izgube natančnosti na njihovem validacijskem naboru. Sprejemni kriteriji zmogljivosti in regresijska vrata so bili dodani v cevovod izdaje.

11.2 Primer B: robni računalniško-vidni model

Proizvajalec je uvodil model za zaznavanje napak na tovarniških robnih GPU-jih. Model je izpolnjeval cilje natančnosti, vendar ni zmogel hitrosti tekočega traku. Merjenje na ciljni strojni opremi je pokazalo, da je privzeti PyTorch Mobile čas 42 % porabil za GELU aktivacije in normalizacijo plasti, operacije, ki jih ocene FLOP-ov ne zajamejo. Ekipa je pretvorila model v TensorRT, združila operacije in uporabila INT8 kalibracijo. Zakasnitev je padla pod ciljnih 50 ms, energija na sklepanje pa se je zmanjšala za 35 %. Preizkusni nabor podatkov je bil različičen in dodan v cevovod CI.

11.3 Primer C: cevovod RAG

Pravno-tehnološko podjetje je zgradilo sistem RAG nad velikim korpusom dokumentov. Skupna zakasnitev je bila odvisna od pridobivanja in reranga, ne od generiranja. Ekipa je ločeno merila vsako stopnjo in odkrila, da je bil ozko grlo sklepanje vložkov. Prešli so na manjši, vendar za nalogo prilagojen model vložkov, dodali približno iskanje najbližjih sosedov in predpomnili pogoste poizvedbne vložke. Zakasnitev stopnje generiranja je bila nato optimizirana z vLLM in GQA. Skupna zakasnitev se je zmanjšala za 55 %, strošek na poizvedbo pa za 48 %, ob ohranjanju natančnosti pridobivanja.

12. Pogoste pasti

• Optimizacija napačne metrike: Lovljenje vrhunske pretočnosti ob zanemarjanju repne zakasnitve ali kakovosti lahko poslabša uporabniško izkušnjo in skladnost.
• Uporaba sintetičnih preizkusov kot nadomestkov: Model lahko dobro doseže na javnem preizkusu in slabo na dejanski produkcijski porazdelitvi.
• Zanemarjanje pomnilnika: Mnoge sklepalne obremenitve so omejene s pasovno širino pomnilnika; dodajanje računanja brez reševanja premikanja KV predpomnilnika ali uteži zapravlja denar.
• Zanemarjanje regresijskih preizkusov: Brez avtomatiziranih regresijskih vrat vsaka izdaja tvega tiho poslabšanje.
• Obravnavanje kvantizacije kot brezplačne: Kvantizacija lahko škodi natančnosti, zlasti na repnih vhodih; zahteva strogo validacijo.
• Ne dokumentiranje predpostavk: Rezultati preizkusov so reproducibilni le, če so zabeležene strojna oprema, različice programske opreme, nabor podatkov in obremenitveni model.
• Ločevanje zmogljivosti od upravljanja: Cilji zmogljivosti morajo biti lastniško določeni, odobreni in spremljani kot vsak drug kontrolni mehanizem.

3.5 Življenjski cikel merjenja in ohranjanje izhodišč

Preizkus ni dogodek; je življenjski cikel. Prva faza je karakterizacija: razumevanje mešanice zahtev, velikosti tovorov, porazdelitve sočasnosti in zahtev glede kakovosti ciljne obremenitve. Druga faza je vzpostavitev izhodišča: zagon neoptimiziranega sistema pod nadzorovanimi pogoji in beleženje metrik z zadostno statistično zaupanjem za prihodnje primerjave. Tretja faza je generiranje hipotez: prepoznavanje verjetnega ozkega grla s profiliranjem in modelom strehe. Četrta faza je intervencija: uporaba ene optimizacije naenkrat, da se njen učinek lahko izolira. Peta faza je validacija: merjenje intervencije v primerjavi z izhodiščem na istem preizkusu ter preverjanje zmogljivosti in kakovosti. Šesta faza je zaklepanje regresije: dodajanje preizkusa v stalno integracijo, da se bodo prihodnje spremembe samodejno primerjale. Preskok katere koli od faz proizvodi zanesljive sklepe. Pogost način odpovedi je hkratna uporaba treh optimizacij, opazovanje skromnega pridobitka in nato nezmožnost določiti, katera sprememba je bila pomembna ali ali je ena sprememba drugo tiho preklicala.

3.6 Igranje preizkusov, kontaminacija podatkov in reprezentativnost

Javne preizkuse je mogoče igrati. Modeli se lahko učijo na preizkusnih naborih, evalvacijski pozivi lahko uhajajo v predhodno usposabljanje, predlagatelji pa lahko prilagajajo hiperparametre izključno za uvrstitev na lestvico. NIST TEVV-Athlon opozarja, da lahko kontaminacija podatkov proizvede preoptimistična merjenja, ki se ne posplošijo na resnično uporabo. Pri notranjih preizkusih je analogno tvegano nastavljanje sistema za evalvacijski nabor namesto za produkcijsko porazdelitev. Omilitve vključujejo ločen testni nabor, ki med razvojem ni nikoli uporabljen, periodično osveževanje evalvacijskih podatkov iz produkcije, uporabo več neodvisnih metrik in primerjavo rezultatov preizkusov s senčnimi produkcijskimi meritvami.

5.6 Model strehe in aritmetična intenzivnost

Model strehe je osnovno orodje za razumevanje, ali je obremenitev omejena z računanjem ali s pasovno širino pomnilnika. Aritmetična intenzivnost je razmerje med operacijami s plavajočo vejico in bajti, premaknjenimi iz pomnilnika. Obremenitev z nizko aritmetično intenzivnostjo ne more preseči stropa pasovne širine pomnilnika, ne glede na število računalniških enot. Dekodiranje transformatorjev ima nizko aritmetično intenzivnost, ker vsak avtoregresivni korak prebere celotne uteži modela in KV predpomnilnik, pri čemer izvede le malo računanja na žeton. Zato so kvantizacija, FlashAttention in stiskanje KV predpomnilnika tako učinkoviti: zmanjšujejo premaknjene bajte. Predobdelava in koraki učenja imajo višjo aritmetično intenzivnost in so bolj verjetno omejeni z računanjem. Vsak predlog optimizacije je treba preveriti z modelom strehe, da se zagotovi, da naslavlja dejansko ozko grlo.

7.7 Sooblikovanje strojne in programske opreme ter formati natančnosti

Zmogljivost vse bolj določa kombinacija značilnosti strojne opreme in programske podpore. Moderni pospeševalniki podpirajo vse večji meni numeričnih formatov: FP32, TF32, FP16, BF16, FP8, INT8, INT4 in posebne bločne formate. Vsak format zamenjava natančnost, dinamični razpon, pasovno širino pomnilnika in računalniško prepustnost. Učenje in sklepanje v FP8, podprto pri NVIDIA Hopper in Blackwell, lahko skoraj podvoji prepustnost v primerjavi s FP16 za obremenitve, ki prenašajo zmanjšan razpon. FP4, uporabljen v nekaterih predložbah MLPerf v4.1, potisne kompromis še naprej. Vodja inženiringa mora natančnost vsakega formata validirati na ciljni nalogi, ker format, ki deluje za klasifikacijo slik, lahko odpove pri razmišljanju v dolgem kontekstu ali znanstvenem računanju.

10.5 Register tveganj zmogljivosti

Tveganja zmogljivosti je treba obravnavati kot druga tveganja AI. Register tveganj zmogljivosti beleži prepoznana tveganja, njihovo verjetnost, vpliv, omilitev, lastnika in stanje. Primeri vnosov vključujejo: "KV predpomnilnik izčerpa GPU pomnilnik ob dolgih kontekstnih sunkih," "Kvantizirani model zdrsne na nasprotnih vhodih," "Nova različica modela poveča TTFT čez SLO," "Prekinitev spot primerkov poslabša pretočnost med vrhunsko obremenitvijo." Register povezuje delo na zmogljivosti s podjetniškim upravljanjem tveganj in zagotavlja dokaze, da organizacija proaktivno upravlja operativno odpornost.

10.6 Neodvisna validacija in rdeča ekipa za preizkušanje

Preizkusi, ki jih oblikuje ista ekipa, ki je zgradila sistem, lahko podedujejo slepe pege. Neodvisna validacija s strani ločene ekipe, zunanjega revizorja ali vaje rdeče ekipe lahko razkrije nerealistične predpostavke, uhajajoče evalvacijske podatke in spregledane načine odpovedi. Rdeča ekipa za preizkušanje namerno obremeni sistem z nasprotnimi vhodi, repnimi obremenitvenimi oblikami in poslabšanimi pogoji strojne opreme. Ugotovitve bi morale priti v register tveganj in spodbuditi prednostno odpravljanje.

12.1 Dodatne pasti

• Prekomerno prilagajanje preizkusu: Sistem, nastavljen izključno za evalvacijski nabor, lahko odpove v produkciji.
• Zamenjava pretočnosti s kapaciteto: Sistem, ki obdela veliko zahtev na sekundo, lahko kljub temu neprimerno dolgo čaka v vrsti pod sunkovitim prihodom zahtev.
• Zanemarjanje repne zakasnitve: p50 zakasnitev skriva najslabše uporabniške izkušnje; p99 in p999 so pogosto metrike, ki štejejo.
• Zanemarjanje zakasnitve hladnega zagona: Nalaganje modela, prevajanje in segrevanje predpomnilnika lahko prevladujejo pri prvi zahtevi po ponovnem zagonu.
• Podcenjevanje komunikacijskih stroškov: Razpršeni sistemi lahko pri slabem razmestitvi porabijo več časa za kolektivne operacije kot za koristno računanje.

3.7 Izgradnja reproducibilnega okvira za preizkušanje

Reproducibilen okvir je tako pomemben kot sama metrika. Okvir mora določiti kontrolno točko modela, različice programske opreme, sliko vsebnika, različico gonilnika, različico CUDA in drevo odvisnosti Python. Pred merjenjem mora segreti sistem, zbirati metrike za dovolj dolgo obdobje, da zajame stacionarno stanje, in beležiti surove opazke, da se percentili lahko pozneje ponovno izračunajo. Naključna semena, generatorji hitrosti prihoda in metode vzorčenja zahtev morajo biti zabeleženi. Okvir mora zajeti tudi sistemske telemetrije: izkoriščanje GPU, porabo pomnilnika, porabo moči, temperaturo in omrežno prepustnost. Brez tega konteksta je številka pretočnosti neinterpretabilna. Dobra praksa je shranjevanje artefaktov preizkusov v repozitorij pod nadzorom različic s manifestom, ki enolično identificira vsako komponento zagona.

5.7 Izbira orodij za profiliranje glede na vrsto obremenitve

Različne obremenitve razkrivajo različna ozka grla in zahtevajo različna orodja. Za učenje transformatorjev PyTorch Profiler s sledenjem CUDA in pogledi časovnice NCCL razkrije neučinkovitost na ravni jeder in zaustavitve komunikacije. Za streženje LLM vgrajene metrike vLLM, statistike predpomnilnika radix v SGLang in lastno beleženje TTFT/TPOT na zahtevo razkrijejo vedenje razvrščanja in pomnilnika. Za računalniško-vidno sklepanje na robnih napravah dobaviteljeva orodja, kot so Qualcomm Snapdragon Profiler, Arm Streamline ali Apple Instruments, prikažejo izkoriščanje CPU/GPU in učinke hierarhije pomnilnika. Za podatkovno intenzivne cevovode razpršeno sledenje in telemetrija shranjevanja identificirata zastoje I/O. Vodja inženiringa bi moral zgraditi komplet orodij za profiliranje, usklajen s skladom, namesto da se zanaša na en sam splošen nadzorni panel.

7.8 Kriteriji za izbiro sklepalnega pogona

Izbira sklepalnega pogona je strateška odločitev. Evalvacijski kriteriji morajo vključevati: podprte arhitekture modelov in operatorje; formate kvantizacije in orodja za kalibracijo, ki ohranjajo natančnost; strategije paketiranja in politike razvrščanja; upravljanje KV predpomnilnika in podporo predpomnjenju predpon; razpršeno izvajanje in cevovodno vzporednost; opazovanje in izvoz metrik; strojna ozadja in raven optimizacije dobavitelja; licenco in zrelost ekosistema; ter operativni strošek nadgradenj. Noben pogon ni univerzalno najboljši. Pogon, ki prevladuje pri gostem LLM, lahko pri vizijskem transformatorju ali MoE modelu slabo deluje. Odločitev mora biti dokumentirana z dokazi iz preizkusov in ponovno pregledana ob spremembi modela, strojne opreme ali vzorca prometa.

10.7 Nadzorne plošče zmogljivosti in ritem pregledov SLO

Nadzorne plošče pretvarjajo metrike v situacijsko zavedanje. Nadzorna plošča zmogljivosti za AI storitev mora prikazovati stopnjo zahtev, porazdelitev zakasnitve, pretočnost, stopnjo napak, izkoriščanje GPU, rezervo pomnilnika, globino vrste, strošek na zahtevo, energijo na zahtevo in indikatorje zdrsa kakovosti. SLO je treba pregledovati vsaj četrtletno in po vsaki večji spremembi. Pregledna srečanja bi morala vključevati predstavnike inženiringa, produkta, financ, pravnega oddelka in trajnostne funkcije, da se zagotovi usklajenost ciljev zmogljivosti s poslovnimi in regulativnimi zahtevami.

12.2 Skriti strošek optimizacijskega dolga

Vsaka bližnjica pri optimizaciji lahko postane dolg. Posebno združeno jedro, ki ga razume le en inženir, je dolg. Kvantizacijska shema, ki odpove pri določeni porazdelitvi vhodov, je dolg. Preizkus, ki ne odraža več produkcijskega prometa, je dolg. Razvrščevalnik, nastavljen za lanskoletno strojno opremo, je dolg. Optimizacijski dolg se kopiči, dokler ne povzroči incidenta, ugotovitve skladnosti ali prenove. Protistrup so dokumentacija, lastništvo, regresijski preizkusi in periodična refaktoring zmogljivostnega sklada.

14.3 Inženiring zmogljivosti kot ekipna sposobnost

Trajnostna optimizacija zmogljivosti ni delo enega samega junaka inženirja. Gre za ekipno sposobnost, ki združuje programsko inženirstvo, raziskave strojnega učenja, sistemske operacije, finance in upravljanje. Visoko zmogljive ekipe vzdržujejo skupni repozitorij preizkusov, skupno nadzorno ploščo, dokumentiran dnevnik odločitev o nastavitvah in rotacijski model lastništva, ki preprečuje znanstvene otoke. Preglede zmogljivosti obravnavajo kot rutinske preglede tehničnega dolga in namenjajo čas tako refaktoringu kot novim funkcijam. Vlagajo tudi v usposabljanje, da vsak inženir razume razliko med pretočnostjo in zakasnitvijo, posledice kvantizacije in osnove modela strehe. Ko inženiring zmogljivosti postane skupna disciplina, optimizacija neha biti gašenje požarov in postane ponovljiv vir konkurenčne prednosti.

15. Prihodnji razvoj

Pokrajina optimizacije zmogljivosti se hitro razvija. Strojna specializacija, vključno z redkimi pospeševalniki, optičnimi povezavami in formati nižje natančnosti, bo še naprej spreminjala ozka grla. Programski sistemi se premikajo proti razdrobljenemu streženju, kjer predobdelava in dekodiranje tečejo na ločeno optimiziranih bazenih GPU-jev. Agentne in večkrožne obremenitve bodo zahtevale nove metrike, ki zajamejo kumulativne stroške konteksta in dolgoročno zakasnitev. Trajnost bo spodbujala energetsko ozaveščeno razvrščanje in načrtovanje zmogljivosti, ozaveščeno o ogljiku. Vodja AI/ML inženiringa, ki obravnava merjenje, nastavljanje in upravljanje kot eno integrirano disciplino, bo najbolje pripravljen na vodenje teh sprememb.

References