Distilácia AI modelov: lacnejší výkon, ktorý desí giganty

Distilácia AI modelov je technika, pri ktorej sa menší „študentský“ model trénuje na výstupoch väčšieho „učiteľského“ modelu, a preberá tak takmer rovnaké schopnosti pri výrazne nižších nákladoch a menších výpočtových nárokoch. Za pár mesiacov sa z nej stala téma, o ktorej sa háda celý sektor, od inžinierov po zákonodarcov. Dôvod je jednoduchý: mení ekonomiku nasadenia AI.

CNBC ju definuje priamočiaro: „Na vysokej úrovni sa distilácia vzťahuje na využitie odpovedí chatbotu alebo výstupov pokročilého AI modelu na natrénovanie iného modelu.“ Znie to nudne. Nie je.

Čo distilácia AI modelov naozaj robí

Nový systém kladie existujúcemu modelu obrovské množstvo otázok a učí sa z jeho odpovedí, aby napodobnil jeho správanie. Schéma je učiteľ a študent: veľký jazykový model generuje dáta, na ktorých sa cvičí menší. Cieľom je stlačiť schopnosti veľkého modelu do menšieho, ktorý beží rýchlejšie, lacnejšie a často aj na notebooku či telefóne.

Dôležité sú slová „v danej úlohe“. Distilovaný model nebude univerzálne rovnako dobrý ako učiteľ. No ak potrebujete zvládnuť úzko vymedzenú prácu, teda klasifikáciu, extrakciu, sumarizáciu, dokáže sa priblížiť k veľkému modelu bez veľkej straty kvality. A to je pri účtovaní za token^?Základná jednotka textu, ktorú model spracúva. Komerčné AI služby účtujú cenu za počet spracovaných tokenov, preto lacnejší model znamená nižšie prevádzkové náklady. celý rozdiel medzi projektom, ktorý sa oplatí, a projektom, ktorý ticho zožerie rozpočet.

• Učiteľ: veľký, drahý model generuje kvalitné odpovede.
• Študent: menší model sa na týchto odpovediach trénuje.
• Výsledok: lacnejšia a rýchlejšia prevádzka pri zachovaní výkonu v konkrétnej úlohe.

Prečo je z toho téma týždňa od Silicon Valley po Washington

Lebo distilácia sa dotýka peňazí a geopolitiky naraz. Business Insider píše, že technika ohrozuje obchodný model, na ktorom stojí AI priemysel v hodnote biliónov dolárov. Umožňuje totiž konkurentom rýchlo vytvárať modely takmer také dobré ako frontier^?Označenie pre najvýkonnejšie špičkové modely na trhu, napríklad od OpenAI, Anthropicu či Googlu, do ktorých tečú najväčšie investície do tréningu. systémy od OpenAI, Anthropicu či Googlu, ale za zlomok ceny.

Tu vstupuje politika. Podľa Semaforu OpenAI a Anthropic tlačia na americkú vládu, aby riešila distiláciu ich najlepších modelov čínskymi firmami, a prezentujú ju ako otázku národnej bezpečnosti. Predstavitelia vlády USA v reakcii hrozili sankciami voči čínskym spoločnostiam podozrivým z takýchto praktík. Spoluzakladateľ OpenAI Greg Brockman pritom podľa Semaforu označil distiláciu primárne za technický problém, hoci jeho firma zároveň tlačí na reguláciu.

Debata sa pohybuje medzi dvoma pólmi. Na jednom je distilácia bežná technika strojového učenia, bez ktorej sa AI v praxi nenasadzuje. Na druhom je forma kopírovania modelov, ktorá obchádza miliardové investície do tréningu.

Legitímna technika, alebo „destilačný útok“

Obe naraz, podľa toho, kto od koho distiluje. CNBC cituje predstaviteľov odvetvia, podľa ktorých ide o „legitímnu a veľmi hodnotnú techniku“, ktorá sa „praktizuje neustále“. Trending Topics dodáva, že takmer všetky veľké laboratóriá bežne distilujú vlastné modely, aby vyrobili menšie a lacnejšie varianty pre zákazníkov. Microsoft aj Apple to robia strategicky v rámci svojich ekosystémov.

Spor sa vedie o cudzie výstupy. Business Insider opisuje vznik „tieňovej ekonomiky“, v ktorej firmy používajú výstupy modelov konkurentov v rôznych fázach vývoja. Anthropic obviňuje čínske laboratóriá z „destilačných útokov“. Hranica medzi tým, čo je ešte dovolené a čo už nie, je rozmazaná.

Rozdiel je v tom, čo sa pri neautorizovanom zberaní výstupov stráca. Podľa Business Insider si študentský model síce prenesie užitočné správanie za nižšie náklady, ale môže prísť o bezpečnostné vyladenie, prehľadný pôvod dát a dôkazy o testovaní, ktoré mal učiteľský model. Distilované modely tak môžu zdediť aj skryté slabiny učiteľa, pričom ich pôvod je nejasný. To komplikuje reguláciu aj otázku, kto zodpovedá za škodu.

Čo to znamená pre firmu, ktorá AI nasadzuje

Pre bežnú firmu je distilácia hlavne finančná páka, nie geopolitická dráma. Slovenské portály Živé.sk aj Vosveteit zhrňujú, že distilácia umožňuje získať prístup k schopnostiam veľkých modelov za zlomok nákladov a spúšťať ich aj na zariadeniach s obmedzeným výpočtovým výkonom.

Ako ďaleko sa to dá dotiahnuť, ukazuje jeden údaj. Živé.sk sa odvoláva na štúdiu výskumníkov zo Stanfordu a Washingtonskej univerzity, ktorí vycvičili model s funkciou uvažovania za menej než 50 dolárov v cloudových kreditoch, práve s prístupmi príbuznými distilácii. Číslo netreba čítať ako cenník pre produkciu. Čítajte ho ako signál, že náklady na vstup do hry rýchlo padajú.

Rozhodnutie, či si distilovaný model postaviť sami, kúpiť hotový, alebo zostať pri veľkom API^?Rozhranie, cez ktoré firma volá cudzí model ako službu namiesto toho, aby ho prevádzkovala u seba., nie je technická drobnosť. Je to voľba, ktorá určuje prevádzkové náklady na roky. Ak stojíte pred takouto úvahou na úrovni vedenia, pomôže workshop o rozhodovaní vyvinúť verzus kúpiť AI pre predstavenstvo, kde dostanete rozhodovaciu maticu pre konkrétny prípad namiesto všeobecných odporúčaní. Nie je pre každého: má zmysel, keď rátate náklady na celý životný cyklus, nie na jeden pilot.

Kde distilácia dáva zmysel a kde je to len drahšia okľuka

Pravidlo z praxe je nudné, ale funguje. Distilujte vtedy, keď máte úzko definovanú úlohu s veľkým objemom volaní a veľký model vás na nej zbytočne preplácate. Pri občasnom, širokom používaní je jednoduchšie a lacnejšie zostať pri hotovom API.

• Distilácia sa oplatí: vysoký objem, úzka úloha, citlivosť na cenu za token, potreba behu na hrane siete alebo lokálne.
• Distilácia sa neoplatí: nízky objem, široká a meniaca sa škála úloh, tím bez kapacity model udržiavať a monitorovať.

A tu je háčik, ktorý sa v hype stráca. Distilovaný model treba niekto udržiavať, testovať a strážiť, keď sa začne správať inak než učiteľ. Kto to bude robiť, kto je na pohotovosti pri chybe, ako vyzerá kontrola výstupov, o tom demo mlčí. Podobné otázky riešime aj pri porovnaní nákladov a návratnosti konkrétnych modelov.

Distilácia neničí veľké modely. Robí z nich to, čím vždy boli: drahý zdroj, z ktorého sa dá vyťažiť lacnejšia práca. Otázka, či sa neautorizované zberanie výstupov utne reguláciou alebo sa stane normou trhu, zostáva otvorená. Menšie modely medzitým bežia ďalej. Za zlomok ceny.