Lokálne embeddingy a rerankery: kedy sa oplatia viac

Ak už platíte za nejakú LLM službu, lokálne embeddingy^?Prevod textu na číselné vektory, vďaka ktorým vie systém merať významovú podobnosť medzi dopytom a dokumentmi. a rerankery vám takmer vždy prinesú viac úžitku než snaha rozbehnúť vlastný jazykový model na firemnom hardvéri. Generovanie textu nechajte na API, ktoré aj tak platíte. Vyhľadávanie a zoraďovanie dokumentov v RAG^?Retrieval-Augmented Generation: architektúra, ktorá pred generovaním odpovede vytiahne relevantné dokumenty a poskytne ich modelu ako kontext. architektúre pokojne spracujte doma: je to lacnejšie, dáta zostanú u vás a kvalita odpovedí stúpne tam, kde na tom najviac záleží.

Túto úvahu otvoril príspevok na komunite r/LocalLLaMA, kde autor priznáva, že hoci prevádzkuje llama.cpp na Tesle P40, ako platiaci používateľ ChatGPT Pro postupne stráca praktický dôvod držať lokálny LLM pri živote. Sedí to s tým, čo vidím v produkcii. Rozoberme si to triezvo.

Prečo lokálny LLM pri platenej službe stráca zmysel?

Lebo platíte dvakrát za to isté. Kvalitný lokálny model potrebuje drahú grafickú kartu, spotrebúva prúd aj vtedy, keď nič nerobí, a jeho odpovede zaostávajú za tým, čo dostanete z API za pár centov na dopyt. Ak už máte predplatné, ekonomika lokálneho generovania sa jednoducho nezloží.

Zvážte, čo by lokálny LLM musel splniť, aby sa reálne oplatil: buď extrémne prísne požiadavky na súkromie, alebo taký objem dopytov, že platené API prekročí cenu hardvéru a jeho prevádzky. Väčšina firiem ani jednu z týchto hraníc nedosahuje. Latencia^?Čas, za ktorý systém vráti odpoveď na dopyt. býva horšia, údržba náročná a kvalita nižšia.

Kedy sa oplatia lokálne embeddingy a rerankery viac než vlastný LLM?

Vtedy, keď potrebujete rýchle, lacné a súkromné vyhľadávanie nad vlastnými dátami. Embeddingový model prevedie texty na vektory a reranker^?Model, ktorý po prvom vyhľadaní znovu zoradí nájdených kandidátov podľa relevantnosti, čím zvyšuje presnosť odpovedí. následne zoradí kandidátov podľa relevantnosti. Obe úlohy bežia na oveľa skromnejšom hardvéri než generatívny LLM a citlivé dokumenty pri nich neopúšťajú vašu infraštruktúru.

• Náklady. Embeddingy počítate raz pri indexovaní; opakované volania plateného embedding API viete úplne vypustiť.
• Súkromie. Interné zmluvy a dáta zákazníkov neposielate tretej strane.
• Kvalita retrievalu. Reranker zvyčajne zlepší presnosť odpovedí viac než výmena samotného jazykového modelu.
• Latencia. Lokálny reranker odpovedá v milisekundách, bez závislosti od dostupnosti externého API.

Ak riešite práve rozhodnutie, čo spracovať doma a čo nechať na API, oplatí sa pozrieť na dvojdňový workshop o produkčnej RAG architektúre a správe kontextu pre CTO a architektov. Je určený tímom, ktoré už majú prototyp a potrebujú spoľahlivú prevádzku; ak zatiaľ len experimentujete v notebooku, počkajte s ním.

Ako sú na tom embeddingové modely pre slovenčinu?

Lepšie než pred rokom. Slovenskí výskumníci vytvorili benchmark SkMTEB na meranie kvality spracovania slovenského textu a spolu s ním dva otvorené embeddingové modely pre slovenčinu. Podľa tlačovej správy sú niekoľkonásobne menšie a úspornejšie než komerčné embeddingové API, pričom dosahujú porovnateľnú kvalitu.

Daniel Hládek, docent z Katedry počítačových sietí na Technickej univerzite v Košiciach, k tomu uvádza: „Ktokoľvek si ho môže bezplatne stiahnuť, spustiť na vlastnom počítači a postaviť na ňom slovenskú aplikáciu bez toho, aby svoje údaje posielal niekomu inému.“ Modely sa dajú prevádzkovať lokálne aj na relatívne dostupnom hardvéri. Pre slovenské firmy to mení kalkuláciu: kvalitný retrieval^?Fáza vyhľadania relevantných častí dokumentov, ktoré sa následne posunú jazykovému modelu. už nevyžaduje zahraničné API.

Ako to rozdeliť v praxi?

Držte sa deľby práce. Náročné generovanie nechajte na platené API, celý retrieval si spracujte doma. Postavíte tak systém, ktorý je lacnejší v prevádzke a odolnejší voči výpadkom cudzej služby.

1. Dokumenty rozdeľte na časti a lokálnym embeddingovým modelom ich preveďte na vektory.
2. Pri dopyte vytiahnite z vektorovej databázy širšiu množinu kandidátov.
3. Lokálnym rerankerom ich zoraďte a vyberte najrelevantnejšie.
4. Až finálny, zúžený kontext pošlite platenému LLM na vygenerovanie odpovede.

Tvrdé filtre, teda ceny, dátumy či kategórie, riešte klasicky v databáze, nie vektorovo; podobnosť textu čísla ignoruje. Podobnú logiku deľby úloh medzi lacné a drahé komponenty rozoberá aj článok o multi-model orchestrácii, kde silný model riadi a lacné pracujú.

Ak pred nasadením chcete istotu, že architektúra nákladovo aj bezpečnostne obstojí, dáva zmysel externý technický review vášho AI systému s konkrétnymi odporúčaniami. Nie je to lacná položka a nepotrebuje ho každý prototyp, no pri systéme s reálnymi dátami zákazníkov sa cudzí pohľad na riziká vyplatí.

Kedy to naopak nedáva zmysel?

Ak nemáte vlastné dáta na prehľadávanie, RAG ani retrieval neriešte. Ak spracúvate malý objem dopytov, réžia s prevádzkou a údržbou lokálnych modelov prekročí úsporu. A ak nemáte v tíme nikoho, kto vie vyhodnotiť kvalitu embeddingov a rerankera, radšej zaplaťte hotové API a venujte energiu produktu.

Moje odporúčanie je vecné. Máte predplatené LLM API a vlastné dokumenty? Investujte do lokálnych embeddingov a rerankera skôr než do lokálneho jazykového modelu. Získate lacnejšiu prevádzku, lepší retrieval a dáta pod kontrolou. Lokálny LLM si nechajte na prípad, keď vás k nemu doženie prísny regulačný alebo objemový dôvod.