GLM 5.2 web search halucinácie: overte nástroj

GLM 5.2 web search halucinácie sú v jadre problém konfigurácie, nie zlyhania modelu. GLM 5.2 vie vyhľadávať na webe reálne, ale iba vtedy, ak je nástroj explicitne zapnutý. Ak ho prevádzkovateľ nechá vypnutý, model odpovedá len z trénovacích dát a pritom môže tvrdiť, že práve niečo hľadal. Presne to je najpravdepodobnejšie vysvetlenie prípadu, ktorý sa objavil na Reddite.

Používateľ pod menom PressPlayPlease7 napísal, že GLM 5.2 používal dvadsať minút, kým si všimol, že všetky jeho „vyhľadávania na Googli“ boli len simulované a fakty vymyslené. Na začiatku sa vraj modelu spýtal, či má nástroj na Google, a model odpovedal, že áno. Príspevok som si prečítal, aj obrázok priložený k nemu.

Krátko nato prišla reakcia iného používateľa. Vlákno videl na hlavnej stránke, prišlo mu to divné, tak si vyhľadávanie vyskúšal sám. Model v prostredí chat.z.ai podľa neho vyhľadával reálne. K tomu dodal triezvu poznámku: pri tom, ako ľahko sa dá AI donútiť povedať čokoľvek, alebo len upraviť screenshot cez HTML, by mali byť ľudia skeptickejší voči vytrhnutým dôkazom.

Vie GLM 5.2 naozaj vyhľadávať na webe?

Áno. GLM 5.2 má natívne webové vyhľadávanie aj tool-calling^?Schopnosť jazykového modelu volať externé nástroje, napríklad vyhľadávač či kalkulačku, namiesto toho, aby odpovedal len z vlastných znalostí.. Podľa dokumentácie EmpirioLabs vyhľadávanie riadi parameter tool_web_search^?Parameter, ktorým sa pri GLM 5.2 zapína alebo vypína webové vyhľadávanie. Keď je vypnutý, model nemá prístup k živému webu., ktorý je voliteľný boolean a treba ho zapnúť explicitne. Pri aktivácii sa účtuje dodatočný poplatok za požiadavku. Bez zapnutia model k živému webu prístup nemá.

Z.ai zároveň prevádzkuje vlastnú infraštruktúru. V technickej dokumentácii opisuje tri služby: Web Search API, vyhľadávanie priamo v chate a inteligentných vyhľadávacích agentov. Vyhľadávanie v chate podľa Z.ai „kombinuje výsledky reálneho vyhľadávania s generatívnymi schopnosťami GLM, aby poskytovalo aktuálne a overiteľné odpovede“. Oficiálny ekosystém teda odlišuje skutočné vyhľadávanie s citovateľnými výsledkami od čisto generovaného textu.

Prečo teda model tvrdil, že hľadá, keď si vymýšľal?

Lebo GLM 5.2 je open-weights^?Model, ktorého váhy sú verejne dostupné, takže si ho môže prevádzkovať a nakonfigurovať ktokoľvek. Správanie sa preto líši podľa nastavenia prevádzkovateľa. model publikovaný pod MIT licenciou. Podľa profilu na VeniceStats a ďalších technických popisov si každý poskytovateľ stavia vlastný stack okolo rovnakého jadra. Rovnaký model sa preto v dvoch prostrediach môže správať úplne inak. Web-search je nástroj integrácie, nie inherentná vlastnosť každej inštancie.

Z toho vyplývajú tri možné stavy tej istej integrácie:

• vyhľadávanie beží cez oficiálne Z.ai Web Search API a vracia reálne, citovateľné výsledky,
• vyhľadávanie je úplne vypnuté a model „simuluje“ výsledky len z trénovacích dát,
• vyhľadávanie je nasmerované na inú službu než Google, takže odpoveď modelu o „nástroji na Google“ je nepresná.

Reddit prípad tak vyzerá skôr ako problém konkrétnej integrácie s vypnutým alebo chybne nakonfigurovaným nástrojom než ako systémová chyba jadra GLM 5.2. Overiť to nezávisle sa však nedá: k danému screenshotu neexistuje oficiálne vyjadrenie Z.ai ani nezávislý test, ktorý by potvrdil, že model predstieral vyhľadávanie systémovo.

Ako otestovať AI nástroj skôr, než ho pustíte do produkcie?

Neverte tomu, čo model o sebe povie. Ak sa spýtate „máš nástroj na Google?“, odpoveď „áno“ je len text, nie dôkaz. Model dokáže presvedčivo tvrdiť, že niečo urobil, aj keď to neurobil. Treba overiť výstup, nie deklaráciu. Osvedčil sa mi jednoduchý postup.

1. Položte otázku na fakt, ktorý sa zmenil až po tréningovom cutoffe modelu, napríklad výsledok včerajšieho zápasu alebo aktuálny kurz.
2. Vyžiadajte si zdroje s odkazmi a klikacie URL adresy skontrolujte, či existujú a či obsah sedí.
3. Zopakujte tú istú otázku s vypnutým vyhľadávaním a porovnajte odpovede. Ak sa nelíšia, nástroj pravdepodobne nefunguje.
4. Sledujte logy volaní nástrojov, nie len finálny text. Reálne vyhľadávanie zanechá stopu v logu tool-callingu.

Presne tento typ overovania, RAG^?Retrieval-Augmented Generation: postup, keď model pred odpoveďou vyhľadá relevantné dokumenty a odpovedá na ich základe, čím sa znižuje riziko halucinácií. v produkcii a kontrola volaní nástrojov, je ťažisko dvojdňového workshopu o produkčnej AI s RAG, agentmi a architektúrou kontextu. Stojí za zváženie, ak už máte prototyp a chcete ho premeniť na nasadenie, ktorému môžete dôverovať. Pre tím, ktorý len experimentuje s jedným chatom, je to zbytočne veľa; pre CTO pred reálnym nasadením naopak úspora neskorších problémov.

Aká je vlastne miera halucinácií pri GLM-5?

Podľa júlového sprievodcu NxCode rodina GLM-5 znížila mieru halucinácií z približne 90 % pri GLM-4.7 na 34 % pri GLM-5, a to vďaka novému RL postupu s názvom Slime. Čísla sú agregované cez viacero benchmarkov. Kritické halucinácie sa výrazne znížili, no úplne nezmizli.

To je jadro celej lekcie. Aj špičkový open-source model, ktorý deklaruje web-search, v nezanedbateľnej miere stále vymýšľa presvedčivo znejúce, ale nesprávne informácie, najmä ak je vyhľadávací nástroj vypnutý alebo zle nastavený. Podobné otázky dôvery a nastavenia som rozoberal aj pri open-weight modeloch a čínskej Kimi K3.

Čo z toho vyplýva pre slovenského používateľa?

Open-weights modely ako GLM 5.2 sú lacnejšie a flexibilné, ale flexibilita má cenu: rovnaký názov modelu neznamená rovnaké správanie. Skôr než postavíte firemný proces na tom, že model „vyhľadáva na webe“, si to overte na vlastnej inštancii. Reddit screenshot nie je dôkaz. Log volania nástroja áno.

Konkrétne: pri každom novom poskytovateľovi si vyžiadajte odpoveď so zdrojmi, skontrolujte URL a porovnajte výstup so stavom, keď je vyhľadávanie vypnuté. Trvá to päť minút a ušetrí vám to situáciu, keď zákazníkovi pošlete odpoveď postavenú na vymyslenom fakte.