GPT-5.5 benchmark ActiveVision: 10,6 % vs. 96,1 %

V novom GPT-5.5 benchmarku s názvom ActiveVision dosiahol model iba 10,6 %, kým ľudia zvládli tie isté úlohy s úspešnosťou 96,1 %. Podstatné nie je, že frontier model^?Najvýkonnejšia súčasná generácia jazykových modelov, ktorá určuje hornú hranicu možností v odbore. prepadol na ďalšom teste, to sa deje takmer každý týždeň. Zaujímavý je tvar toho zlyhania a fakt, že ho model nedokáže obísť tak, že si napíše vlastný pomocný kód. Podľa autorov ide o štrukturálny limit, nie o chýbajúce nástroje.

Benchmark^?Štandardizovaný test, ktorým sa meria a porovnáva výkon AI modelov na vopred definovaných úlohách. je opísaný v preprinte na arXive a obsahuje 17 úloh v troch kategóriách. Autori ich navrhli tak, aby, ako sami píšu, „nútili k opakovanému vizuálnemu vnímaniu namiesto jedinej statickej deskripcie“. Inak povedané: nejde o to opísať jeden obrázok, ale priebežne pracovať s meniacou sa scénou.

Čo presne meria GPT-5.5 benchmark ActiveVision?

ActiveVision testuje aktívne videnie, teda schopnosť modelu iteratívne pracovať s obrazovými vstupmi a meniacim sa vizuálnym kontextom. Úlohy delí na dve skupiny: tie, kde stačí jednorazová interpretácia obrázka, a tie, kde treba priebežne aktualizovať vnútorný obraz scény naprieč sériou krokov. Práve na druhej skupine model padá.

GPT-5.5 vie rozumne opísať statický záber. Problém nastane, keď sa scéna začne meniť. Model podľa autorov nedokáže spoľahlivo udržať konzistentný stav, sledovať objekty, ich polohu a vzájomné interakcie počas jednotlivých krokov. Výsledkom sú systematické chyby:

• zlá identifikácia objektov po niekoľkých krokoch,
• nesprávne závery o tom, čo sa v scéne zmenilo,
• nepresné priradenie vizuálnych detailov k aktuálnemu stavu prostredia.

Dôležitá poznámka k metodike: GPT-5.5 netestovali v oslabenom režime. Autori uvádzajú, že bežal v nastavení s „najvyššie exponovaným reasoningom“, teda v maximálne schopnej konfigurácii.

Prečo model nedokáže zlyhanie opraviť vlastným kódom?

Toto je jadro celého zistenia. V rámci ActiveVision mal GPT-5.5 možnosť použiť agentické programovanie^?Postup, keď model sám generuje a spúšťa vlastný kód či pomocné skripty, aby vyriešil zadanú úlohu., teda generovať si vlastné skripty a pomocné nástroje na riešenie úloh. Bežná úvaha znie: ak model niečo nevidí dobre, nech si napíše kód, ktorý mu s tým pomôže. Nefunguje to.

Skóre sa napriek prístupu ku kódu zásadne nezlepšilo. Podľa zhrnutia diskusie k preprintu autori konštatujú, že si model nedokázal napísať nástroje, ktoré by kompenzovali jeho slabé vizuálne vnímanie. Chyba sedí v samotnom spracovaní vizuálnych reprezentácií, nie v chýbajúcich algoritmoch alebo nedostatočných kódovacích schopnostiach. Nemá teda čím ten problém obísť.

To je rozdiel oproti mnohým iným úlohám, kde agentické LLM naozaj vyriešia problém tak, že si vygenerujú pomocný nástroj. Tu chýba samotný vstup, na ktorom by nástroj mohol stavať.

Je GPT-5.5 slabý model? Kontext ostatných benchmarkov

Nie, GPT-5.5 má inak stále frontier profil. Práve preto je výsledok na ActiveVision taký výrečný. Model, ktorý exceluje v kódovaní aj práci s rozhraniami, zlyháva takmer úplne tam, kde treba dlhodobo a konzistentne sledovať vizuálnu scénu.

Podľa dostupných dát dosahuje GPT-5.5 napríklad:

• 82,7 % na Terminal-Bench 2.0 (komplexné príkazové riadky),
• 78,7 % na OSWorld-Verified (používanie reálnych GUI),
• 90,1 % na BrowseComp v Pro verzii (webový research).

Silný agentický a kódovací výkon teda nepredpovedá výkon na aktívnych vizuálnych úlohách. Tento poznatok sa zíde každému, kto plánuje nasadenie multimodálnej AI. Ak riešite otázku, do akej miery vôbec na frontier model vsadiť, môže pomôcť náš prehľad toho, ktorý frontier model nasadiť vo firme.

Čo z toho vyplýva pre firemné nasadenia?

Predovšetkým triezvejšie očakávania. Výsledok podkopáva rozšírenú predstavu, že agentické LLM s pridanými toolmi zvládnu ľubovoľnú multimodálnu úlohu. Pri dynamickom videní, aké pripomína robotiku, autonómne systémy či rozšírenú realitu, to zjavne neplatí. Frontier model tu môže byť silný „mozog“, ale slabý „zrak“.

Z praxe viem, že najbolestivejšie prekvapenia prídu vtedy, keď firma predpokladá schopnosť, ktorú model reálne nemá, a zistí to až v produkcii. Preto pri vizuálnych use-caseoch odporúčam tri veci:

1. kombinovať LLM so špecializovanými vizuálnymi modelmi, nespoliehať sa na jeden univerzálny model,
2. robiť vlastné evaluačné testy postavené priamo na vašom scenári, nie preberať čísla z cudzích benchmarkov,
3. počítať s tým, že „pridanie kódu“ alebo orchestrácia workflow nedosiahnu ľudskú úroveň v dynamickom vnímaní.

Ak práve zvažujete, či pre konkrétny vizuálny scenár model vyvíjať, kúpiť alebo integrovať, oplatí sa túto úvahu podložiť číslami životného cyklu a rizikami: presne na to je zameraný workshop o rozhodnutí vyvinúť verzus kúpiť AI pre predstavenstvo, ktorý vás prevedie rozhodovacou maticou pre váš prípad. Pre malý pilotný projekt to nie je nutné, tam si stačí spraviť rýchly interný test. Zmysel dáva skôr tam, kde ide o väčšiu investíciu a viacero oddelení.

Podobná opatrnosť platí aj inde. Písal som už o tom, ako rastúca istota v AI výstupy môže zhoršovať výsledky, keď si používateľ prestane overovať, čo model tvrdí. ActiveVision je toho ďalší príklad: model znie sebavedomo aj vtedy, keď scénu vidí zle.

Zatiaľ ide o jeden preprint a jeden benchmark. Než sa naň bude dať spoľahnúť ako na štandard, budú ho musieť zopakovať a preveriť aj iné tímy. Smer je však jasný. Pri dynamickom videní neplatí, že stačí najsilnejší model a dosť toolov. Kto nasadzuje AI na vizuálnu inšpekciu, robotické videnie či bezpečnostné kamery, mal by rátať so slepými miestami, ktoré sa nedajú dokódovať.