AI a reálne pracovné úlohy: úspešnosť pod 25 %

Keď jazykový model postavíte pred skutočnú prácu, nie pred test, výsledok je triezvy. Podľa štúdie UC Berkeley o AI a reálnych pracovných úlohách modely vyriešili menej než 25 % zadaní, ktoré napodobňujú bežnú kancelársku a odbornú prácu. Zodpovedá to tomu, čo vidím pri vlastnom testovaní: skvelé odpovede na krátke otázky, problém pri dlhšom, viackrokovom zadaní.

Toto číslo ostro kontrastuje s tým, ako sa generatívna AI predáva. Demo videá ukazujú agenta, ktorý „samostatne" vybaví celú úlohu. Realita meraná na širokej sade zadaní je bližšie k štvrtine úspešnosti.

Čo presne hovorí štúdia UC Berkeley o reálnych pracovných úlohách?

Štúdia UC Berkeley o AI na reálnych pracovných úlohách uvádza, že testované modely dosiahli úspešnosť pod 25 % na zadaniach navrhnutých tak, aby zodpovedali skutočnej práci, nie školským testom. Autori z toho vyvodzujú, že AI je stále ďaleko od úrovne človeka pri komplexných úlohách, ktoré si vyžadujú viac krokov a udržanie kontextu.

Zistenie prvýkrát priniesol portál The College Fix pod titulkom, že modely majú „ďaleko k ľudskej úrovni". Výskumníci z Haasovej školy na Berkeley pritom už skôr upozornili na paradox produktivity: v analýze redakcie Haas zistili, že AI mala uvoľniť čas zamestnancov, no v praxi nastal opak.

Prečo AI zvláda krátke úlohy, ale padá na dlhých?

Rozdiel je v dĺžke a zložitosti. Novšie meranie s časovou metrikou ukazuje, že AI dosahuje takmer 100 % úspešnosť pri úlohách, ktoré človek zvládne do štyroch minút, no pri úlohách nad štyri hodiny klesá úspešnosť na približne 10 %. Problémom nie je znalosť. Problémom je udržať smer naprieč dlhým projektom.

Túto logiku popisuje analýza portálu Neuron.expert. Autori navrhujú porovnávať čas, počas ktorého AI spoľahlivo vykoná zložitú úlohu, s časom, ktorý na ňu potrebuje človek. Silná je pri krátkych, štruktúrovaných úlohách: predikcia textu, faktické znalosti. Slabá pri dlhých, komplexných projektoch typu vzdialená výkonná asistenčná podpora.

• Krátke, štruktúrované úlohy (do pár minút): takmer bezchybné.
• Stredne dlhé úlohy: úspešnosť klesá, začínajú sa hromadiť drobné chyby.
• Dlhé, viackrokové projekty (hodiny): úspešnosť okolo 10 %, model stráca kontext a odbočí od zadania.

Poznám to z vlastnej praxe. Keď som skúšal automatické zhrnutia e-mailov, krátke správy model zhrnul spoľahlivo, no pri dlhých vláknach občas vynechal to podstatné, napríklad zmenu termínu z poslednej odpovede. Rovnaký vzorec: čím dlhší kontext, tým väčšia šanca, že vypadne dôležitý detail.

Čo to znamená pre firemné AI plány?

Ak plánujete nasadiť AI na celý pracovný proces, počítajte s tým, že samostatne dnes zvládne menšinu úloh. Rozumnejšie je viesť AI ako asistenta pod dozorom človeka na krátke, dobre ohraničené kroky, merať výsledok a rozširovať záber postupne. Rozhodnutie, čo automatizovať a kde je hranica rizika, patrí vedeniu, nie dodávateľovi.

Práve tu firmy míňajú peniaze zbytočne: schvália ambiciózny projekt podľa demo videa a narazia na tú istú priepasť, ktorú popisuje štúdia. Ak schvaľujete AI investície na úrovni predstavenstva alebo dozornej rady, oplatí sa vopred rozumieť, prečo väčšina prvých AI projektov neprinesie merateľný výsledok. Presne na to je zameraný poldňový workshop o AI governance pre vedenie, ktorý ukazuje, kde AI zarába a kde len spaľuje peniaze. Vedú ho inžinieri z produkcie, nie marketing.

K tomu pár praktických zásad, ktoré sa mi osvedčili pri testovaní:

1. Rozbite dlhú úlohu na krátke kroky a nechajte človeka skontrolovať výstup po každom z nich.
2. Nasaďte AI najprv na zlomok objemu (napríklad štvrtinu dopytov) a ručne prechádzajte prepisy.
3. Merajte podiel chybných odpovedí pred úpravou promptov aj po nej, nie dojem z prvého dňa.
4. Rozšírte záber až vtedy, keď chybovosť klesne pod hranicu, ktorú si viete obhájiť.

Kde je hranica medzi užitočnou automatizáciou a rizikom, som podrobnejšie rozpísal v článku o automatizácii práce pomocou AI a hranici rizika.

Blíži sa moment, keď AI zvládne aj dlhé projekty?

Podľa časovej metriky sa schopnosť AI udržať zložitú úlohu zlepšuje. Výskumníci odhadujú, že ak trend vydrží, okolo roku 2032 by AI mohla automatizovať ekvivalent mesačného pracovného zaťaženia človeka vo vývoji softvéru. Stále však platí, že dlhé a komplexné úlohy sú dnes hlavná slabina, nie vyriešený problém.

Berte tento odhad ako trend, nie ako záruku. Extrapolácia zo súčasnej krivky nezohľadňuje, že reálna práca je neusporiadaná: chýbajúce podklady, protichodné pokyny, kontext, ktorý nie je nikde zapísaný. Práve v tejto neusporiadanosti dnes modely padajú.

Pred rozhodnutím vyvinúť vlastné riešenie alebo kúpiť hotové sa oplatí prejsť si rámec pre investičné rozhodnutie o AI, ktorý ráta náklady počas celého životného cyklu a končí rozhodovacou maticou pre konkrétny prípad. Nie je to pre firmu, ktorá len chce vyskúšať chatbota. Je to pre tých, kto zvažuje väčšiu investíciu a chce vopred vedieť, kde sa dá pretiahnuť rozpočet.

Aké je moje zhodnotenie pre slovenského používateľa?

Číslo pod 25 % netreba čítať ako „AI nefunguje". Treba ho čítať ako mapu: funguje výborne na krátke, ohraničené úlohy a nespoľahlivo na dlhé projekty bez dozoru. Kto tomu prispôsobí očakávania aj nasadenie, ušetrí čas hneď. Kto čaká plnú automatizáciu celých procesov, sklame sa a pravdepodobne aj preinvestuje.

Pre slovenskú firmu z toho plynie jednoduchý záver. Začnite tam, kde je úloha krátka a merateľná, držte človeka v slučke a rozhodnutie o väčšej investícii opierajte o čísla, nie o demo. To je jediný spôsob, ako z AI dostať hodnotu a nezaplatiť za sklamanie.