AI a kritické myslenie: väčšia istota, horšie výsledky

Vzťah medzi AI a kritickým myslením má nepríjemnú dynamiku: keď ľuďom pomáha odpovedať umelá inteligencia, sú si výrazne istejší, no zároveň robia viac chýb. Podľa článku, ktorý zhŕňa novú štúdiu, klesla presnosť odpovedí z 27 % na 9 %, kým sebavedomie stúplo z 30 % na 76 % (cctest.ai). Inak povedané, asi trikrát viac omylov pri dvojnásobnej istote.

Nejde o akademickú kuriozitu. Je to priamy problém pre firmy, ktoré dnes výstupmi AI podkladajú reálne rozhodnutia.

Čo presne štúdia namerala?

Účastníci mali odpovedať na úlohy, časť z nich s prístupom k odporúčaniam AI. Najvýrečnejšie číslo je posun v priznaní neistoty: podiel odpovedí „neviem“ klesol zo 44 % na 3 % (cctest.ai). Ľudia teda prestali hovoriť, že niečo nevedia, aj keď to naozaj nevedeli.

• Odpovede „neviem“: 44 % → 3 %
• Presnosť: 27 % → 9 %
• Sebavedomie: 30 % → 76 %

Autori štúdie spájajú rady AI s oslabením návyku priznať si neistotu, nie iba s horším výkonom (cctest.ai). Ten rozdiel je dôležitý. Chybný výstup viete odchytiť kontrolou. Stratený inštinkt zapochybovať odchytíte ťažko.

Prečo je to riziko pre AI a kritické myslenie vo firmách?

Vo firemnom prostredí sa výstup AI takmer nikdy nezastaví na obrazovke. Stane sa podkladom pre cenovú ponuku, pre analýzu, pre zápis do CRM^?Systém na správu vzťahov so zákazníkmi, kde firma eviduje kontakty, obchody a komunikáciu., pre odporúčanie manažmentu. Ak človek preberá tento výstup s vyššou istotou a nižšou presnosťou, chyba prejde ďalej v reťazci a stráca sa moment, keď ju niekto ešte spochybní.

Poznám to z vlastnej prevádzky. Keď sme dali agentovi nástroj, ktorý vracal sebavedomo formulované závery, kolegovia ich prijímali rýchlejšie a menej overovali než pri neistejšie znejúcom texte. Formu istoty si mýlili s obsahom správnosti.

Ide o rovnaký vzorec, aký som opisoval pri tom, ako AI zvláda reálne pracovné úlohy s úspešnosťou pod 25 %. Model dodá pôsobivo znejúcu odpoveď aj tam, kde nemá dosť podkladov.

Pre orgány, ktoré AI projekty schvaľujú, je práve toto podceňovaný bod. Ak vás zaujíma, ako sa na to má pýtať dozorná rada a predstavenstvo, oplatí sa poldenný workshop o tom, kde AI zarába a kde len spaľuje peniaze, vedený inžiniermi z produkcie. Nie je určený pre technikov, ale pre tých, čo za rozhodnutia o AI nesú zodpovednosť.

Ako obmedziť pokles presnosti pri kontrole výstupov AI?

Univerzálny vypínač na lenivosť neexistuje, ako trefne poznamenal jeden z používateľov v diskusii na r/artificial: kalkulačka aj internet spustili rovnaký spor a časť ľudí sa naučila nástroj používať bez toho, aby vypla vlastný úsudok. Firma to však nemôže nechať na charakter jednotlivca. Musí to zabudovať do procesu.

Čo funguje v praxi:

1. Oddeľte generovanie od schvaľovania. Kto výstup vytvorí s pomocou AI, nech ho neschvaľuje sám. Druhý pár očí bez väzby na model vracia priestor pre pochybnosť.
2. Vyžadujte pri každom výstupe AI zdroj alebo dôkaz, nie len záver. Ak model tvrdí číslo, musí ukázať, odkiaľ je.
3. Vracajte „neviem“ ako platnú odpoveď. Ak systém aj tím penalizujú neistotu, ľudia si ju prestanú priznávať.
4. Merajte chybovosť výstupov, nie spokojnosť s nimi. Pocit, že AI ušetrila čas, klame; jeden používateľ na r/artificial priznal, že ušetrený čas teraz míňa na opravu chýb AI.

Tam, kde výstup AI spúšťa akciu s finančným dopadom, patrí potvrdenie človekom. Máme princíp, že agent smie sám iba čítať; každý zápis prechádza cez schválenie. Konzervatívne, no funguje to.

Kedy má zmysel pustiť AI do rozhodovania a kedy nie?

AI do rozhodovania patrí tam, kde vieme výstup lacno a rýchlo overiť a kde chyba nie je drahá. Nepatrí tam, kde by sebavedomo znejúci nesprávny záver prešiel bez kontroly do peňazí, zmluvy alebo reputácie. Rozdiel je v cene omylu, nie v šikovnosti modelu.

Firmy s autonómnymi agentovými systémami, ktoré schvaľujú či nakupujú bez priameho zásahu človeka, riešia navyše otázku právnej zodpovednosti štatutárov. Tomu sa venuje samostatný program o dohľade a zodpovednosti pri agentovej AI pre vedenie. Kto agentov nenasadzuje, ten ho zatiaľ nepotrebuje.

Zhrnutie je triezve. Rady AI zrýchľujú prácu a zároveň tlmia inštinkt zapochybovať. Kým firma tento efekt nezmeria a nezabuduje kontrolu do procesu, kupuje si rýchlosť za cenu tichých chýb, o ktorých sa dozvie neskoro.