Demo dopadlo dobre. Model prečítal neprehľadný e-mail od zákazníka, vyplnil objednávku a všetci v miestnosti prikývli. O tri mesiace je pilot stále pilotom. Používajú ho dvaja ľudia, keď majú dobrý deň. Nikto nevie povedať, či šetrí čas, a otázka „spustíme to pre všetkých?“ sa stále presúva na ďalšiu poradu.
Je to bežné. Gartner v júli 2024 predpovedal, že do konca roka 2025 firmy opustia aspoň 30 % projektov s generatívnou AI hneď po overení konceptu. Ako dôvody uviedol zlú kvalitu dát, slabú kontrolu rizík, rastúce náklady a nejasný prínos pre biznis. Model býva hlavným problémom zriedka. Pilot vznikol na to, aby zaujal, a nie na to, aby sa dal zmerať a prepojiť so skutočnou prácou.
Tento článok vysvetľuje, prečo sa piloty zasekávajú a čo sa musí zmeniť, kým je AI systém pripravený na každodenné používanie. Na konci nájdete kontrolný zoznam na prechod.
Demo, pilot, ostrá prevádzka
Tri fázy, ktoré si ľudia často pletú:
- Demo ukáže, že niečo je možné. Vybrané príklady, jedna ideálna cesta, za klávesnicou niekto technický.
- Pilot overí, či to funguje na skutočnej práci: skutočné prípady, jeden tím, človek kontroluje každý výstup, pevný dátum konca.
- Ostrá prevádzka znamená, že sa na to ľudia každý deň spoliehajú. Keď sa to pokazí, práca sa spomalí, takže si to niekto musí všimnúť a opraviť.
Mnohé „piloty“ sú v skutočnosti dlhé demá. Nikdy nedostanú skutočné dáta, skutočných používateľov ani dátum, keď niekto rozhodne.
Prečo sa piloty zaseknú
Chýba východiskový stav
Ak nikto nezmeral, ako dlho práca trvala predtým, nikto nevie ukázať, že pilot pomáha. Zavádzanie potom stojí na nadšení a nadšenie sa minie. Najprv merajte. Ako na to, ukazuje článok o meraní návratnosti AI projektu.
Chýba vlastník
Pilot patrí IT alebo „inovačnému tímu“ a ľudia, ktorým mení prácu, majú priveľa inej roboty. Ostrá prevádzka potrebuje vlastníka na strane biznisu: vedúceho tímu, ktorý prácu robí.
Ukážkové dáta
Demo bežalo na desiatich čistých príkladoch. Skutočný vstup je neprehľadnejší: nakrivo naskenované PDF, e-maily v troch jazykoch, zákazník, ktorý píše číslo objednávky do predmetu. Personálnu agentúru, ktorá testuje čítanie životopisov na dvadsiatich úhľadných CV, prekvapí dvadsiaty prvý: fotka vytlačenej strany z mobilu.
Chýba prepojenie
V pilote ľudia kopírujú text do chatového okna a odpoveď vkladajú späť do svojho systému. Dva týždne to funguje. V prvom náročnom týždni je to prvé, čo ľudia vynechajú.
Nedá sa zistiť, či zmena pomohla
Niekto upraví inštrukcie, aby opravil jeden prípad, a potichu pokazí tri iné. Bez pevnej sady testovacích prípadov je každá zmena tipovanie.
Nejasné prevádzkové náklady
Pilot nestál takmer nič. Nikto nespočítal, koľko bude stáť desaťtisíc prípadov mesačne ani koľko času zaberie ich kontrola. Zavádzanie potom zastaví finančné oddelenie.
Používatelia neboli pri tom
Ľudia, ktorých sa nikto nepýtal, ako pracujú, vnímajú nástroj ako klikanie navyše alebo ako hrozbu pre svoje miesto. Vrátia sa k starému spôsobu a používanie potichu klesne. Tejto strane sa venuje článok o tom, ako tím naozaj naučiť používať AI.
Čo sa mení v ostrej prevádzke
Pilot a ostrá prevádzka vedľa seba
| Pilot | Ostrá prevádzka | |
|---|---|---|
| Používatelia | Jeden tím, často dobrovoľníci | Všetci, ktorí prácu robia |
| Dáta | Vzorka, často vyčistená | Všetko, čo príde, tak, ako to príde |
| Prepojenie | Kopírovanie alebo testovací systém | Číta zo živých systémov a zapisuje do nich |
| Oprávnenia | Široké, aby to šlo rýchlo | Každý vidí len to, čo smie |
| Kontrola kvality | Ľudia výstupy prezrú od oka | Testovacia sada pri každej zmene |
| Keď AI zlyhá | Niekto si to náhodou všimne | Záložná cesta a upozornenie |
| Náklady | Malé, nikto ich nesleduje | Merané na prípad, s rozpočtom |
| Podpora | Ten, kto to postavil, neformálne | Určený vlastník a dohoda |
Prepojenia
V ostrej prevádzke AI číta z vašich skutočných systémov a zapisuje do nich: e-mailová schránka, ERP, CRM, úložisko dokumentov. Musí si preto poradiť so všetkým, čo demo preskočilo: duplicity, prílohy, ktoré model neprečíta, ERP, ktoré má práve údržbu. Prepojenia sú často väčšina práce na vývoji. Zároveň práve ony menia pekný nástroj na zmenený proces.
Oprávnenia a dáta
Piloty často bežia pod administrátorským účtom. V ostrej prevádzke má AI vidieť len to, čo smie vidieť človek, ktorý ju používa, a len dáta, ktoré proces potrebuje. Ak AI môže konať (posielať, meniť, platiť), držte práva na zápis úzko a pri všetkom, čo sa ťažko vracia, vyžadujte schválenie. Podrobnejšie to rozoberá článok o bezpečnosti AI agentov. Ochrane osobných údajov sa venuje článok AI, GDPR a európsky AI Act.
Vyhodnocovanie
Testovacia sada je súbor skutočných minulých prípadov so správnym výsledkom. Pri väčšine firemných procesov je rozumný začiatok 50 až 200 prípadov, ak medzi nimi sú aj tie nepríjemné. Každá zmena inštrukcií, modelu alebo referenčných dát najprv prejde touto sadou a až potom ju uvidia používatelia.
Slučka vyhodnocovania
- Skutočné prípady Minulé vstupy so správnym výsledkom
- Spustiť novú verziu Zakaždým tie isté prípady
- Porovnať a ohodnotiť Pravidlá skontrolujú polia, rozdiely prezrie človek
- Nasadiť alebo opraviť Len ak je lepšia ako predošlá verzia
- Pridať nové chyby Chyby z bežnej prevádzky pribudnú do sady
Sada vás chráni aj vtedy, keď poskytovateľ model aktualizuje alebo ho prestane ponúkať. Spustíte ju na novom modeli a do hodiny viete, či sa niečo zhoršilo. Na čo sa pri kontrole zamerať, vysvetľuje článok Prečo si AI vymýšľa.
Inštrukcie pod správou verzií
V pilote sú inštrukcie pre model (prompt) často v niečích poznámkach. V ostrej prevádzke sú súčasťou systému: uložené spolu s kódom, menia sa až po kontrole, sú otestované na testovacej sade a dajú sa ľahko vrátiť. To isté platí pre výber modelu a jeho nastavenia. Keď sa v utorok niečo pokazí, chcete presne vedieť, čo sa zmenilo v pondelok.
Monitoring a záložná cesta
Zapisujte každú požiadavku: vstup, výstup, ktorý model, ako dlho to trvalo, koľko to stálo a či človek výsledok zmenil. Každý týždeň sa pozrite na pár čísel: objem, podiel opravených výstupov, chyby, náklady na prípad.
Vopred rozhodnite, čo sa stane, keď AI nie je dostupná alebo si nie je istá. Prípad ide k človeku starou cestou. Nikto by sa nemal zaseknúť len preto, že poskytovateľ modelu má výpadok.
Kontrola nákladov
Z logov pilotu vezmite náklady na prípad a vynásobte ich skutočným objemom. Nastavte si mesačné upozornenie na rozpočet. Na jednoduché kroky, ako je triedenie, použite menšie a lacnejšie modely, väčšie si nechajte na ťažké kroky. Ak používate agenta, obmedzte, koľko krokov smie urobiť. Možnosti úspor opisuje článok Koľko naozaj stojí AI projekt.
Podpora a vlastníctvo
Niekto musí odpovedať na otázku „prečo to urobilo toto?“ a opraviť to. Dohodnite sa, kto to bude: interný vývojár, dodávateľ alebo tím, ktorý to postavil. Spíšte, kto smie meniť inštrukcie a ako sa zmeny testujú. Pri našich projektoch klient od spustenia vlastní kód, repozitáre aj účty a 3 mesiace opravujeme chyby zadarmo. Mesačná podpora je potom na výber. Nech máte nastavenie akékoľvek, dohodnite ho pred spustením, nie po prvom incidente.
Plán prechodu
Od pilotu ku každodennému používaniu
- 1
Rozhodnutie
Áno alebo nie, podľa číselČas na prípad, chyby, používanie a náklady oproti východiskovému stavu.
- 2
1. – 2. týždeň
Zostavte testovaciu sadu50 – 200 skutočných prípadov vrátane tých nepríjemných.
- 3
2. – 5. týždeň
Prepojte živé systémyPriame čítanie a zápis so správnymi oprávneniami.
- 4
4. – 6. týždeň
Pridajte monitoring a záložnú cestuLogy, týždenné čísla, ručná cesta, keď AI nevie pomôcť.
- 5
6. – 8. týždeň
Spúšťajte tím po tímeKaždý tím zaučte na jeho prípadoch; spočiatku ešte kontroluje človek.
- 6
Po spustení
Odovzdajte a mesačne vyhodnocujteUrčený vlastník, dohodnutá podpora, kontrola sa uvoľňuje s rastúcou dôverou.
Každý výstup nemusíte kontrolovať navždy. Keď čísla ukážu, že AI je pri určitom type prípadov spoľahlivá, prejdite na kontrolu výnimiek a náhodnej vzorky. Postupy od kontroly všetkého po kontrolu výnimiek opisuje článok o človeku v procese s AI.
Príklad: navrhnuté odpovede v zákazníckej podpore
Zoberme si e-shop s osemčlennou podporou, ktorý skúšal odpovede navrhnuté AI. Príklad je ilustračný. V pilote dvaja operátori kopírovali e-maily zákazníkov do chatového asistenta s dlhým promptom a návrhy vkladali späť do helpdesku. Páčilo sa im to a mali pocit, že sú rýchlejší. Nikto však predtým nezmeral, ako dlho odpovede trvali, a ďalších šesť operátorov nikdy nezačalo.
Prechod do ostrej prevádzky znamenal:
- Prepojenie: návrh sa zobrazí priamo v tikete v helpdesku, už aj s údajmi o objednávke zo systému e-shopu. Žiadne kopírovanie.
- Dáta: model odpovedá z článkov nápovedy a podmienok vrátenia tovaru, nie z pamäti. Pri každom návrhu ukáže článok, z ktorého vychádzal.
- Vyhodnocovanie: testovacou sadou sa stalo 120 minulých tiketov s odpoveďami, ktoré poslali skúsení operátori. Každá zmena inštrukcií ňou prejde.
- Pravidlá: vrátenie peňazí nad stanovenú sumu, sťažnosti a všetko, kde sa spomína právnik, nikdy nedostane navrhnutú odpoveď. Ide to rovno vedúcemu tímu.
- Monitoring: týždenný prehľad, koľko návrhov odišlo s malými úpravami, koľko sa prepísalo a koľko sa zahodilo.
- Zaškolenie: hodinové stretnutie pre každú zmenu, na nedávnych tiketoch každého operátora.
Nič z toho nepotrebovalo lepší model. Sú to prepojenia, pravidlá a návyky a práve na ne padne väčšina práce. Tomuto použitiu sa podrobne venuje článok o AI v zákazníckej podpore.
Kontrolný zoznam: je to pripravené na ostrú prevádzku?
Skôr než to nazvete ostrou prevádzkou
- Vlastník na strane biznisu Nielen IT
- Čísla z východiskového stavu aj z pilotu Čas, chyby, používanie, náklady na prípad
- Testovacia sada Spúšťa sa pri každej zmene
- Živé prepojenia Žiadne kopírovanie
- Minimálne oprávnenia Každý vidí len to, čo smie
- Schválenie rizikových krokov Posielanie, platby, mazanie
- Logy a týždenné čísla Objem, opravy, chyby, náklady
- Záložná cesta Práca pokračuje, aj keď AI nevie pomôcť
- Zaškolení používatelia Na vlastných skutočných prípadoch
- Dohodnutá podpora Kto to opraví a ako rýchlo
Čo urobiť teraz
Ak máte pilot, ktorý visí vo vzduchu, určte dátum rozhodnutia, dajte dokopy čísla, ktoré máte, a prejdite kontrolný zoznam. Nezaškrtnuté políčka sú váš plán na najbližšie 4 – 8 týždňov. Ak chýbajú čísla, to je prvé políčko.
Ak začínate od nuly, postupujte podľa plánu na 90 dní a pilot od prvého dňa navrhnite s ohľadom na ostrú prevádzku: skutočné dáta, východiskový stav, vlastník a dátum rozhodnutia.
Premeniť piloty na nástroje, ktoré ľudia denne používajú, je väčšina toho, čo robíme pri projektoch interných nástrojov a pracovných postupov. Každý týždeň ukážeme funkčné demo, takže problémy vyjdú najavo včas. Ak sa ten váš pilot zasekol, napíšte nám, kde.
