Do AI asistenta vložíte 40-stranovú zmluvu a spýtate sa na výpovednú klauzulu. Odpoveď je sebavedomá a cituje nesprávny článok. Alebo chat, ktorý hodinu fungoval dobre, začne ignorovať pravidlá, ktoré ste nastavili na začiatku. Alebo je prvá mesačná faktúra za novú AI funkciu trikrát vyššia, než niekto odhadoval.
Všetky tri situácie súvisia s dvoma pojmami: token a kontextové okno. Na ich pochopenie nemusíte byť technik. Keď ich poznáte, lepšie rozhodnete, ako má tím používať chatových asistentov, čo sa oplatí postaviť a koľko bude AI stáť v prevádzke.
Čo je token
Jazykové modely nečítajú písmená ani celé slová. Čítajú tokeny, teda kúsky textu z pevného slovníka, ktorý sa model naučil počas tréningu. (Ak s AI len začínate, prečítajte si najprv, čo je generatívna AI.)
- Bežné anglické slová majú zvyčajne jeden token: invoice, Friday, payment.
- Dlhšie alebo zriedkavejšie slová sa delia na kúsky: overpayment sa rozdelí na over a payment.
- Čísla sa delia na skupinky po niekoľkých číslicach. Aj preto modelom nejde presné počítanie.
- Počítajú sa aj medzery a interpunkcia.
Praktické pravidlo od OpenAI pre angličtinu: jeden token má asi štyri znaky, čiže zhruba tri štvrtiny slova. 100 tokenov je teda asi 75 anglických slov a plná strana s 500 slovami má okolo 650 tokenov. V slovenčine to vyzerá takto:
Ako model vidí vetu
Faktúru za preplatok vám vrátime do piatku.
F akt ú ru za pre plat ok vám v rá time do pi at ku .
Prečo slovenčina, čeština a nemčina stoja viac
Tokenizéry vznikajú z trénovacích textov, ktoré sú prevažne anglické. Angličtina preto dostala najúspornejšie kúsky. Iné jazyky sa delia na viac kratších tokenov. Slovenčina so svojimi koncovkami a diakritikou sa delí veľmi. Anglické overpayment má dva tokeny, slovenský preplatok tri a slovo vrátime ďalšie tri.
Ten istý e-mail v štyroch jazykoch
V praxi môže rovnaká práca v slovenčine spotrebovať zhruba dvojnásobok tokenov oproti angličtine. To znamená približne dvojnásobnú cenu za požiadavku a kontextové okno, ktoré sa zaplní asi dvakrát rýchlejšie. Nie je to dôvod vyhýbať sa slovenčine. Je to dôvod robiť odhady na vašich skutočných textoch a v jazykoch, ktoré naozaj používate, nie podľa anglického pravidla.
Ako si tokeny spočítať sami
Nemusíte hádať. OpenAI má na svojom webe bezplatnú stránku s tokenizérom a jeho knižnica tiktoken je open source. Anthropic a Google umožňujú vývojárom spočítať tokeny cez API ešte pred odoslaním požiadavky. Každý veľký poskytovateľ navyše pri každej požiadavke vracia počet použitých tokenov. Vaši vývojári ich tak môžu zaznamenávať od prvého dňa pilotu. Pri každom odhade, ktorý skončí v rozpočte, sa opierajte o tieto záznamy, nie o pravidlo od oka.
Ako tokeny určujú cenu
Poskytovatelia AI účtujú za tokeny a cenu zvyčajne uvádzajú za milión tokenov. Pri faktúre ľudí prekvapí niekoľko vecí:
- Vstup a výstup majú samostatnú cenu. Vstup je všetko, čo pošlete. Výstup je to, čo model napíše. Výstupné tokeny bývajú niekoľkonásobne drahšie než vstupné.
- Každá požiadavka platí za všetko, čo obsahuje. Pokyny, dokumenty, história konverzácie aj výsledky nástrojov sa účtujú znova pri každej novej správe, nie raz.
- Premýšľanie stojí peniaze. Modely, ktoré pred odpoveďou „premýšľajú“, vytvárajú tokeny navyše. Nevidíte ich, no platíte ich ako výstup.
- Agenti to násobia. AI agent pracuje v slučke a v každom kroku znova posiela rastúci kontext. Jeden beh agenta môže spotrebovať mnohonásobne viac tokenov než jedno volanie. Aj preto sa oplatí overiť si, či agenta vôbec potrebujete.
Odhad sa dá spraviť aj bez znalosti dnešných presných cien. Vezmite tím zákazníckej podpory, ktorému asistent pripravuje odpovede z centra pomoci:
Príklad výpočtu
- 4 500 vstupných tokenov na požiadavku: pokyny, úryvky z centra pomoci, e-mail zákazníka
- 300 výstupných tokenov na požiadavku: koncept odpovede
- 3 000 konceptov odpovedí mesačne
- 14,4 mil. tokenov mesačne: 13,5 mil. na vstupe, 0,9 mil. na výstupe
Podľa zvoleného modelu vyjde takýto príklad na niekoľko eur až niekoľko stoviek eur mesačne. Pri väčšine firemných procesov sú tokeny menšia položka. Viac zvyčajne stojí napojenie na vaše systémy a čas, ktorý ľudia strávia kontrolou výstupov. Podrobne to rozoberáme v článku o tom, koľko naozaj stojí AI projekt.
Čo je kontextové okno
Kontextové okno je všetko, čo model vidí v jednej požiadavke, merané v tokenoch. Nie je to len vaša otázka. Zmestiť sa doň musia aj pokyny, dokumenty, doterajšia konverzácia, výsledky nástrojov a odpoveď, ktorú model práve píše.
Čo napĺňa kontextové okno
- Pokyny Rola, pravidlá, formát; často sa im hovorí systémový prompt
- Uložená pamäť Poznámky, ktoré si aplikácia uložila z predošlých konverzácií
- Dokumenty a výsledky vyhľadávania Strany zmluvy, úryvky z centra pomoci
- Výsledky nástrojov Stav objednávky, záznam z CRM, riadky z databázy
- Doterajšia konverzácia Všetky predošlé otázky a odpovede
- Posledná otázka
- Miesto na odpoveď Do limitu sa ráta aj výstup
Aké je veľké? Súčasné modely od OpenAI, Anthropic a Google prijmú stovky tisíc tokenov, niektoré okolo milióna. Modely s otvorenými váhami, ktoré prevádzkujete na vlastných serveroch, často zvládnu menej. Dlhší kontext navyše potrebuje viac pamäte na vašom hardvéri. To je dôležité, ak zvažujete vlastné modely alebo modely cez API.
Pre predstavu o veľkostiach (anglický text, zaokrúhlené):
| Materiál | Rozsah | Približne tokenov |
|---|---|---|
| Krátky e-mail | 150 slov | 200 |
| Prepis hodinovej porady | 9 000 slov | 12 000 |
| 20-stranová zmluva | 10 000 slov | 13 000 |
| 100-stranový prevádzkový manuál | 40 000 slov | 53 000 |
| Ročná pošta malého tímu podpory | 5 000 e-mailov | 1 000 000 |
Tabuľka vychádza z pravidla tri štvrtiny slova na token. Rovnaký materiál v slovenčine by potreboval zhruba dvojnásobok tokenov. Zmluva aj manuál sa do okna zmestia ľahko. Celý archív e-mailov nie, a ani nemusí.
Väčšie neznamená automaticky lepšie
Veľké okno sa hodí, ale jeho zaplnenie niečo stojí:
- Peniaze. Každý token v okne sa účtuje pri každej požiadavke.
- Rýchlosť. Viac vstupu znamená pomalšiu odpoveď.
- Pozornosť. Modely lepšie využijú informácie na začiatku a na konci dlhého vstupu než tie, ktoré sú zastrčené v strede. Výskumníci zo Stanfordu a ďalších pracovísk to v roku 2023 ukázali v štúdii „Lost in the Middle“. Čím viac nepodstatného textu pridáte, tým ľahšie model prehliadne jediný odsek, na ktorom záleží.
Späť k zmluve zo začiatku článku. Všetkých 40 strán sa do okna zmestilo, takže problém nebol v dĺžke. Výpovedná klauzula bola jeden odsek zo stoviek, otázka bola vágna a nič modelu nekázalo ukázať, odkiaľ odpoveď vzal. Požiadajte ho, aby klauzulu odcitoval doslovne aj s číslom článku, a chybnú odpoveď ľahko odhalíte. Ešte lepšie je, keď váš systém najprv nájde správny článok a modelu pošle len ten.
Prečo AI „zabúda“
V jednej konverzácii: dlhé chaty strácajú niť
Chat pôsobí ako súvislý rozhovor, no model si medzi správami nič nepamätá. Pri každej správe aplikácia pošle celú konverzáciu znova. Keď je na okno pridlhá, aplikácia najstaršie časti vynechá alebo skráti. Už predtým sa však vaše pokyny zo začiatku strácajú medzi všetkým, čo nasledovalo.
Náborárka začne chat pokynom: „Vždy píš formálne, vykaj a nikdy nespomínaj plat.“ O štyridsať e-mailov kandidátom neskôr koncept plat spomenie. Model to neurobil naschvál. Ten pokyn je teraz malou a vzdialenou časťou veľmi dlhého vstupu.
Medzi konverzáciami: včerajšok si nepamätá
Samotný model nemá pamäť. Každá požiadavka začína od nuly a model vie len to, čo je práve v jeho kontextovom okne. Keď si chatový asistent „pamätá“ vaše preferencie, aplikácia si uložila poznámky a potichu ich pridáva do kontextu. Vo vašich vlastných systémoch to funguje podobne. Dôležité veci (históriu zákazníka, minulé rozhodnutia, otvorené problémy) uložíte do databázy. Ku každej požiadavke potom pridáte tú časť, ktorá sa jej týka.
Praktické tipy
Pre ľudí, ktorí používajú chatových asistentov:
- Na každú úlohu začnite nový chat. Preneste doň krátke zhrnutie, nie celé vlákno.
- Pravidlá dajte na začiatok a tie najdôležitejšie zopakujte. Pri dlhých dokumentoch vložte najprv dokument a otázku položte až na konci.
- Dajte len to, čo treba. Pri úzkej otázke sú tri relevantné strany zmluvy lepšie než celá zmluva.
- Pýtajte si krátke odpovede. „Päť bodov“ stojí menej a ľahšie sa kontroluje než „vysvetli všetko“.
Pre tímy, ktoré zabudovávajú AI do svojich nástrojov:
- Vyhľadávajte, nevkladajte všetko. Prehľadajte dokumenty a modelu pošlite len relevantné úryvky, nie celý manuál. Na tom stojí RAG.
- Orežte výsledky nástrojov. Ak model potrebuje päť polí zo záznamu zákazníka, neposielajte všetkých 300.
- Pri dlhých prípadoch udržiavajte priebežné zhrnutie namiesto celej histórie.
- Pevné pokyny nechajte rovnaké a na začiatku. Poskytovatelia ponúkajú prompt caching, teda zľavu, keď sa začiatok požiadavky presne opakuje.
- Obmedzte slučky. Určte, koľko krokov smie agent spraviť a koľko smie minúť na jednu úlohu.
- Merajte na skutočných príkladoch. Spustite 20 – 50 skutočných požiadaviek a zaznamenajte počty tokenov. Odhad bude lepší než akékoľvek pravidlo.
Čo ďalej
- Vyberte jednu AI úlohu, ktorú tím robí často, a spočítajte jej tokeny na požiadavku: pokyny, dokumenty, históriu, odpoveď.
- Zistite, v akých jazykoch sú vaše texty, a odhad podľa toho upravte.
- Pozrite sa, čo ide do každej požiadavky, a odstráňte, čo model nepotrebuje.
- Pred výberom modelu všetko vynásobte mesačným objemom a aktuálnym cenníkom.
Ak zisťujete, koľko by vás stála prevádzka AI funkcie na vašich dokumentoch a objemoch, radi vám ju pomôžeme otestovať. Ozvite sa nám.
