Prompting, RAG alebo fine-tuning: čo potrebuje váš AI projekt?

Váš AI pilot väčšinou funguje. Odpovede sú však pridlhé, tón nesedí a o vašich produktoch a cenách nevie nič. Potom niekto na porade povie: „Musíme ho natrénovať na našich dátach.“

Zvyčajne nemusíte. Všeobecný AI model sa dá prispôsobiť vašej firme tromi spôsobmi a každý rieši iný problém:

• Prompting: lepšie pokyny a príklady, ktoré posielate s každou požiadavkou.
• RAG (retrieval-augmented generation): systém v momente otázky prehľadá vaše dokumenty a relevantné časti odovzdá modelu.
• Fine-tuning (dotrénovanie): model sa ďalej trénuje na vašich príkladoch, takže sa zmenia jeho návyky.

Zlá voľba je drahá. Ak napríklad dotrénujete model, aby sa naučil váš cenník, zaberie to týždne a ceny bude aj tak uvádzať nesprávne. V tomto článku vysvetlíme, čo každá možnosť mení, koľko stojí a ako sa rozhodnúť.

Tri spôsoby, ako prispôsobiť model

Prompting: povedzte to jasne a ukážte príklady

Prompt je všetko, čo modelu pošlete spolu s požiadavkou používateľa: pre koho pracuje, aká je úloha a aký formát chcete. Tiež čomu sa má vyhnúť a niekoľko príkladov dobrého výstupu. Veľa pilotov, ktoré sklamali, beží na jednoriadkovom prompte. Strana jasných pokynov a tri dobré príklady často opravia tón, dĺžku aj formát za jedno popoludnie.

Prompting mení správanie, vždy pri jednej požiadavke. Stojí hodiny, nie týždne, a meniť ho môžete kedykoľvek. Má však limit: celú firmu do každej požiadavky nevložíte a dlhé prompty sú drahšie pri každom volaní. Praktickej stránke sa venuje náš návod ako písať prompty, ktoré fungujú.

RAG: správne fakty v správnej chvíli

Pri RAG systém vyhľadá vo vašich dokumentoch pasáže, ktoré súvisia s otázkou, a vloží ich do promptu. Model odpovedá z týchto pasáží a vie ich citovať. Keď sa dokument zmení, ďalšia odpoveď už použije novú verziu. RAG pridáva znalosti, nemení spôsob, akým model píše. Krok za krokom ho vysvetľujeme v článku RAG jednoducho.

Fine-tuning: zmena návykov

Fine-tuning znamená, že existujúci model ďalej trénujete na stovkách až tisícoch príkladov: vstup a výstup, ktorý k nemu chcete. Výsledkom je variant modelu, ktorý robí jednu úlohu po vašom aj bez dlhých pokynov. Mení správanie, nie znalosti. Model sa zlepší vo formáte, štýle alebo v úzkom rozhodovaní. Na učenie faktov sa nehodí: nepovie vám, odkiaľ fakt pochádza, a fakty začnú zastarávať v deň, keď ho natrénujete.

Prompting, RAG a fine-tuning

	Prompting	RAG	Fine-tuning
Čo mení	Ako odpovedá, pri každej požiadavke	Čo vie, pri každej otázke	Ako odpovedá, natrvalo
Pridá vaše fakty	Čiastočne	Áno	Nie
Zostáva aktuálny	Áno	Áno	Nie
Vie ukázať zdroje	Čiastočne	Áno	Nie
Čas do prvého výsledku	Hodiny až dni	Týždne	Týždne až mesiace
Čo potrebujete	Jasné pokyny, pár príkladov	Dokumenty, ktoré niekto udržiava	Stovky až tisíce dobrých príkladov
Dá sa ľahko zmeniť	Áno	Áno	Nie

Znalosti, alebo správanie?

Najužitočnejšia otázka je, či sa váš problém týka toho, čo model vie, alebo toho, ako sa správa.

• „Nepozná naše podmienky vrátenia tovaru“ je problém znalostí. Použite RAG.
• „Píše tri odseky, keď chceme tri odrážky“ je problém správania. Najprv opravte prompt.
• „Musí mesačne roztriediť 40 000 tiketov do 30 kategórií, rýchlo a lacno“ je problém správania pri veľkom objeme. Začnite promptom. Menší model dotrénujte, len ak prompt nie je dosť presný alebo je pri takom objeme pridrahý.

Aký problém máte?

Potrebuje špeciálne správanie →

Prompting; fine-tuning len pri veľkom objeme

RAG a silný prompt

Stačí dobrý prompt

RAG

• 1 Zhrnutie zápisnice z porady
• 2 Prepis e-mailov do firemného štýlu
• 3 Triedenie 40 000 tiketov mesačne
• 4 Odpovede na otázky o HR smerniciach
• 5 Návrhy cenových ponúk z cenníka
• 6 Odpovede podpory z centra pomoci

Potrebuje znalosti vašej firmy →

1. 1 Zhrnutie zápisnice z porady
2. 2 Prepis e-mailov do firemného štýlu
3. 3 Triedenie 40 000 tiketov mesačne
4. 4 Odpovede na otázky o HR smerniciach
5. 5 Návrhy cenových ponúk z cenníka
6. 6 Odpovede podpory z centra pomoci

Koľko ktorá možnosť naozaj stojí

Ceny za tokeny (kúsky textu, podľa ktorých sa používanie modelu účtuje) tu neuvádzame, menia sa príliš často. Štruktúra nákladov je však stabilná:

• Prompting stojí niekoľko hodín človeka, ktorý prácu pozná, plus o niečo viac pri každej požiadavke, lebo prompt je dlhší. Pri veľmi veľkom objeme začne tento príplatok hrať rolu.
• RAG stojí stavbu: pripojenie zdrojov, vyčistenie dokumentov, nastavenie vyhľadávania, oprávnení a testov, zvyčajne niekoľko týždňov. Potom má prevádzkové náklady: vyhľadávací index, preindexovanie pri zmenách dokumentov a človeka, ktorý zdroje vlastní.
• Fine-tuning stojí najmä prácu s dátami. Zozbierať a skontrolovať stovky až tisíce správnych príkladov trvá oveľa dlhšie ako samotné trénovanie. Potom príde vyhodnotenie, hosting a celé to znova, keď sa základný model prestane podporovať alebo sa zmení váš proces.

Mení sa aj ponuka dodávateľov. OpenAI oznámil, že postupne ukončuje svoju samoobslužnú platformu na fine-tuning. Nových používateľov už neprijíma a existujúce dotrénované modely fungujú, kým sa neukončí ich základný model. Fine-tuning je naďalej možný s open-weight modelmi, teda modelmi s voľne dostupnými váhami, ako sú Llama, Mistral alebo Qwen. Zvyčajne sa robí technikami ako LoRA, ktoré trénujú malý doplnok namiesto celého modelu. Ponúkajú ho aj niektoré cloudové platformy. Ak pôjdete touto cestou, rátajte aj s hostingom; pozrite si článok vlastné LLM alebo modely cez API. Celkový obraz nájdete v článku koľko naozaj stojí AI projekt.

Námaha a záväzok

1. Prepísať prompt Pokyny, formát, tón 1
2. Pridať príklady Tri až desať dobrých výstupov 2
3. RAG nad vašimi dokumentmi Vyhľadávanie, oprávnenia, testy 3
4. Dotrénovať a hostovať model Dáta, trénovanie, vyhodnotenie, hosting a znova 4

← Jedno popoludnie Dlhodobý projekt →

1. 1 Prepísať prompt Pokyny, formát, tón
2. 2 Pridať príklady Tri až desať dobrých výstupov
3. 3 RAG nad vašimi dokumentmi Vyhľadávanie, oprávnenia, testy
4. 4 Dotrénovať a hostovať model Dáta, trénovanie, vyhodnotenie, hosting a znova

Kedy je fine-tuning správna voľba

Fine-tuning má zmysel v niekoľkých situáciách:

• Úzke úlohy vo veľkom objeme. Triedenie tiketov, označovanie dokumentov alebo vyťahovanie tých istých polí z rovnakého typu formulára, desaťtisíckrát za mesiac. Malý dotrénovaný model sa pri tejto jednej úlohe často priblíži veľkému modelu, s nižšou cenou za požiadavku a rýchlejšou odpoveďou.
• Prísny formát alebo štýl, ktorý prompt neudrží. Keď aj pri dlhých pokynoch a dobrých príkladoch vychádza príliš veľa výstupov v zlom formáte.
• Privátne alebo offline nasadenia. Keď musí malý open-weight model bežať na vašich serveroch, fine-tuning ho môže v jeho jednej úlohe dotiahnuť na dostatočnú úroveň.

Zlou voľbou je, keď chcete, aby model poznal fakty, alebo keď máte menej ako niekoľko stoviek dobrých príkladov. Nehodí sa ani vtedy, keď sa úloha mení každých pár mesiacov alebo keď ešte nikto neskúsil poriadny prompt.

Jednoduchý postup rozhodovania

Čo a v akom poradí

1. 01 Najprv testovacia sada 30 – 100 skutočných prípadov so správnou odpoveďou
2. 02 Lepší prompt Jasné pokyny a príklady
3. 03 Chýbajú fakty? Pridajte RAG nad dokumentmi
4. 04 Pri objeme stále nestačí? Zvážte dotrénovanie menšieho modelu
5. 05 Meranie Tá istá sada po každej zmene

Testovaciu sadu väčšina tímov preskočí, a pritom práve vďaka nej funguje všetko ostatné. Bez nej nespoznáte, či nový prompt, RAG alebo dotrénovaný model naozaj pomohli. Aj vlastný návod OpenAI na optimalizáciu modelov začína tým, že si pred akoukoľvek zmenou pripravíte vyhodnotenia (evals).

Kombinácia

V produkcii väčšina systémov používa aspoň dve z troch možností. Typické riešenie zákazníckej podpory má starostlivo napísaný prompt pre tón a formát a RAG nad centrom pomoci a vyriešenými tiketmi pre fakty. Malý dotrénovaný model prevezme prvý krok, triedenie prichádzajúcich tiketov, až keď sa to pri danom objeme oplatí. Každá časť robí to, v čom je dobrá.

Príklad krok za krokom

Ilustračný prípad. Distribútor stavebných materiálov dostáva denne niekoľko stoviek e-mailov s objednávkami. Chce, aby AI každý prečítala a pripravila v ERP koncept objednávky, ktorý potvrdí človek.

1. Prvý pokus. Jednoriadkový prompt: „Vytiahni z tohto e-mailu objednávku.“ Model vráti voľný text, mieša krabice so štvorcovými metrami a často vynechá číslo zákazníka.
2. Lepší prompt. Pevný výstupný formát s pomenovanými poľami, pravidlá pre jednotky a päť skutočných e-mailov so správnym výstupom ako príklady. Väčšina problémov s formátom zmizne. Je to oprava správania, hotová za deň.
3. Chýbajúce znalosti. Kódy produktov sú stále zlé, lebo model katalóg nikdy nevidel. Zákazníci píšu „tie sivé dlaždice 30×60“, nie „TL-3060-GR“. Je to problém znalostí. Systém preto vyhľadá v zozname produktov pravdepodobné zhody a dá ich modelu spolu s e-mailom. Model potom vyberá zo skutočných kódov a nevymýšľa si ich.
4. Fine-tuning? S dobrým promptom a vyhľadávaním v katalógu zostanú chyby len pri neobvyklých e-mailoch, ktoré by mal aj tak skontrolovať človek. Pri niekoľkých stovkách e-mailov denne by sa práca s dátami na fine-tuning nevrátila. Znova by to stálo za úvahu, len ak by objem mnohonásobne narástol alebo ak by firma musela prejsť na malý model na vlastných serveroch.

Časté chyby

• Fine-tuning na pridanie znalostí. Model prevezme štýl vašich dokumentov a detaily si aj tak vymyslí.
• Žiadna testovacia sada. Každá zmena sa posudzuje podľa troch príkladov, ktoré niekto vyskúšal v piatok poobede.
• Preskočená práca na prompte. Porovnávať jednoriadkový prompt s dotrénovaným modelom nie je férový test.
• Trénovanie na neporiadnych príkladoch. Model sa spolu s vaším štýlom naučí aj vaše nekonzistentnosti.
• Zabudnutá údržba. Dotrénované modely treba pretrénovať, keď sa ukončí základný model. RAG indexy potrebujú vlastníka.

Čo urobiť ďalej

1. Spíšte tri veci, ktoré súčasný výstup robí zle.
2. Každú zaraďte: znalosti (fakty, ktoré model nemá) alebo správanie (ako odpovedá).
3. Zozbierajte 30 – 100 skutočných príkladov so správnymi odpoveďami.
4. Správanie opravte promptom, znalosti cez RAG a merajte na svojich príkladoch.
5. O fine-tuningu sa začnite baviť, len ak úloha s veľkým objemom stále zaostáva.

Ak si nie ste istí, čo z toho váš projekt potrebuje, môžeme sa na to spolu pozrieť na 30-minútovom hovore.