Pri väčšine AI projektov raz príde otázka: „Smieme vôbec tieto dáta poslať AI firme?“ A hneď za ňou ďalšia: nemohli by sme si model jednoducho spustiť sami? Obe otázky sú namieste. Odpoveď závisí od vašich dát, od objemu a od toho, kto sa bude o celé riešenie starať.
Tento článok porovnáva tri spôsoby, ako používať veľký jazykový model (LLM), teda typ modelu, na ktorom stojí ChatGPT. Prvým je verejné API, druhým firemné API hostované v EÚ a tretím open-weight model, ktorý prevádzkujete sami. Open-weight znamená, že natrénovaný model je zverejnený. Môžete si ho stiahnuť a spustiť na vlastnom hardvéri.
Tri možnosti
Verejné API
Cez internet pošlete požiadavku do OpenAI, Anthropic alebo Google a dostanete odpoveď. Platíte za tokeny (kúsky slov) a sami neprevádzkujete nič. Dostanete najsilnejšie dostupné modely, zvyčajne hneď v deň ich uvedenia.
Vaše dáta opustia vaše prostredie a spracuje ich poskytovateľ. Firemné a API podmienky vo všeobecnosti hovoria, že sa nepoužívajú na trénovanie modelov. Poskytovateľ ich však môže istý čas uchovávať, napríklad na odhaľovanie zneužitia. Potrebujete zmluvu o spracúvaní osobných údajov a mali by ste vedieť, kde spracúvanie prebieha.
Firemné API alebo API hostované v EÚ
Rovnaké alebo podobné modely cez cloudovú platformu, napríklad Microsoft Azure, AWS alebo Google Cloud, so spracúvaním v regiónoch EÚ. Prípadne od európskeho poskytovateľa, ako je Mistral. Dostanete firemnú zmluvu, výber regiónu a často aj účet, ktorý vaše IT už spravuje. Dáta stále opustia vaše servery. Idú však k sprostredkovateľovi so zmluvou, do regiónu, ktorý si vyberiete.
Open-weight model na vlastnom serveri
Model ako Llama, Mistral, Qwen alebo Gemma spustíte na vlastných serveroch alebo na GPU strojoch vo vlastnom cloudovom účte. Prompty a dokumenty nikdy neopustia vaše prostredie. Na oplátku zodpovedáte za hardvér, softvér, aktualizácie aj bezpečnosť.
Tri spôsoby, ako používať jazykový model
| Verejné API | API v EÚ | Vlastný server | |
|---|---|---|---|
| Kvalita pri náročných úlohách | Najlepšia dostupná | Najlepšia alebo blízko nej | Dobrá; najväčšie otvorené modely sa blížia |
| Dáta zostávajú vo vašom prostredí | Nie | Nie | Áno |
| Vyberáte, kde sa dáta spracúvajú | Čiastočne | Áno | Áno |
| Náročnosť nasadenia | Nízka | Nízka až stredná | Vysoká |
| Ako platíte | Za tokeny | Za tokeny alebo za rezervovanú kapacitu | Servery a ľudia, väčšinou fixne |
| Funguje bez internetu | Nie | Nie | Áno |
| Kto ho udržiava v chode | Poskytovateľ | Poskytovateľ | Vy alebo váš dodávateľ |
Súkromie: čo sa naozaj mení
Bežná obava je, že poskytovateľ API natrénuje ďalší model na vašich zmluvách. Pri firemných a API podmienkach to vo všeobecnosti neplatí. Prečítajte si však podmienky plánu, ktorý naozaj kupujete. Skutočné rozdiely sú inde:
- Kto dáta spracúva. Pri API je poskytovateľ podľa GDPR vaším sprostredkovateľom. Potrebujete zmluvu o spracúvaní osobných údajov a právny základ spracúvania. Ak dáta opúšťajú EÚ, aj právny základ pre ich prenos. Viac v našom návode AI, GDPR a európsky AI Act.
- Kde sa spracúvajú. Možnosti s hostingom v EÚ vyriešia väčšinu otázok o tom, kde dáta sú. Niektoré zmluvy a odvetvové pravidlá idú ďalej a zakazujú akékoľvek spracúvanie mimo firmy.
- Ako dlho sa uchovávajú. Overte si, ako dlho sa ukladajú prompty a výstupy a či sa to dá skrátiť.
Vlastný server je správna voľba, ak platí niečo z tohto:
- Zmluva, regulátor alebo interné pravidlo zakazuje posielať dáta akejkoľvek tretej strane. Typickým prípadom sú spisy klientov advokátskej kancelárie, poznámky lekárov na klinike alebo interné reporty banky.
- Systém musí fungovať offline, napríklad vo výrobe bez spoľahlivého internetu.
- Spracúvate vysoký a stály objem. Viac o tom nižšie.
Vlastný server však nie je automaticky bezpečný. Prístupové práva, aktualizácie a logy sú teraz na vás. A model povie každému, kto sa spýta, čokoľvek z dokumentov, ku ktorým má prístup. Oprávnenia sú preto stále dôležité: asistent by mal hľadať len v dokumentoch, ktoré smie vidieť človek, ktorý sa pýta.
Kvalita: aký veľký je rozdiel
Open-weight modely sa rýchlo zlepšili. Na mnohé bežné firemné úlohy stačí dobre vybraný stredne veľký otvorený model. Napríklad na vyťahovanie údajov z dokumentov, triedenie e-mailov, zhrnutia alebo odpovede z vašich vlastných dokumentov.
Najlepšie modely cez API majú zvyčajne stále navrch v troch oblastiach. Je to dlhé uvažovanie v mnohých krokoch, práca agentov s množstvom nástrojov a písanie v menších jazykoch. Ak vaši používatelia pracujú po slovensky alebo po česky, otestujte práve to. Menšie modely v nich bývajú citeľne slabšie než v angličtine.
Nerozhodujte sa podľa verejných benchmarkov. Vezmite 50 až 100 skutočných príkladov z vášho procesu, spustite ich na dvoch či troch modeloch a výsledky porovnajte vedľa seba. Najlepšie spolu s ľuďmi, ktorí túto prácu dnes robia.
Cena: závisí od objemu
API nestojí nič, keď ho nikto nepoužíva, a jeho cena rastie priamo úmerne s používaním. Model na vlastnom serveri stojí rovnako, či pracuje, alebo nie. GPU servery (stroje s grafickými procesormi, na ktorých modely bežia) idú nepretržite a niekto sa o ne musí starať.
Vlastný server preto vychádza na jednu požiadavku lacnejšie, len keď je hardvér vyťažený. Pri nástroji, ktorý 20 ľudí použije párkrát denne, bude API takmer vždy lacnejšie. Pri systéme, ktorý spracúva dokumenty nepretržite, sa to môže otočiť. Prepočítajte si to s vlastnými číslami a zarátajte aj čas ľudí, nielen účet za servery. Ako odhadnúť náklady na API, ukazuje článok koľko stojí AI projekt.
Koľko hardvéru? Hrubé pravidlo: model potrebuje toľko pamäte, koľko vyjde z počtu parametrov krát počet bajtov na parameter. Model s 8 miliardami parametrov potrebuje pri 16-bitovej presnosti asi 16 GB len na váhy. Po skomprimovaní na 4 bity (kvantizácia s malou stratou kvality) potrebuje asi 4 – 5 GB a pobeží na jednej slušnej GPU. Model so 70 miliardami parametrov potrebuje pri 16 bitoch asi 140 GB a pri 4 bitoch okolo 35 – 40 GB. To znamená jednu alebo viac GPU pre dátové centrá. Každý ďalší súbežný používateľ potrebuje pamäť navyše. Najväčšie otvorené modely potrebujú celý server plný GPU pre dátové centrá a to si obhájí málokto.
Ktorá možnosť sa hodí
- 1 Marketingové koncepty
- 2 Otázky k interným smerniciam
- 3 Kontrola zmlúv v advokátskej kancelárii
- 4 Zhrnutia poznámok o pacientoch
- 5 Koncepty odpovedí podpory
- 6 Označovanie milióna popisov produktov
Ako vyzerá prevádzka na vlastnom serveri
Vlastný model nie je len stiahnutý súbor. Bežné nasadenie má tieto vrstvy:
AI na vlastnom serveri
- Vaše aplikácie a používatelia Chat, interné nástroje, automatické workflowy
- Brána Prihlásenie, oprávnenia, logy, limity používania
- Vyhľadávanie Hľadanie vo vašich dokumentoch podľa toho, kto čo smie vidieť
- Inferenčný server Softvér, ktorý model spúšťa, napríklad vLLM alebo Ollama
- Open-weight model Llama, Mistral, Qwen, Gemma a podobné
- GPU servery Vo vašom dátovom centre alebo cloudovom účte
- Brána. Jediné dvere k modelu. Overí, kto sa pýta, zaznamená požiadavky a nedovolí, aby jeden splašený skript zabral celú kapacitu. Niektoré požiadavky vie poslať aj do externého API. Presne tak fungujú kombinované riešenia.
- Vyhľadávanie. Model vaše dokumenty nepozná. Vyhľadávací krok nájde relevantné pasáže a pošle ich modelu spolu s otázkou. Volá sa to RAG. Viac v článku ako funguje RAG.
- Inferenčný server. Softvér, ktorý model nahrá do GPU a odpovedá na požiadavky viacerých používateľov naraz.
- Model a hardvér. Vyberajú sa spolu. Model, ktorý sa nezmestí do pamäte GPU, nepobeží alebo pobeží veľmi pomaly.
K tomu patrí práca, ktorú nikto nevidí: bezpečnostné aktualizácie, nové verzie modelov, sledovanie rýchlosti a chýb a plán pre prípad, že server vypadne.
Kombinované riešenia
Nemusíte si vybrať jednu možnosť na všetko, tak ako nemusíte všetko kúpiť alebo všetko postaviť. Bežné vzory:
- Smerovanie podľa citlivosti. Požiadavky s osobnými alebo dôvernými údajmi idú na model na vlastnom serveri, všeobecné úlohy do API. Brána rozhoduje podľa zdroja dát alebo skupiny používateľov.
- Overiť na API, potom presunúť. Pilot spustite na API hostovanom v EÚ s dátami, ktoré tam smiete použiť. Na vlastný server prejdite, keď viete, že proces funguje a aký objem čakať.
- Malý model doma, veľký na ťažké prípady. Lokálny model zvládne bežné kroky. Zriedkavý ťažký prípad bez citlivých údajov ide do API.
Napríklad súkromná klinika môže cez API posielať pripomienky termínov a odpovedať na verejné časté otázky. Na zhrnutia poznámok o pacientoch pre lekárov použije model na vlastnom serveri. Rovnaká brána, rovnaké prihlásenie, dve úplne odlišné pravidlá pre dáta.
Skôr než sa rozhodnete pre vlastný server
Pripravenosť na vlastný server
- Písomný dôvod Zmluva, regulácia, prevádzka bez internetu alebo zmeraný objem, nie len pocit
- Kvalita otestovaná na vašich dátach Dva či tri otvorené modely na skutočných príkladoch, vo vašom jazyku
- Odhadnutý objem a špičky Požiadavky za deň a počet ľudí, ktorí model používajú naraz
- Plán hardvéru Kúpiť, prenajať GPU vo vašom cloude, alebo využiť poskytovateľa v EÚ, ktorý otvorené modely hostuje
- Zodpovedná osoba za prevádzku Aktualizácie, bezpečnostné záplaty, monitoring, výpadky
- Overená licencia modelu Niektoré otvorené modely majú vlastné podmienky a obmedzenia používania
- Pravidlá prístupu Kto sa smie pýtať na ktoré dokumenty
- Záložné riešenie pre prípad výpadku servera
Časté chyby
- Kúpa GPU pred otestovaním modelov. Najprv testujte na prenajatom hardvéri, potom podľa toho dimenzujte nákup.
- Porovnávanie účtu za servery s účtom za API. Vlastný server stojí aj čas ľudí. Zarátajte ho.
- Predpoklad, že vlastný server znamená súlad s pravidlami. GDPR stále platí: účel, prístupy, doba uchovávania a záznamy o spracúvaní.
- Najväčší model, aký sa zmestí. Menší model je rýchlejší, lacnejší a často stačí. Väčší použite len tam, kde testy ukážu, že ho potrebujete.
Čo urobiť ďalej
Začnite dátami, nie hardvérom. Spíšte, aké dáta AI proces potrebuje, čo o nich hovoria vaše zmluvy a regulátori a približne koľko požiadaviek čakáte. V mnohých prípadoch stačí API hostované v EÚ. Kde nestačí, je model na vlastnom serveri overená cesta.
Staviame súkromných AI asistentov, ktorí bežia vo vašom vlastnom prostredí a prepájajú sa s vašimi dokumentmi a systémami. Ak potrebujete práve to, pozrite si súkromnú AI a jazykové modely na vlastnom serveri.
