Velký jazykový model, zkráceně LLM z anglického Large Language Model, je model umělé inteligence natrénovaný na obrovském množství textu. Umí odpovídat na otázky, shrnovat dokumenty, překládat, přeformulovat text nebo pomáhat s programováním. Stojí za ním architektura transformer a odpověď skládá po tokenech, ne po celých větách.
Pojem stojí za většinou dnešních nástrojů umělé inteligence: za chatboty typu ChatGPT nebo Claude, za asistenty pro psaní, za nástroje na shrnování dokumentů i za firemní aplikace nad interní dokumentací. Kdo rozumí tomu, jak model skládá odpověď, snáz pochopí, proč zní přesvědčivě i tehdy, když se plete.
Slovo velký se nevztahuje k délce textu, který model zvládne přečíst. Označuje rozsah tréninkových dat a počet parametrů, tedy číselných vah, které si model při učení nastaví. Model GPT-3 od OpenAI jich měl v roce 2020 podle publikovaného článku 175 miliard. Novější modely počet parametrů většinou nezveřejňují.
Větší model neznamená bezchybný model. Dalších 100 miliard parametrů obvykle zlepší práci s různorodými zadáními a plynulost výstupu. Faktickou správnost nezaručuje, protože model nemá způsob, jak si tvrzení ověřit proti zdroji.
Model předpovídá další token podle předchozího kontextu
Model dostane na vstupu text a odpověď skládá po jednotkách zvaných tokeny. Token není celé slovo. Bývá to část slova, krátké slovo, číslo nebo interpunkční znaménko. V každém kroku spočítá pravděpodobnost pro desítky tisíc možných pokračování, jedno vybere a výpočet zopakuje pro další token.
Odtud plyne, proč výstup působí, jako by mu model rozuměl. Napodobuje totiž návaznost, styl a stavbu argumentu z tréninkových dat, kterých byly u modelu GPT-3 stovky miliard tokenů. Uvnitř je ale statistický výpočet nad pravděpodobnostmi, ne porozumění významu.
Architektura transformer umožnila zpracovat celý text najednou
Moderní velké jazykové modely stojí na architektuře transformer. Popsal ji tým kolem Ashishe Vaswaniho z Googlu v článku Attention Is All You Need, který vyšel v roce 2017 na konferenci NeurIPS. Transformer nahradil dřívější rekurentní sítě mechanismem pozornosti, který dokáže vážit vztah mezi libovolnými dvěma místy ve vstupu.
Praktický důsledek je dvojí. Model zvládá delší souvislé texty, protože si udrží vztah mezi větou na začátku a na konci dokumentu. A trénink jde paralelizovat na tisíce grafických karet, protože se text nemusí zpracovávat slovo po slovu.
Kdo chce širší základ, může navázat na machine learning nebo na heslo o neuronových sítích. Velký jazykový model není samostatný nástroj mimo zbytek umělé inteligence, ale větev hlubokého učení, která se od roku 2017 oddělila.
Jeden model zastane úlohy, na které bylo dřív potřeba víc systémů
Velké jazykové modely zvládají generování textu, shrnování dokumentů, překlad, odpovídání na otázky, roztřídění volných odpovědí i pomoc při programování. Jeden model tak může fungovat jako asistent pro psaní, nástroj nad interní dokumentací i součást zákaznické podpory. Tuhle šíři má i běžný ChatGPT.
V tom je hlavní posun proti systémům před rokem 2017. Dřív potřeboval každý typ jazykové úlohy vlastní specializované řešení, trénované zvlášť. U velkých jazykových modelů se schopnosti spojují do jednoho obecného základu, který se dál řídí promptem, dolaďováním nebo napojením na externí data.
Model se učí předtrénováním a pak se dolaďuje
Základ vzniká při předtrénování na obrovském množství textu. V této fázi se model učí obecné jazykové vzory, souvislosti mezi tokeny a statistické vztahy uvnitř jazyka. Trénink největších modelů trvá týdny a běží na tisících grafických karet.
Tím práce nekončí. Pro konkrétní použití se model dolaďuje, protože obecný model nezná interní terminologii firmy ani požadovanou strukturu výstupu. Na doladění stačí řádově stovky až tisíce příkladů, ne miliardy. V praxi se proto kombinuje obecný model s fine-tuningem, s promptováním nebo s připojením na znalostní bázi.
Model neručí za pravdivost, jen za plynulost
Velké jazykové modely nejsou zárukou přesnosti. Umí vytvořit jazykově přesvědčivou, ale fakticky chybnou odpověď, špatně vyložit zadání nebo vyjít z nevhodného vzoru. Pro takový výmysl se od roku 2022 vžil termín halucinace. Plynulý tón s pravdivostí nesouvisí, protože je trénovaný na formě textu, ne na obsahu.
Druhým limitem jsou nároky na výpočetní výkon, cenu provozu a energii. Trénink největších modelů spotřebuje elektřinu v řádu tisíců megawatthodin. Čím rizikovější obor, tím nutnější je lidská kontrola: u právního, zdravotního a finančního výstupu je povinnou částí procesu.
Podle čeho se model doopravdy vybírá
Volba modelu se často zúží na otázku, který je nejlepší. To je špatná otázka, protože nejlepší model pro překlad e-mailu a nejlepší model pro analýzu smlouvy o 100 stranách jsou dvě různé věci a v ceně se liší i desetinásobně.
Praktická rozhodovací kritéria vypadají spíš takhle:
- Náročnost úlohy – roztřídění příchozích dotazů do 5 kategorií je jednoduchá úloha. Napsání právní rešerše není. Na první stačí nejmenší a nejlevnější model, na druhou ne.
- Objem – u tisíce dotazů denně je rozdíl v ceně za milion tokenů zanedbatelný. U milionu dotazů denně rozhoduje o tom, jestli projekt vůbec dává ekonomický smysl.
- Latence – uživatel v chatu snese 3 až 5 sekund. Našeptávač ve formuláři ne. Menší modely odpovídají rychleji.
- Délka vstupu – pokud modelu pravidelně předáváte celé dokumenty, potřebujete velké kontextové okno v řádu stovek tisíc tokenů. Pokud mu posíláte jednu větu, je vám k ničemu.
- Kde běží – model přes API cizího poskytovatele je levnější na start a dražší na provoz. Model provozovaný na vlastním hardwaru je přesně naopak.
Rozumný postup je začít u nejmenšího modelu, který úlohu zvládne, a nahoru jít až tehdy, když se na sadě 50 testovacích případů prokáže, že to nestačí. Opačný postup, tedy nasadit rovnou to nejdražší, vede k tomu, že se nikdy nezjistí, kolik výkonu bylo skutečně potřeba.
Čeština se na tokeny rozpadá dráž než angličtina
Účtování u komerčních modelů neprobíhá za dotazy ani za slova, ale za tokeny, a to zvlášť za vstup a zvlášť za výstup. Ceníky se uvádějí za milion tokenů a výstupní tokeny bývají u velkých poskytovatelů několikanásobně dražší než vstupní.
Token není slovo. Je to kus textu, obvykle část slova, celé krátké slovo, číslo nebo interpunkce. A tady je detail, který v anglicky psané dokumentaci nenajdete. Tokenizéry velkých modelů jsou trénované převážně na angličtině, takže se čeština rozpadá na víc tokenů než anglický text stejného významu. Diakritika a 7 pádů to zhoršují.
Prakticky to znamená, že stejná úloha zpracovaná česky stojí víc než tatáž úloha zpracovaná anglicky. U jednotlivého dotazu je rozdíl neznatelný, u milionu dotazů měsíčně je měřitelný. Kdo počítá návratnost podle anglických příkladů z dokumentace, počítá si to lépe, než jaká bude realita.
Odhadovat spotřebu od oka je zbytečné. Poskytovatelé jako OpenAI i Anthropic nabízejí funkce na spočítání tokenů předem a naprostá většina z nich je zdarma. Vyplatí se změřit reálné vzorky vlastních dat, ne odhadovat z tabulky.
Kontextové okno není paměť
Kontextové okno je maximální množství tokenů, se kterými model pracuje v jednom kroku: systémové instrukce, historie konverzace, vložené dokumenty i generovaná odpověď dohromady. Moderní modely se dostávají do řádu stovek tisíc až milionu tokenů, což odpovídá stovkám stran textu.
Odsud pramení dvě rozšířená nedorozumění.
První zní, že si model konverzaci pamatuje. Nepamatuje. Rozhraní API je bezstavové, takže při každém dotazu se posílá celá dosavadní konverzace znovu. Dojem paměti vytváří aplikace tím, že historii přikládá. Důsledek je finanční: dlouhá konverzace je s každou další zprávou dražší, protože se pokaždé účtuje celá historie jako vstup.
Druhé nedorozumění zní, že větší okno je vždycky lepší. Není. Nacpat do kontextu celou dokumentaci, protože se tam vejde, zvyšuje cenu i latenci a často zhoršuje kvalitu. V záplavě textu se podstatná informace ztrácí. Cílené předání 5 relevantních odstavců obvykle porazí předání 500 stran.
RAG doplní fakta, dolaďování změní styl
Když má model pracovat s firemními daty, kterých se v tréninku nedotkl, nabízejí se 2 cesty a v praxi se pravidelně zaměňují.
| Kritérium | RAG (vyhledání a vložení) | Dolaďování (fine-tuning) |
|---|---|---|
| K čemu slouží | Doplnit fakta, která model nezná | Změnit styl, formát a chování |
| Aktualizace dat | Okamžitá, stačí přepsat zdroj | Vyžaduje nový trénink |
| Vstupní náklad | Nižší, jde hlavně o přípravu dat | Vyšší, potřeba trénovací sada |
| Dohledatelnost zdroje | Ano, lze doložit, odkud odpověď je | Ne, znalost je rozpuštěná v modelu |
| Typický případ | Znalostní báze, dokumentace, podpora | Konzistentní tón, pevná struktura výstupu |
Už jste četli? Muži jsou z Marsu, ženy jsou z Venuše. Proto kluci mají penis a holky zase vagínu!
Praktické pravidlo: pokud je problém v tom, že model něco neví, řešením je RAG. Pokud je problém v tom, že to říká špatně, řešením je dolaďování nebo lepší prompt. Většina firemních zadání spadá do první kategorie, přesto se často sahá po dolaďování, protože zní pokročileji.
Halucinace se neodstraní, dají se jen ohraničit
Halucinace je situace, kdy model vygeneruje tvrzení, které zní věrohodně, ale není pravdivé. Není to porucha, ale přímý důsledek toho, jak model funguje: v každém z tisíců kroků skládá pravděpodobný text, nikoli ověřený. Model nemá vnitřní rozdíl mezi tím, co ví, a tím, co si domýšlí, a proto vymyšlené tvrzení předkládá se stejnou jistotou jako správné.
Z toho plyne, že žádný prompt halucinace nevypne. Co funguje, je omezit prostor, ve kterém k nim může dojít. Pomůže 5 opatření:
- Dát modelu podklady – odpověď opřená o vložený text je výrazně spolehlivější než odpověď z paměti modelu; tenhle postup se jmenuje RAG.
- Vyžádat si zdroj – když má model u každého tvrzení uvést, ze kterého úseku podkladu vychází, odhalí redaktor nepodložené tvrzení do 2 minut.
- Povolit odpověď nevím – modely mají sklon vždy něco odpovědět. Jediná věta v promptu, že přiznaná neznalost je přijatelný výstup, počet výmyslů měřitelně sníží. Stojí 20 tokenů navíc.
- Ověřovat strojově – čísla, data, IČO nebo odkazy jde zkontrolovat kódem proti databázi, u IČO třeba proti registru ARES. Tohle je nejúčinnější a nejpodceňovanější krok.
- Nasadit člověka tam, kde chyba bolí – u právního, zdravotního a finančního výstupu je kontrola nutná; u zdravotnictví ji navíc vyžaduje nařízení EU 2024/1689.
Nejrizikovější oblastí bývají jména, přesná čísla, citace a odkazy. Webové adresy si modely vymýšlejí obzvlášť ochotně, protože formát adresy má jen pár pevných pravidel a model nemá jak ověřit, že stránka na dané URL existuje.
Volba mezi vlastním provozem a cizím rozhraním je počtářská úloha
Rozhodnutí, jestli volat cizí službu, nebo provozovat otevřený model na vlastním železe, se často vede jako ideologický spor. Přitom se dá spočítat ze 2 čísel: měsíčního objemu dotazů a ceny hardwaru.
Cizí API znamená nulovou vstupní investici, okamžitý start, přístup ke špičkovým modelům a platbu za skutečné využití. Nevýhodou je, že data odcházejí ven, cena roste lineárně s objemem a jste závislí na tom, že poskytovatel model nezmění ani nezruší.
Vlastní provoz znamená, že data neopustí infrastrukturu, cena je předvídatelná a model se nezmění pod rukama. Cenou za to je investice do grafických karet v řádu statisíců korun, potřeba lidí, kteří to umí provozovat, a obvykle nižší kvalita než u nejlepších komerčních modelů.
Zlom nastává u objemu. Při malém a nepravidelném využití je cizí rozhraní levnější prakticky vždy. Nad milion dotazů měsíčně se vlastní řešení vyplatí. Pro citlivá data existuje ještě střední cesta: komerční model provozovaný v datovém centru v EU se smluvním závazkem, že se vstupy nepoužijí k dalšímu tréninku.
AI Act rozlišuje poskytovatele modelu a jeho uživatele
Od 2. srpna 2025 platí podle nařízení EU 2024/1689 o umělé inteligenci povinnosti pro poskytovatele obecných modelů umělé inteligence, tedy právě velkých jazykových modelů. Jde hlavně o transparentnost: technickou dokumentaci k modelu, informace o schopnostech a rizicích, přehled o tréninkových datech a vyjádření k použití autorsky chráněného obsahu.
Sankce jsou nastavené vysoko. Za nejzávažnější porušení hrozí pokuta až 35 milionů eur nebo 7 procent celosvětového obratu. Za běžnější prohřešky typu nedostatečné dokumentace nebo neoznačeného výstupu je strop 15 milionů eur nebo 3 procenta obratu.
Pro běžnou českou firmu je podstatné rozlišit 2 role. Kdo model vyvíjí, je poskytovatel a dopadá na něj většina povinností. Kdo hotový model jen používá ve své aplikaci, je zavádějící subjekt a jeho povinnosti jsou mírnější. Typicky jde o povinnost dát najevo, že uživatel komunikuje se strojem, a o zajištění dohledu u rizikovějších použití.
Souběžně platí ochrana osobních údajů podle GDPR. Vložení osobních údajů zákazníka do promptu je jejich předáním zpracovateli se vším, co k tomu patří: potřebou právního titulu, smlouvy o zpracování a informování subjektu údajů. Praxe, kdy zaměstnanec zkopíruje zákaznická data do veřejného chatbota, je běžná a je to problém.
Nejčastější chyby
- Firma testuje model na třech příkladech – model, který zvládne tři ukázky, není ověřený. Bez sady aspoň 50 reálných případů a bez definice úspěchu se kvalita nedá posoudit ani porovnat mezi dvěma modely.
- Firma nemá srovnávací základ – když se změní model nebo prompt, není proti čemu měřit. Zhoršení se pak zjistí až ze stížností zákazníků, tedy s odstupem 2 až 3 týdnů.
- Firma posílá do kontextu všechno – velké okno svádí k lenosti při přípravě dat. Předání 500 stran místo 5 odstavců se platí penězi, latencí i horší přesností odpovědi.
- Firma zapomíná na cenu výstupu – rozpočet se počítá podle vstupu, ale dražší je výstup. Instrukce, aby model odpovídal stručně, má u milionu dotazů měsíčně měřitelný finanční dopad.
- Firma neřeší výpadky – externí služba občas nefunguje nebo omezí počet dotazů za minutu. Aplikace bez ošetřené chyby spadne s ní a zákazník uvidí prázdnou stránku místo odpovědi za 2 sekundy.
- Firma bere výstup jako fakt – sebejistý tón modelu nemá s pravdivostí nic společného; u čísel, jmen a webových adres se vyplatí ověřit 100 procent údajů.
Jak poznat, že LLM není správná odpověď
Ne každá úloha si žádá jazykový model. Nasazení modelu tam, kde nepatří, je dražší a horší než jednodušší řešení postavené na 20 řádcích kódu.
Pokud má úloha jednoznačně správný výsledek a jasná pravidla, patří do klasického kódu. Výpočet ceny, kontrola formátu rodného čísla nebo směrování podle hodnoty pole nepotřebují umělou inteligenci. Potřebují podmínku o 2 řádcích. Model tu přidá jen náklad, latenci a nejistotu.
Pokud je nutná stoprocentní spolehlivost bez lidské kontroly, LLM to nezaručí, protože pracuje s pravděpodobnostmi.
Kde naopak model vyniká, je práce s nejednoznačným textem: shrnutí, přeformulování, roztřídění volných odpovědí, vytažení údajů z nestrukturovaných dokumentů, převod mezi styly. To jsou úlohy, které se pravidly popisují mizerně a kde byl před rokem 2020 potřeba člověk.
Související pojmy
- Transformer – architektura neuronové sítě, kterou popsal tým Googlu v roce 2017 a na které stojí většina moderních LLM.
- Token – základní textová jednotka, se kterou model pracuje; ceníky se uvádějí za milion tokenů a čeština se na ně rozpadá hůř než angličtina.
- Prompt – zadání, které model dostává; určuje úkol i typ výstupu a v ChatGPT nebo Claude jde o text, který uživatel napíše.
- Kontextové okno – maximum tokenů, se kterými model pracuje v jednom kroku; u moderních modelů jde o stovky tisíc až milion tokenů.
- Fine-tuning – dodatečné dolaďování modelu na stovkách až tisících vlastních příkladů; mění styl a formát výstupu, ne znalosti.
- RAG – vyhledání relevantního úseku z firemních dat a jeho vložení do promptu; zdrojem zůstává znalostní báze firmy, takže se data dají přepsat za 5 minut bez nového tréninku.
- Halucinace – věrohodně znějící, ale nepravdivé tvrzení; nejčastěji jde o jména, letopočty, citace a adresy na webu, tedy o údaje, které RAG umí podložit.
- Machine learning – strojové učení, širší rámec, do kterého velké jazykové modely patří od roku 2017 jako větev hlubokého učení.
- Generativní AI – souhrnné označení pro modely, které tvoří nový obsah; LLM je její textová část.

