Kontextové okno je rozsah informací, se kterým může jazykový model pracovat v jednom okamžiku. Nejčastěji se vyjadřuje v počtu tokenů, tedy menších textových jednotek, ze kterých model skládá vstup i výstup. Do kontextového okna se zpravidla počítá uživatelský dotaz, předchozí relevantní části konverzace, systémové instrukce a také text, který model postupně vygeneruje v odpovědi. Pokud se nějaká informace do tohoto prostoru nevejde, model s ní v daném kroku už nepracuje a nemůže z ní přímo vycházet.

Na první pohled může kontextové okno působit jako technický detail, který zajímá hlavně vývojáře a lidi pracující s AI modely na hlubší úrovni. Ve skutečnosti ale přímo ovlivňuje, jak dobře si model poradí s dlouhým dokumentem, rozsáhlým zadáním, delší konverzací nebo složitým úkolem, který má více částí. Právě kontextové okno totiž určuje, kolik informací je model schopen mít najednou „před sebou“, když vytváří další odpověď.

Co kontextové okno v praxi skutečně znamená

Když člověk položí modelu otázku, nepředává mu jen jednu izolovanou větu.

V reálném provozu se spolu s ní často posílají i další informace – například předchozí zprávy, instrukce, části dokumentu, vyhledané podklady nebo jiný doprovodný obsah. Všechno toto dohromady tvoří kontext, ze kterého model vychází. Kontextové okno pak určuje, jak velký tento celek může být.

To je důležité proto, že model nepracuje s „celou historií všeho“, co kdy v konverzaci padlo, ale jen s tím, co je v aktuálním kroku skutečně uvnitř tohoto prostoru.

Pokud je rozhovor velmi dlouhý nebo je vstupní dokument příliš rozsáhlý, část starších informací se už do aktivního kontextu nemusí vejít. Model je pak nemá k dispozici stejně, jako kdyby je nikdy nedostal.

Proč se nemluví o slovech, ale o tokenech

Kontextové okno se obvykle neudává v počtu slov, ale v počtu tokenů.

To je důležité rozlišení, protože token není automaticky totéž co jedno slovo. Někdy může jeden token odpovídat krátkému slovu, jindy jen části delšího slova, číslu, interpunkci nebo jiné textové jednotce. Právě proto není možné jednoduše říct, že určitý počet tokenů znamená určitý počet vět nebo odstavců.

V praxi to znamená, že stejně dlouhý text může zabírat různě velkou část kontextového okna podle jazyka, stylu zápisu nebo typu obsahu. Běžný souvislý text, technická dokumentace, tabulka, zdrojový kód nebo právní smlouva se z pohledu tokenů nechovají stejně. I proto nestačí říct jen to, že model „umí dlouhý text“. Důležité je také to, jaký text má vlastně zpracovat.

Proč nestačí říct, že model má „paměť“

Kontextové okno se často laicky popisuje jako paměť modelu.

Toto přirovnání je užitečné, ale není úplně přesné. Nejde o paměť ve smyslu dlouhodobého ukládání informací, ale spíš o dočasný pracovní prostor. Model tedy nefunguje tak, že by si všechno z každé předchozí konverzace automaticky natrvalo pamatoval a kdykoli se k tomu vracel.

Přesnější je říct, že model při odpovědi vidí jen to, co mu bylo právě předloženo v aktuálním kontextu. Pokud aplikace do dalšího kroku nepřibalí starší část konverzace, její shrnutí nebo jiný doplňující podklad, model z ní už nemůže přímo vycházet. Právě proto se u delších AI nástrojů často pracuje se shrnováním starších částí chatu, výběrem relevantních pasáží nebo vyhledáváním v dokumentech místo toho, aby se vše neustále drželo v plném znění.

Co všechno se do kontextového okna počítá

Častou chybou je představa, že kontextové okno zabírá jen samotný dotaz uživatele.

Ve skutečnosti do něj obvykle vstupuje více vrstev obsahu. Kromě uživatelské zprávy to mohou být systémové pokyny, vývojářské instrukce, části předchozí konverzace, výsledky z nástrojů, vložené dokumenty, vyhledané pasáže nebo jiné pomocné vstupy.

A zároveň se do stejného prostoru obvykle počítá i samotná odpověď, kterou model právě generuje.

To znamená, že reálně použitelný prostor pro samotný dotaz bývá menší, než se může zdát podle jednoduchého marketingového čísla. Pokud má model například pracovat s dlouhou historií, složitým systémovým nastavením a ještě vygenerovat delší odpověď, část kapacity kontextového okna se spotřebuje ještě dřív, než se vůbec dostane k hlavnímu zadání.

Proč je velikost kontextového okna tak důležitá

Velikost kontextového okna zásadně ovlivňuje, jaké typy úloh lze řešit přímo a bez pomocných technik.

U krátkých dotazů nebo běžné konverzace tento limit člověk často ani nevnímá. Jakmile ale model dostane desítky stran textu, více dokumentů ke srovnání, dlouhý e-mailový thread, velké množství kódu nebo komplexní analytické zadání, začne velikost okna hrát velmi výraznou roli.

Čím větší kontextové okno model má, tím větší celek dokáže posoudit najednou.

To je výhodné například při práci se smlouvami, reporty, dlouhou dokumentací, auditními výstupy, výzkumnými materiály nebo více navazujícími zdroji. Zároveň ale neplatí, že větší okno samo o sobě automaticky znamená lepší výsledek. Pokud je vstup nepřehledný, plný balastu nebo špatně uspořádaný, model může i v rozsáhlém kontextu ztratit důležitou informaci nebo jí dát menší váhu, než by měl.

Proč delší kontext automaticky neřeší všechno

Je lákavé myslet si, že čím větší kontextové okno model má, tím lépe bude pracovat s dlouhými texty. V praxi je to složitější. Větší prostor sice umožňuje vložit více informací najednou, ale současně zvyšuje nároky na to, jak dobře jsou data uspořádaná a jak snadno z nich lze vytáhnout to podstatné. Dlouhý vstup může být přínosem, ale také může model zahltit méně důležitými pasážemi.

To je důvod, proč se v praxi často nepracuje jen s hrubou velikostí kontextu, ale i s jeho správou. Důležité je, co má v kontextu skutečně být, v jakém pořadí, v jaké podobě a zda není rozumnější část textu nejprve shrnout, rozdělit nebo vyhledat jen relevantní úseky. Dobrá práce s kontextem proto není jen otázkou limitu modelu, ale i otázkou struktury vstupu.

Jak souvisí kontextové okno s dlouhými dokumenty

U dlouhých dokumentů se omezení kontextového okna projevuje velmi prakticky.

Pokud se do modelu nevejde celý dokument, musí se text rozdělit na části, zkrátit nebo zpracovat po etapách. To je důležité například u smluv, směrnic, technických specifikací, knih, přepisů porad nebo rozsáhlých analýz. Model totiž nemůže kvalitně porovnávat něco, co současně vůbec nevidí.

Právě odtud vychází i různé techniky, jako je chunking, retrieval nebo průběžné shrnování. Jejich cílem není model „vylepšit“, ale chytře obejít omezení dané tím, kolik obsahu se do aktivního kontextu vejde v jednom kroku. Kontextové okno tedy není jen parametr v dokumentaci modelu. Přímo ovlivňuje, jak se musí navrhovat práce s delším obsahem.

Jak souvisí kontextové okno s kvalitou odpovědi

Kvalita odpovědi není daná jen tím, jak schopný model je, ale také tím, jak kvalitní a úplný kontext dostane. Pokud mu chybí důležitá část zadání, starší instrukce nebo klíčová pasáž z dokumentu, může odpovědět nepřesně i tehdy, když by jinak problém zvládl správně. Stejně tak může být problém i opačný – když dostane příliš mnoho textu bez priorit a struktury, může se hůř orientovat v tom, co je pro odpověď opravdu podstatné.

To je důvod, proč se při práci s jazykovými modely neřeší jen „co napsat do promptu“, ale i to, co všechno má model v daném okamžiku vůbec vidět. Kontextové okno je proto jedním z hlavních praktických limitů dnešních AI systémů. Neomezuje jen délku vstupu, ale i kontinuitu, přesnost, návaznost a schopnost pracovat s většími celky.

Kde jsou limity a co si lidé často vykládají chybně

Jedním z nejčastějších omylů je představa, že model s velkým kontextovým oknem automaticky „všechno udrží“ a vždy správně využije i velmi dlouhý vstup.

To ale neplatí.

Velké okno sice zvyšuje kapacitu, ale samo o sobě nezaručuje, že model správně pochopí strukturu dokumentu, všimne si jedné konkrétní věty uprostřed rozsáhlého textu nebo dá správnou prioritu důležitým informacím.

Dalším omylem je představa, že kontextové okno je totéž co znalost modelu.

Není.

Model může být obecně natrénovaný na určitém typu informací, ale při konkrétní odpovědi pracuje jen s tím, co má v aktivním kontextu.

Právě proto může někdy působit, že si „nepamatuje“, co zaznělo dříve, i když ve skutečnosti nejde o zapomínání v lidském smyslu, ale o prostý limit aktuálního vstupu.

Proč má smysl kontextovému oknu rozumět i mimo technické obory

Kontextové okno není důležité jen pro vývojáře modelů nebo technické týmy.

Dává smysl rozumět mu i pro marketéry, analytiky, copywritery, právníky, správce obsahu, manažery nebo kohokoli, kdo s AI pracuje nad delšími materiály. Právě tento pojem totiž vysvětluje, proč model někdy ztratí nit, proč přehlédne starší instrukci, proč si nevšimne části dokumentu nebo proč je někdy nutné dlouhé zadání rozdělit do více kroků.

Kdo chápe logiku kontextového okna, snáz pochopí i praktická pravidla práce s AI.

Například proč je lepší dlouhé úkoly strukturovat, proč má smysl důležité instrukce zopakovat, proč je někdy výhodnější text nejprve shrnout a teprve potom s ním dál pracovat a proč ne každé „dlouhé zadání v jednom promptu“ vede automaticky k lepší odpovědi.

Související pojmy

• Token – základní textová jednotka, ve které model zpracovává vstup i výstup. Právě v tokenech se kontextové okno obvykle měří, takže bez tohoto pojmu nedává jeho velikost plný smysl.
• Prompt – zadání nebo vstup, který model dostává. S kontextovým oknem přímo souvisí, protože právě prompt zabírá část prostoru, se kterým model v daném kroku pracuje.
• Transformer – architektura, na které stojí většina moderních jazykových modelů. Kontextové okno s ní úzce souvisí, protože určuje, jak velkou sekvenci vstupních informací model v jednom běhu zpracovává.
• Chunking – rozdělení dlouhého textu na menší části. Používá se právě tehdy, když je dokument příliš rozsáhlý a nevejde se celý do jednoho kontextového okna.
• Retrieval – způsob práce, při kterém se modelu neposílá vše, ale jen vybrané relevantní části obsahu. S kontextovým oknem souvisí proto, že pomáhá šetřit místo a udržet v aktivním kontextu jen to nejdůležitější.
• Pracovní paměť modelu – laické, ale užitečné přirovnání ke kontextovému oknu. Pomáhá pochopit, že nejde o dlouhodobou paměť, ale o dočasný prostor pro aktuální úlohu.