Explorace je princip, při kterém AI systém záměrně zkouší i možnosti, které zatím nemá dostatečně ověřené. Dělá to proto, aby nezůstal uvězněný u prvního řešení, které se zdá dobré, ale ve skutečnosti nemusí být nejlepší.

Nejčastěji se o exploraci mluví ve zpětnovazebním učení, anglicky reinforcement learning. To je oblast strojového učení, ve které se systém neučí jen z připravených příkladů se správnou odpovědí. Učí se tím, že provádí akce, dostává za ně zpětnou vazbu a podle výsledku postupně mění své chování.

Typicky si můžete představit agenta, který se učí hrát hru, robota, který se učí uchopit předmět, reklamní systém, který vybírá nejvhodnější kreativu, nebo doporučovací algoritmus, který rozhoduje, jaký produkt, článek nebo video uživateli nabídne. Ve všech těchto případech systém řeší stejnou otázku: má použít možnost, která podle dosavadních dat fungovala nejlépe, nebo má dát prostor i méně jisté variantě, o které zatím nemá dost informací?

Co explorace znamená

Explorace neznamená, že systém náhodně zkouší cokoliv. To by bylo nebezpečné, drahé a ve většině praktických systémů nepoužitelné. Správně nastavená explorace znamená, že systém dává omezený prostor možnostem, které zatím nejsou dostatečně ověřené, ale dávají logický smysl.

Představte si e-shop, který zákazníkovi doporučuje produkty. Zákazník si několikrát prohlédne běžecké boty. Algoritmus si z toho odvodí, že ho zajímá běh, a začne mu doporučovat další běžeckou obuv. To je rozumné. Systém využívá informaci, kterou už má.

Jenže zákazník možná nehledá jen boty. Může se chystat na závod a kromě bot potřebuje také sportovní hodinky, funkční tričko, běžeckou ledvinku nebo výživu. Pokud mu systém bude stále ukazovat pouze další boty, nikdy nezjistí, že by mohl reagovat i na související sortiment.

Explorace v takové situaci znamená, že systém malou část doporučení použije k ověření blízkých možností. Nezačne mu náhodně nabízet zahradní gril nebo kancelářskou židli. Zkusí něco, co souvisí s dosavadním zájmem, ale rozšiřuje ho.

V tom je podstata explorace: systém nezkouší bezhlavě. Zkouší tam, kde může získat novou informaci, která mu pomůže rozhodovat lépe.

Explorace a exploatace

Explorace se vždy řeší společně s exploatací. V angličtině se používá dvojice exploration a exploitation. Český výraz exploatace může znít trochu tvrdě, ale v tomto technickém významu nejde o nic negativního. Znamená prostě využití toho, co už se osvědčilo.

• Explorace – systém zkouší novou nebo méně ověřenou možnost, aby získal další informace. Například nabídne malé části uživatelů nový typ doporučení, otestuje jinou reklamní kreativu nebo v simulaci zkusí nový pohyb robota.
• Exploatace – systém využívá možnost, která podle dosavadních dat vychází nejlépe. Například zobrazí reklamu s nejvyšší dosavadní konverzní mírou nebo doporučí produkt, u kterého je nejvyšší pravděpodobnost nákupu.

Kdyby systém pouze exploroval, choval by se nestabilně. Zbytečně by zkoušel příliš mnoho slabých variant a nevyužíval by poznatky, které už má. Kdyby naopak pouze exploatoval, rychle by se upnul na první funkční řešení a přestal by hledat, jestli existuje lepší.

Dobré rozhodování proto stojí na rovnováze. Většinu času má systém využívat to, co se prokazatelně osvědčilo. Zároveň si ale musí ponechat rozumně omezený prostor na ověřování nových možností.

Proč nestačí držet se jen toho, co zatím fungovalo

V jednoduchém a neměnném prostředí by stačilo najít nejlepší možnost a tu potom používat pořád. Jenže reálné prostředí se mění. Uživatelé mění chování, trh se posouvá, sezóna ovlivňuje poptávku, reklamní sdělení se časem okouká, nové produkty nemají historická data a podvodníci se učí obcházet stará pravidla.

Pokud systém nikdy netestuje nic nového, začne se učit pouze z úzkého výseku reality. Posiluje to, co už zná, a vytlačuje možnosti, které zatím nedostaly prostor. To může vypadat efektivně, ale ve skutečnosti to omezuje poznání systému.

U doporučovacího systému to může znamenat, že nové filmy, produkty nebo články se k uživatelům skoro nedostanou. Ne proto, že by byly špatné, ale proto, že nemají historii kliknutí, nákupů nebo zhlédnutí. Algoritmus je proto považuje za nejisté a raději ukazuje starší položky, u kterých už má data.

Explorace tento problém řeší. Dává novým nebo méně ověřeným možnostem kontrolovanou šanci. Díky tomu systém zjistí, jestli jsou opravdu slabé, nebo jen dosud neměly možnost nasbírat data.

Konkrétní příklad z online reklamy

U reklamního systému je explorace velmi dobře vidět. Máte několik reklamních textů a bannerů. Jeden banner začne po prvních dnech vycházet nejlépe. Má nejvyšší proklikovost nebo nejnižší cenu za konverzi.

Pokud by systém okamžitě přesunul celý rozpočet jen do této varianty, může to krátkodobě vypadat jako správné rozhodnutí. Jenže první výsledky mohou být zkreslené. Varianta mohla náhodou dostat lepší publikum. Mohla fungovat jen u jedné skupiny uživatelů. Nebo může po několika dnech ztratit výkon, protože se lidem začne opakovat.

Rozumně nastavená explorace proto nechá vítězné variantě většinu prostoru, ale malou část rozpočtu ponechá i pro další testování. Tím systém ověřuje, jestli některá jiná kreativa nefunguje lépe pro jiný segment, jiné zařízení, jiné umístění nebo jinou fázi rozhodování zákazníka.

• Bez explorace – systém se příliš rychle upne na první úspěšnou variantu a ostatní varianty nedostanou dost dat.
• S rozumnou explorací – hlavní část rozpočtu jde do osvědčené varianty, ale menší část se používá na další ověřování.
• S přehnanou explorací – systém příliš často ukazuje slabé varianty a zhoršuje výkon kampaně.

V marketingu tedy explorace není teoretický pojem. Je to princip, který rozhoduje o tom, zda systém jen těží z prvního úspěchu, nebo průběžně hledá lepší nastavení.

Konkrétní příklad z doporučování obsahu

Doporučovací systém u streamovací služby rychle zjistí, že uživatel sleduje krimi seriály. Pokud bude používat pouze dosavadní znalost, začne mu doporučovat hlavně další krimi seriály. Uživatel na některé klikne, systém si tím potvrdí původní odhad a doporučení se dál zužují.

Tak vzniká uzavřená smyčka. Systém ukazuje jen úzký typ obsahu, uživatel reaguje jen na to, co vidí, a algoritmus z toho usuzuje, že nic jiného nechce.

Explorace tuto smyčku narušuje. Systém může občas nabídnout obsah, který je blízko dosavadnímu zájmu, ale není totožný. Například dokumentární krimi, psychologický thriller nebo investigativní pořad. Nejde o náhodný výstřel. Jde o ověření, zda je zájem uživatele širší, než ukazují jeho předchozí kliknutí.

• Pro uživatele – dostane šanci objevit obsah, který by mu systém jinak nikdy neukázal.
• Pro platformu – získá přesnější představu o tom, co uživatele zajímá.
• Pro nový obsah – nové pořady nebo články nejsou znevýhodněné jen proto, že ještě nemají historii.
• Pro kvalitu doporučení – systém se neučí pouze z vlastních předchozích doporučení.

Dobrá explorace v doporučovacím systému ale musí být citlivá. Pokud systém začne ukazovat příliš vzdálený obsah, uživatel ztratí důvěru. Cílem není překvapit za každou cenu. Cílem je rozumně rozšířit prostor možností.

Konkrétní příklad z robotiky

U robota je explorace ještě názornější. Robot se má naučit uchopit předmět. Na začátku neví, jaký úhel, tlak nebo pohyb ruky povede k úspěchu. Musí zkoušet různé varianty a podle výsledků upravovat další pokusy.

V simulaci může robot provést tisíce pokusů. Některé skončí neúspěchem, jiné se přiblíží cíli a některé povedou k dobrému uchopení. Z těchto pokusů systém postupně poznává, které pohyby mají smysl.

V reálném světě je ale situace jiná. Robot nemůže bez omezení zkoušet prudké pohyby vedle člověka nebo drahého zařízení. Chyba už není jen číslo v tréninkovém prostředí. Může něco rozbít nebo někoho ohrozit.

Proto se explorace v robotice často nejdříve odehrává v simulaci. Do reálného provozu se přenáší až strategie, která prošla testováním a má jasně nastavené bezpečnostní limity.

Kde se explorace používá

Explorace se používá tam, kde systém opakovaně rozhoduje, dostává zpětnou vazbu a může podle ní zlepšovat své další kroky. Nejde jen o akademické příklady s hrami nebo roboty. Stejný princip najdete i v běžných digitálních produktech.

• Doporučovací systémy – například u filmů, produktů, článků nebo hudby. Explorace pomáhá ověřovat, zda uživatel nemá širší zájem, než ukazují jeho dosavadní interakce.
• Online reklama – systém testuje nové kreativy, texty, cílení nebo umístění, aby se příliš rychle nezafixoval na první variantu, která vyšla dobře.
• E-shopy – explorace se může objevit při řazení produktů, doporučování doplňků, personalizaci kategorií nebo testování pobídek k nákupu.
• Hry – agent zkouší tahy nebo strategie, které nemusí přinést okamžitý zisk, ale mohou být důležité pro pozdější výsledek.
• Robotika – robot se učí pohyb, navigaci nebo manipulaci s předměty. Kvůli bezpečnosti se většina pokusů často provádí v simulaci.
• Detekce podvodů – systémy proti podvodům musí ověřovat nové vzory chování, protože útočníci se přizpůsobují starým pravidlům.
• Zákaznická podpora – AI může porovnávat různé návrhy odpovědí nebo doporučení článků z nápovědy, ale u citlivých případů musí zůstat kontrola na člověku.
• RAG systémy – při vývoji se testují různé způsoby vyhledávání, chunkování, embeddingů a řazení dokumentů, aby model dostával přesnější podklady.
• AI agenti – agent může hledat různé cesty k vyřešení úkolu, ale pouze v rámci povolených nástrojů, oprávnění a kontrol.

Explorace u RAG systémů

U RAG systémů má explorace trochu jiný význam než u robota nebo herního agenta. RAG systém odpovídá na základě vyhledaných dokumentů. Kvalita odpovědi proto často závisí na tom, jestli systém našel správné podklady.

Když RAG systém odpoví špatně, nemusí být problém v samotném jazykovém modelu. Model mohl dostat špatný kontext. Mohl najít příliš obecný dokument, vybrat špatný odstavec nebo opomenout přesnější zdroj.

Explorace při vývoji RAG systému proto znamená testování různých cest, jak se k lepším podkladům dostat. Nejde o náhodné zkoušení v ostrém provozu. Jde o řízené porovnávání variant na sadě dotazů, u kterých víme, jaký výsledek má systém najít.

• Jiné chunkování – testuje se, zda je lepší dělit dokumenty po kratších odstavcích, delších sekcích nebo podle logických nadpisů.
• Jiný způsob vyhledávání – porovnává se fulltextové vyhledávání, vektorové vyhledávání a hybridní přístup.
• Jiný embedding model – ověřuje se, který model lépe zachytí význam českých dotazů, odborných pojmů nebo firemních dokumentů.
• Reranking výsledků – systém nejdřív najde více kandidátních dokumentů a potom je dodatečně seřadí podle relevance.
• Jiný prompt pro práci se zdroji – testuje se, zda model lépe odpovídá, když má jasně dané, že nesmí odpovídat mimo dodané zdroje.

Smyslem takové explorace není „zkoušet pro zkoušení“. Smyslem je zjistit, které nastavení vede k odpovědím, které jsou přesnější, lépe podložené a méně náchylné k halucinacím.

Explorace a embeddingy

Embedding je číselná reprezentace textu, dokumentu, obrázku nebo jiného obsahu. Díky embeddingům lze porovnávat významovou podobnost. Používají se například ve vyhledávání, doporučování, třídění dokumentů nebo RAG systémech.

Explorace se zde objevuje při hledání lepší reprezentace. Tým může zjistit, že současný embedding model sice funguje technicky správně, ale vrací příliš obecné nebo nepřesné výsledky.

Představte si interní znalostní bázi. Uživatel se zeptá: „Jak mám reklamovat rozbitý výrobek?“ Systém mu ale vrátí obecný dokument o obchodních podmínkách, protože obsahuje slovo „reklamace“. Přesnější odpověď je přitom v samostatném článku s konkrétním postupem.

V takové situaci dává smysl testovat:

• jiný embedding model – zda lépe pracuje s češtinou, odbornými termíny nebo typickými dotazy uživatelů,
• jinou velikost chunků – zda systém nevrací příliš široký nebo příliš úzký kontext,
• jinou metriku podobnosti – zda lépe řadí výsledky podle skutečné relevance,
• hybridní vyhledávání – kombinaci významového vyhledávání s klasickým hledáním podle slov,
• ruční testovací sadu – soubor dotazů, u kterých člověk ví, jaký dokument má systém správně najít.

Tady je důležité říct, proč se to celé řeší: ne proto, že by embeddingy byly samy o sobě zajímavé, ale proto, že špatná reprezentace vede ke špatným podkladům a tím i ke špatným odpovědím.

Explorace a prompt engineering

Prompt engineering je práce se zadáním pro jazykový model. S klasickou explorací ve zpětnovazebním učení není totožný, ale podobný princip se zde objevuje při vývoji a testování promptů.

Když upravujete prompt, nehledáte „hezčí formulaci“. Hledáte zadání, které model spolehlivě dovede ke správnému typu výstupu. To je důležité hlavně tam, kde má výstup přesný formát, odborný obsah nebo redakční styl.

Například chcete, aby model vytvořil článek pro WordPress. Nestačí napsat „napiš článek“. Musíte určit, zda má být výstup v HTML, zda má používat odstavce, nadpisy, odrážky, interní odkazy, zdroje, jak má vysvětlovat pojmy a čemu se má vyhnout.

Při testování promptů se proto porovnávají konkrétní věci:

• Pořadí instrukcí – někdy model lépe dodrží pravidla, když jsou uvedena před vstupním textem. Jindy pomůže dát nejdřív kontext a až potom přesné požadavky na výstup.
• Formát výstupu – jiný prompt je potřeba pro HTML článek, jiný pro tabulku, jiný pro JSON a jiný pro běžný redakční text.
• Míra detailu – příliš stručné zadání vede k obecným odpovědím. Příliš dlouhé zadání může model zahltit nebo odvést pozornost od hlavního cíle.
• Ukázka požadovaného stylu – pokud model dostane konkrétní příklad, snáze pochopí tón, strukturu a úroveň detailu.
• Omezení – u redakční práce je často nutné výslovně říct, co model nesmí zkracovat, domýšlet, zjednodušovat nebo formátovat jinak.

Smyslem tohoto testování není donekonečna přepisovat prompt. Cílem je najít zadání, které opakovaně vede k použitelnému výstupu. Jakmile takové zadání existuje, mělo by se uložit, verzovat a používat konzistentně.

Explorace a A/B testování

Explorace má blízko k A/B testování. V obou případech porovnáváte více možností a sledujete, která vede k lepšímu výsledku. Rozdíl je v tom, že explorace v adaptivním systému může měnit poměr testovaných možností průběžně.

U klasického A/B testu předem rozdělíte návštěvnost mezi varianty, necháte test běžet a potom ho vyhodnotíte. U adaptivního systému může varianta, která vychází lépe, postupně dostávat větší prostor. Systém si ale stále nechává menší část provozu na ověřování dalších možností.

• A/B test – předem navržený experiment s jasně danými variantami.
• Adaptivní explorace – průběžné přerozdělování prostoru podle toho, co systém zjišťuje.
• Riziko – pokud se sleduje špatná metrika, systém může zlepšovat číslo v reportu, ale zhoršovat skutečný výsledek.

Typický problém je optimalizace na kliknutí. Reklama může mít vysoký proklik, protože používá agresivní nebo přehnaný slib. Pokud ale nepřináší objednávky, kvalitní návštěvnost ani důvěru, není to dobrý výsledek. Explorace proto musí testovat možnosti proti správnému cíli.

Explorace a špatně nastavená odměna

Ve zpětnovazebním učení je odměna zásadní. Agent se učí dělat to, za co dostává odměnu. Pokud je odměna nastavená špatně, systém může najít chování, které vypadá úspěšně podle metriky, ale neplní skutečný záměr.

Příklad z reklamního systému:

• Špatně nastavený cíl – systém dostává odměnu hlavně za kliknutí.
• Možné chování – začne zvýhodňovat přehnané titulky, agresivní sdělení nebo clickbait.
• Skutečný problém – kliknutí rostou, ale objednávky, kvalita návštěvnosti a důvěra klesají.

Explorace takový problém může urychlit. Systém aktivně hledá, co zvýší odměnu. Pokud objeví zkratku, která zlepší metriku, ale mine skutečný cíl, začne ji používat.

Řídké odměny – když se výsledek ukáže až později

Řídká odměna znamená, že systém dostane zpětnou vazbu až po delší době nebo jen výjimečně. To je pro učení složité, protože agent dlouho neví, zda jeho kroky vedly správným směrem.

Představte si hru, ve které agent dostane odměnu až na konci dlouhé úrovně. Musí najít klíč, otevřít bránu, vyhnout se překážkám a dojít do cíle. Pokud selže až na konci, je těžké určit, který krok byl špatně. Pokud odměnu nedostane vůbec, neví ani to, zda byl některý mezikrok užitečný.

Podobný problém existuje i v běžných systémech:

• E-shop – doporučení může ovlivnit nákup, ale zákazník objedná až za několik dní.
• Zákaznická podpora – odpověď může vypadat užitečně, ale skutečná spokojenost se ukáže až podle další komunikace nebo hodnocení.
• Robotika – jeden pohyb může být správný mezikrok, i když se celý úkol nakonec nepodaří.
• Marketing – uživatel klikne dnes, ale objedná později přes jiný kanál.

Čím později přichází odměna, tím obtížnější je poznat, které pokusy měly smysl. Proto se u takových úloh musí explorace navrhovat opatrněji než tam, kde je zpětná vazba okamžitá.

Základní strategie explorace

Explorace se dá řešit různě. Některé metody jsou jednoduché, jiné matematicky složitější. Pro běžné vysvětlení je důležité hlavně pochopit, jaký problém řeší: systém musí dát šanci i možnostem, o kterých zatím neví dost, ale nesmí kvůli tomu zahodit to, co už se osvědčilo.

• Epsilon-greedy – systém většinu času vybere nejlepší známou akci, ale v malé části případů zkusí něco jiného. Například v 90 % případů zobrazí nejlepší reklamu a v 10 % případů testuje další varianty.
• Postupné snižování explorace – na začátku systém zkouší více, protože toho ví málo. Později zkouší méně, protože už má víc dat. Tento přístup funguje hlavně ve stabilním prostředí.
• Optimismus při nejistotě – možnosti, o kterých systém ví málo, dostanou dočasně větší šanci. Ne proto, že jsou určitě lepší, ale proto, že bez vyzkoušení to nejde zjistit.
• Upper Confidence Bound – metoda, která bere v úvahu dosavadní výsledek i míru nejistoty. Akce může být zajímavá nejen proto, že už fungovala, ale také proto, že o ní systém zatím nemá dost informací.
• Thompson sampling – pravděpodobnostní přístup, který dává prostor variantám podle toho, jaká je šance, že jsou skutečně nejlepší. Často se používá u bandit problémů a adaptivních experimentů.
• Vnitřní motivace – agent je odměňován také za objevování nových nebo informačně hodnotných stavů, nejen za hlavní externí odměnu.

Vzorce nejsou pro základní pochopení nutné. Podstatné je, že explorace není náhoda bez pravidel. Je to mechanismus, který systému umožňuje získat data o možnostech, které by jinak zůstaly neprověřené.

Kdy explorace pomáhá

Explorace je užitečná hlavně tam, kde systém nemá dost informací a kde nová zkušenost může zlepšit budoucí rozhodování.

• Na začátku učení – agent zatím neví, které akce fungují, a potřebuje nasbírat první zkušenosti.
• U nových produktů nebo nového obsahu – nové položky nemají historii, takže bez explorace by se k uživatelům nemusely dostat.
• Při změně prostředí – sezóna, trh, produkt nebo chování uživatelů se může změnit a stará data už nemusí stačit.
• U dlouhodobé optimalizace – okamžitě nejlepší volba nemusí být nejlepší z pohledu delšího období.
• U složitých úloh – pokud existuje mnoho stavů a akcí, nelze všechno ručně vyzkoušet dopředu.

Kdy je explorace riziková

Explorace může být nebezpečná tam, kde špatná akce způsobí škodu. V takovém prostředí nestačí říct, že se systém učí. Musí být jasné, co smí zkoušet, na kom to zkouší a kdo za výsledek odpovídá.

• Zdravotnictví – systém nemůže experimentovat s doporučením léčby na reálných pacientech bez přísné kontroly.
• Finance – úvěrový nebo investiční systém nesmí náhodně testovat rizikové postupy na lidech nebo penězích.
• Robotika – robot nesmí v reálném prostoru bez omezení zkoušet pohyby, které mohou poškodit zařízení nebo ohrozit člověka.
• AI agenti – agent nesmí bez schválení mazat data, posílat e-maily, měnit CRM nebo spouštět nevratné akce.
• Zákaznická komunikace – systém nemá testovat neověřené odpovědi u právních, zdravotních, reklamačních nebo jinak citlivých témat.

V rizikových systémech se explorace přesouvá do simulace, sandboxu, offline testování nebo malého kontrolovaného provozu. V ostrém nasazení musí mít jasné mantinely.

Explorace a drift

Drift znamená, že se data, chování uživatelů nebo vztahy v systému mění v čase. Strategie, která fungovala dříve, nemusí fungovat stejně dobře dnes.

Explorace pomáhá ověřovat, zda se prostředí neposunulo. Neznamená to, že systém má pořád chaoticky zkoušet všechno. Znamená to, že si má ponechat rozumný prostor pro testování nových možností, zvlášť pokud se mění okolnosti.

• Změna sezóny – uživatelé začnou nakupovat jiné produkty než před měsícem.
• Změna trhu – objeví se nový konkurent, jiná cenová hladina nebo nový typ nabídky.
• Změna chování zákazníků – staré segmenty přestanou odpovídat realitě.
• Změna podvodných taktik – fraud systém nemůže spoléhat jen na historické vzory.
• Změna dotazů v RAG systému – uživatelé se ptají jinak, než pro co byl systém původně testovaný.

Bez průběžného ověřování může systém působit stabilně, ale postupně zastarávat.

Explorace u velkých jazykových modelů

U velkých jazykových modelů je potřeba pojem explorace používat opatrně. Chatbot v ostrém provozu nemá náhodně zkoušet neověřené odpovědi na uživateli. To by nebyla užitečná explorace, ale rizikové chování.

U jazykových modelů se explorace objevuje hlavně ve vývoji, testování a ladění. Tým zkouší různé způsoby, jak systém nastavit, aby odpovídal přesněji, bezpečněji a stabilněji.

• Testování promptů – porovnávají se různé formulace zadání, aby model lépe dodržoval požadovaný styl, rozsah a strukturu.
• Testování modelů – hodnotí se kvalita, cena, rychlost, bezpečnost a spolehlivost různých modelů.
• Testování RAG nastavení – ověřuje se, které zdroje, chunky a retrieval strategie vedou k lepším odpovědím.
• Lidské hodnocení výstupů – lidé porovnávají odpovědi a rozhodují, která je přesnější, užitečnější nebo bezpečnější.
• Red teaming – systém se záměrně testuje na okrajové, rizikové nebo útočné scénáře.

V produkci má být výsledek už řízený. Experimentování má probíhat kontrolovaně, měřitelně a s jasnou odpovědností.

Explorace a AI agenti

AI agent není jen model, který odpovídá na otázky. Může plánovat kroky, používat nástroje, pracovat s dokumenty, zapisovat do systémů nebo spouštět akce.

Právě proto je explorace u agentů citlivá. Pokud agent pouze navrhne několik možných postupů, riziko je nízké. Pokud ale začne volat nástroje, měnit data nebo komunikovat navenek, už nejde o nezávazné zkoušení.

• Návrh více postupů – bezpečné, pokud agent nic sám neprovede.
• Testování dotazů nad dokumenty – přijatelné, pokud má správná oprávnění a nepřekračuje přístupová práva.
• Volání nástrojů – musí být omezené, logované a kontrolovatelné.
• Změna záznamů v systému – u citlivých akcí má být lidské schválení.
• Odeslání zprávy zákazníkovi – u rizikových případů má člověk zkontrolovat výstup před odesláním.

Bezpečná explorace

Bezpečná explorace znamená, že systém může zkoušet nové možnosti pouze v mezích, kde chyba nezpůsobí nepřijatelnou škodu. To je důležité hlavně u systémů, které pracují s penězi, osobními údaji, zdravím, právními dopady nebo externí komunikací.

• Sandbox – model nebo agent testuje chování v odděleném prostředí, ne nad produkčními daty.
• Simulace – robot nebo agent se učí v modelovaném prostředí, kde chyba nepoškodí reálný svět.
• Malý provozní vzorek – nová varianta se ukáže jen malé části uživatelů.
• Omezený prostor akcí – systém může zkoušet jen předem povolené a vratné kroky.
• Lidské schválení – citlivé rozhodnutí nebo akce se neprovedou bez člověka.
• Monitoring vedlejších dopadů – nesleduje se jen hlavní metrika, ale také stížnosti, kvalita, chybovost nebo zásahy operátorů.
• Možnost návratu – pokud se experiment zhorší, musí jít rychle vypnout nebo vrátit.

Časté chyby při exploraci

• Špatně zvolená odměna – systém optimalizuje snadno měřitelnou metriku, ale ne skutečný cíl. Typicky kliknutí místo objednávky, spokojenosti nebo kvality.
• Nulová explorace – systém se zasekne u první funkční varianty a nové možnosti nikdy nedostanou prostor.
• Příliš agresivní explorace – uživatelé vidí příliš mnoho slabých nebo nesouvisejících variant a důvěra v systém klesá.
• Testování bez segmentace – varianta může být slabá celkově, ale velmi dobrá pro konkrétní skupinu uživatelů.
• Ignorování nákladů – explorace může stát peníze, čas, reputaci, výkon kampaně nebo bezpečnost.
• Záměna simulace za realitu – strategie fungující v simulaci nemusí fungovat ve skutečném provozu.
• Nedokumentované experimenty – po čase nikdo neví, co se testovalo, proč a s jakým výsledkem.
• Chybějící možnost zásahu – systém zkouší nové chování, ale tým nemá jasný způsob, jak experiment zastavit.

Jak poznat dobře nastavenou exploraci

Dobře nastavená explorace je konkrétní, omezená a měřitelná. Nejde o vágní tvrzení, že se systém „nějak učí“. Musí být jasné, co se testuje, proč se to testuje a podle čeho se rozhodne, zda test pomohl.

• Je jasné, co se testuje – konkrétní doporučení, reklama, prompt, retrieval strategie nebo postup agenta.
• Je jasné, proč se to testuje – chybí data, mění se prostředí nebo existuje rozumné podezření na lepší variantu.
• Je omezené riziko – systém netestuje citlivé nebo nevratné akce bez kontroly.
• Měří se více metrik – nejen kliknutí, ale také konverze, kvalita, stížnosti, vrácení zboží, zásah člověka nebo dlouhodobý dopad.
• Výsledek vede k rozhodnutí – explorace není samoúčelná, ale má určit, co se má dál používat, upravit nebo vypnout.
• Experiment lze zastavit – pokud se chování zhorší, musí být možné rychle zasáhnout.

Jak si exploraci představit jednoduše

Exploraci si můžete představit jako hledání lepší cesty. Pokud každý den chodíte do práce stejnou trasou, víte, co čekat. Trasa je známá a bezpečná. Nemusí ale být nejrychlejší ani nejspolehlivější.

Když jednou vyzkoušíte jinou cestu, podstupujete malé riziko. Možná dorazíte později. Možná ale najdete trasu, která je lepší. Rozumný člověk ji nebude testovat v den důležité schůzky, ale ve chvíli, kdy případné zdržení nevadí.

Stejné je to u AI. Explorace má smysl, pokud je řízená, měřená a probíhá v prostředí, kde případná chyba nezpůsobí nepřijatelnou škodu.

Související pojmy

• Strojové učení – širší oblast AI, ve které se modely učí z dat, zkušenosti nebo zpětné vazby.
• Zpětnovazební učení – typ učení, ve kterém agent provádí akce, dostává odměny a postupně zlepšuje strategii.
• Exploatace – využití nejlepší známé možnosti podle dosavadních dat.
• Agent – systém, který se rozhoduje, provádí akce a reaguje na výsledek.
• Reward (odměna) – signál, podle kterého agent poznává, zda jeho chování vedlo k žádoucímu výsledku.
• Politika – strategie, podle které agent vybírá akce v konkrétních stavech.
• Reward hacking – situace, kdy systém najde způsob, jak zvýšit odměnu, ale mine skutečný cíl.
• Drift – změna dat nebo vztahů v čase, kvůli které stará strategie nemusí fungovat stejně dobře.
• Anomálie – neobvyklé pozorování nebo vzor, který může ukazovat na chybu, riziko nebo příležitost.
• Velký jazykový model (LLM) – model pracující s jazykem, u kterého se explorace objevuje hlavně při vývoji, testování a ladění chování.
• Prompt engineering – práce se zadáním pro jazykový model. Testování různých promptů je praktická forma hledání lepšího postupu.
• RAG – architektura, která kombinuje vyhledání relevantních informací s generováním odpovědi.
• Retrieval – vyhledání relevantních informací, které se použijí jako podklad pro odpověď modelu.
• Chunking – rozdělení dlouhého obsahu na menší části, se kterými může AI systém lépe pracovat.
• Embedding – číselná reprezentace obsahu, která umožňuje porovnávat významovou podobnost.
• Deep learning – hluboké učení založené na vícevrstvých neuronových sítích.
• Redukce dimenzionality – zjednodušení dat s mnoha rozměry, užitečné například při analýze stavů, embeddingů nebo chování agenta.
• Multimodální modely – modely pracující s více typy vstupů, například textem, obrázky, zvukem nebo dokumenty.
• Neuronová síť – model složený z propojených vrstev, který se během tréninku učí měnit své parametry.
• Gradientní sestup – optimalizační metoda, která pomáhá modelu postupně snižovat chybu během tréninku.

Zdroje a další čtení

• Reinforcement Learning: An Introduction – web.stanford.edu – červen 2026 – základní učebnice zpětnovazebního učení, která vysvětluje agenta, prostředí, odměnu a problém explorace proti exploataci.
• Part 1: Key Concepts in RL – spinningup.openai.com – červen 2026 – úvod OpenAI k pojmům reinforcement learningu, včetně agenta, prostředí, odměny, politiky a návratnosti.
• Spinning Up in Deep RL – spinningup.openai.com – červen 2026 – vzdělávací materiál OpenAI k hlubokému zpětnovazebnímu učení a základním oblastem deep RL.
• CS234: Reinforcement Learning – web.stanford.edu – červen 2026 – kurz Stanfordu ke zpětnovazebnímu učení, kde mezi hlavní témata patří také problém explorace a exploatace.
• Deep Reinforcement Learning Course – huggingface.co – červen 2026 – prakticky vedený kurz k hlubokému zpětnovazebnímu učení.
• Exploration Strategies in Deep Reinforcement Learning – lilianweng.github.io – červen 2026 – detailnější přehled strategií explorace v hlubokém zpětnovazebním učení.
• A Survey of Exploration Methods in Reinforcement Learning – arxiv.org – červen 2026 – odborný přehled metod explorace ve zpětnovazebním učení.