Search
Generic filters
Exact matches only
Filter by Custom Post Type
Zkuste vyhledat např.   Gramatika, Čeština, Pravopis

Drift

Hello 0

Drift je ve strojovém učení označení pro situaci, kdy se model začne rozcházet s realitou, protože se mezitím změnila data, chování uživatelů, prostředí nebo samotný vztah mezi vstupy a výsledkem. Model tedy nemusí být špatně natrénovaný. Mohl fungovat dobře ve chvíli nasazení, ale postupem času přestane být stejně spolehlivý, protože svět, na kterém byl postavený, už nevypadá stejně jako dřív.

Na driftu je dobře vidět jeden důležitý problém praktické AI. Model totiž nikdy neběží ve vzduchoprázdnu. Vždycky běží v nějakém provozu – v e-shopu, v reklamním systému, ve scoringu, v doporučování, v detekci podvodů nebo třeba v plánování poptávky. A právě tento provoz se v čase mění.

To, co fungovalo včera, nemusí fungovat stejně dobře za měsíc. Ne proto, že by se model „pokazil“, ale proto, že se změnily podmínky, ve kterých rozhoduje.

Právě tomu se říká drift.

Drift znamená, že model byl naučený na určité verzi reality, ale realita se mezitím posunula/změnila. Čím větší je rozdíl mezi tím, co model znal při tréninku, a tím, co potkává v provozu, tím větší je riziko, že jeho výstupy přestanou být spolehlivé.

Co drift znamená úplně jednoduše

Nejjednodušší je představit si model jako systém, který se učí z minulosti.

Jenže produkční svět není zmrazený snímek. Zákazníci mění chování, mění se ceny, produkty, sezóna, reklamní kanály, ekonomická situace i to, jak lidé reagují na nabídku. Model pořád počítá podle toho, co se naučil. Jenže mezitím se změnily okolnosti, ve kterých má být jeho logika užitečná.

Představte si například model, který předpovídá pravděpodobnost nákupu. Při tréninku se učil na datech z období, kdy většina návštěvnosti chodila z vyhledávání a zákazníci reagovali na určité typy produktů i určitý cenový rámec. Pak se ale změní reklamní mix, část trafficu přijde ze sociálních sítí, uživatelé začnou častěji nakupovat z mobilu a do hry vstoupí nová cenová citlivost. Model stále běží, ale už běží nad světem, který se od jeho původního tréninku posunul.

A právě v tom je drift.

Proč drift vzniká

Drift většinou nevzniká jako technická chyba. Není to typ problému, který by se dal jednoduše svést na jeden špatný řádek v kódu. Je to spíš důsledek toho, že reálné prostředí není stabilní.

Důvodů může být hodně:

  • změní se chování zákazníků nebo uživatelů,
  • firma upraví produkt, pricing nebo způsob akvizice,
  • přijde nová sezóna nebo nová konkurence,
  • změní se zdroj dat nebo způsob jejich sběru,
  • začne fungovat jiná obchodní logika než dřív,
  • nebo se promění i samotný význam cíle, který model předpovídá.

Právě proto je drift v praxi běžný. U modelů, které běží delší dobu v reálném provozu, je to spíš očekávaný jev než výjimka.

Model se nezhoršuje sám od sebe. Zhoršuje se proto, že svět, na který byl nastavený, se mezitím změnil. Drift je tedy problém souladu mezi modelem a aktuální realitou.

Ne každý drift znamená totéž

Právě u driftu se často směšuje několik různých situací dohromady. V běžné řeči se to shrne jedním slovem, ale technicky je užitečné je odlišit.

Nejčastěji se mluví hlavně o těchto typech:

  • data drift – změní se vstupní data, která do modelu přicházejí,
  • concept drift – změní se vztah mezi vstupy a tím, co chce model předpovědět,
  • model drift – širší provozní označení pro stav, kdy model v čase ztrácí výkon nebo spolehlivost.

Tohle rozlišení má smysl hlavně proto, že ne každý problém řešíte stejně. Někdy stačí model přeučit na novějších datech. Jindy se změnil samotný problém a stará logika už přestává platit.

Data drift – když se změní vstupy

Data drift je situace, kdy do modelu začnou chodit jiná data, než na jakých se učil.

Neznamená to nutně, že data jsou špatná. Jen mají jinou strukturu, jiné rozložení nebo jiné poměry. Z pohledu statistiky se tedy posune distribuce vstupů.

V praxi to může vypadat třeba takto:

  • do e-shopu začne chodit jiný typ publika než dřív,
  • více návštěv je z mobilu a méně z desktopu,
  • změní se cenové hladiny nebo skladba sortimentu,
  • ve formulářích se začnou jinak vyplňovat určité údaje,
  • nebo se změní zdroj dat a některé atributy začnou mít jinou kvalitu.

Duplicitní obsah je definován jako obsah, který je přesnou kopií obsahu nalezeného jinde. Termín duplicitní obsah se může vztahovat i na téměř identický obsah (například pouze výměna názvu produktu, značky nebo lokality). Pouhá výměna několika slov nemusí nutně zachránit stránku před tím, aby byla považována za duplicitní obsah. V reakci na to může dojít k...

Model může být pořád stejný, ale už pracuje s jiným typem vstupu, než který znal při tréninku.

Concept drift – když už neplatí původní vztahy

Concept drift bývá závažnější, protože tady se nemění jen vstupní data, ale samotný vztah mezi vstupy a výsledkem.

To znamená, že stejné signály už neznamenají totéž co dřív. Vzorec, který model zachytil při tréninku, přestává odpovídat realitě.

Dobře je to vidět třeba na detekci spamu nebo podvodů. To, co ještě před rokem fungovalo jako silný varovný signál, dnes nemusí znamenat skoro nic. Útočníci se přizpůsobí, změní jazyk, strukturu chování i konkrétní techniky. Model tak sice pořád řeší „stejný problém“, ale ten problém už má jinou vnitřní logiku než dřív.

Data drift znamená, že se změnila vstupní data. Concept drift znamená, že už neplatí původní vztah mezi vstupy a výsledkem. To je důležitý rozdíl, protože druhý případ bývá pro model nebezpečnější.

Jak drift vypadá v běžném provozu

Drift není jen pojem z učebnice. V praxi se objevuje velmi často, jen ne vždycky pod tímto jménem.

V e-commerce může drift znamenat, že se změní nákupní chování a doporučovací model přestane nabízet to, co uživatele skutečně zajímá.

V online reklamě se může změnit publikum, kanály i reakce na kreativy, takže modely pro bidding nebo scoring začnou předpovídat hůř.

Ve fraud detection se mění taktiky útočníků a modely, které vypadaly přesně před pár měsíci, začnou být méně citlivé na nové vzory.

V predikci poptávky se drift projeví ve chvíli, kdy staré nákupní rytmy přestanou odpovídat nové situaci – třeba po změně cen, sezóny nebo ekonomiky.

Všude tam je společné jedno: model se učil z minulosti, ale rozhoduje v prostředí, které se průběžně vyvíjí.

Drift často nepřijde naráz

To je na něm zrádné. Drift bývá často plíživý.

Výkon modelu se nepropadne ze dne na den, ale začne se zhoršovat postupně. Chyby přibývají pomalu, přesnost nebo relevance klesá po malých krocích a tým má snadno pocit, že „to ještě pořád nějak funguje“.

Jenže právě tím je drift nebezpečný. Může dlouho zůstávat pod radarem, i když už model není tak spolehlivý, jak si firma myslí. A pokud se nesleduje průběžně, problém se často odhalí až ve chvíli, kdy už má reálný dopad na byznys nebo provoz.

Jak se drift pozná

V praxi se drift hlídá hlavně dvěma způsoby.

První je sledování dat. Tedy kontrola, jestli se vstupní distribuce v produkci nezačaly nápadně lišit od tréninkových dat nebo od předchozích období.

Druhá je sledování výkonu. Tedy jestli model nezačíná dělat víc chyb, nezhoršuje se jeho kalibrace, neklesá relevance doporučení nebo nepadá byznysová metrika, na kterou je model napojený.

To ale není vždycky jednoduché. U řady modelů totiž nemáte správnou odpověď okamžitě. V některých úlohách přichází label až po dnech nebo týdnech. Proto se drift často poznává nejdřív přes změny v datech a až později se potvrzuje na výkonu.

Typická situace v praxi vypadá tak, že tým ještě neví, jestli model opravdu dělá víc chyb, ale už vidí, že se výrazně změnily vstupní distribuce. To je přesně moment, kdy začíná být drift důležitý.

Co se dělá, když drift opravdu nastane

Samotné zjištění driftu ještě nic neřeší. Důležité je, co uděláte potom.

Možností je víc:

  • model se přeučí na novějších datech,
  • upraví se feature engineering nebo výběr vstupů,
  • zpřesní se monitoring a alerty,
  • nasadí se častější retraining,
  • dočasně se přejde na jednodušší nebo bezpečnější fallback,
  • nebo se ukáže, že problém není v driftu, ale v kvalitě dat nebo upstream procesu.

To je důležité – drift není jedno tlačítko, které prostě zmáčknete a problém zmizí. Vždycky je potřeba pochopit, co se změnilo, proč se to změnilo a jak velký dopad to už má.

Proč je drift důležitý i pro netechnické lidi

Drift není jen technická starost datového týmu.

Je to pojem, který v praxi vysvětluje, proč model, který byl při spuštění výborný, po čase přestává být tak přesný, tak relevantní nebo tak užitečný. Pro manažera, marketéra, produktového člověka nebo provozní tým je to důležité hlavně proto, že ukazuje jednu nepříjemnou pravdu – AI model není hotový produkt jednou provždy.

Model potřebuje dohled, monitoring a časem i zásah. Jakmile běží v živém provozu, stává se z něj součást dynamického systému. A drift je jeden z hlavních důvodů, proč se o produkční model musíte starat i po nasazení.

Drift je jeden z hlavních důvodů, proč model nestačí jen natrénovat a nasadit. Pokud ho firma průběžně nesleduje, může velmi dlouho pracovat s něčím, co už přestalo odpovídat realitě.

Související pojmy

  • Strojové učení – drift dává plný smysl právě v kontextu modelů, které se učí z historických dat a potom běží v reálném provozu.
  • Data drift – užší pojem pro situaci, kdy se v čase změní rozložení vstupních dat.
  • Concept drift – změna vztahu mezi vstupy a cílem, takže původní logika modelu přestává platit.
  • Model monitoring – právě monitoring pomáhá drift včas odhalit a sledovat jeho dopad na produkční model.
  • Retraining – častá reakce na drift, kdy se model znovu učí na novějších datech nebo v nových podmínkách.
  • Distribuce dat – drift se často pozná právě na tom, že se rozložení hodnot v datech začne oproti minulosti výrazně měnit.

Použité zdroje a další čtení

  •  
  •  
  •  
  •  

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

*

Ostatní uživatelé také četli:

Politici často používají slova, která neznají. Kvůli tomu se jim potom lidé posmívají. Nebuďte jako oni. Zjistěte si, co slovo znamená, a jak se správně píše. V tomto textu se dozvíte informace o slovu marginální. Pravopisně správně je pouze jedna podoba slova, konkrétně tvar marginální. Přídavné slovo je totiž odvozeno od podstatného jména marginálie (což je...

Marcela Ženské jméno Marcela je latinského původu. Jde o ženskou podobu jména Marcel, které pochází ze zdrobněliny Marcellus jména Marcus, které je překládáno jako bojovník. Jméno Marcela tak můžeme volně přeložit jako malá bojovnice. Kdy slaví Marcela svátek?Marcela slaví, podle českého občanského kalendáře, svátek 20. dubna (20.4.).Mužská obdoba jménaMužská obdoba jména je Marcel.Domácí podoby jména MarcelaMarcelka,Marcka,Marcelina,Marcelinka,Marci,Marcoušek,Macinka,Macík,Máca,Marka,Marcipánek,Marcelinda,Macek.Marcela...

V online marketingu existuje zdánlivě nekonečná nabídka statistik a čísel pro vyhodnocení výkonnosti vašeho podnikání. Jednou z metrik, která je v Google Analytics neustále přehlížena, jsou asistované konverze. Tato metrika může být velmi efektivní pro přesné určení, které aspekty vašeho online marketingu přispívají k úspěchu webových stránek, což z ní činí velmi cennou součást rovnice,...

Nebudeme chodit dlouho kolem horké kaše. Pravopisně správně je pouze tvar sporadicky. Koho zajímá víc, ten ať se pohodlně usadí a pokračuje ve čtení. Možná se budete divit, ale slovo sporadicky je výraz odvozený od řeckých ostrovů, které se jmenují Sporady. Jedná se o menší ostrůvky, které jsou roztroušené v Egejském moři. Jak je možné vidět,...

Píšete narouzloučenou dohromady? Tak už to více nedělejte! Je to pravopisná chyba, které se však dopouští mnoho lidí. Pravopisně správně je na rozloučenou! Jedná se totiž o spojení předložky „na“ a slova „shledaná“. Předložka „na“ je typická pro 4. pád, proto se píše na shledanou. Nejedná se tedy o spřežku, jak se lidé často mylně...

Pokud se vám stalo, že jste v práci narazili na kolegu, který odmítá přesčasy, protože chce „žít svůj život“, a zároveň zvládá ovládat pět aplikací najednou – pravděpodobně jste potkali mileniála. Generace Y, jak se tito lidé oficiálně označují, je jednou z nejdiskutovanějších a nejrozporuplnějších generací moderní doby. Generace Y v kostce Roky narození přibližně...

Je-li něco možné, uskutečnitelné či eventuální, můžeme to označit slovem potenciální. Nebo snad potencionální? Která z těchto variant je správně a která špatně z češtinářského pohledu? Stručný výklad rozdílu použití slov potenciální a potencionální:Potenciální – jednoznačně správná varianta.Potencionální – řidší a méně přesná, ale také spisovná varianta.Podrobný výklad rozdílu použití slov potenciální a potencionální:Potenciální – přídavné jméno...

Je to necelého 2,5 roku, co jsem si pořídil první iPhone. Pátou řadu. 128 GB. Hliník. Tehdy se „pětka“ prodávala za necelých 27 000 Kč (teď se za skoro stejnou cenu prodává iPhone 6). Já jej sice kupoval za necelou polovinu (a i to se mi zdálo jako hodně peněz). Zatím ze všech telefonů, které...

Mezinárodní den solidarity osvobození politických vězňů V tento den si připomínáme nejen politické vězně, ale také bojovníky proti fašismu. V roce 1945 byl v tento den osvobozen koncentrační tábor Buchenwald. Neměli bychom zapomínat na uctění památky všech, kteří koncentrační tábory nepřežili. Zároveň bychom také neměli zapomínat, že koncentrační tábory nejsou minulostí. Minulostí také není věznění odpůrců politických režimů. Mysleme proto v...

Customer Acquisition Cost (zkráceně CAC) je klíčová finanční metrika, která vyjadřuje průměrné náklady, které firmu stojí získání jednoho nového zákazníka – tedy všechny výdaje vynaložené na marketing, reklamu a prodej, vydělené počtem nově získaných zákazníků v daném období. Cílem metriky CAC je měřit efektivitu akvizičních aktivit a určit, zda jsou náklady na získání zákazníků přiměřené...
Načíst dalších 10 článků