Vrstva je jedna ze základních stavebních částí neuronové sítě. Právě přes vrstvy procházejí data od vstupu až k výsledku a právě jejich uspořádání rozhoduje o tom, co všechno model dokáže zachytit. Když se mluví o tom, že neuronová síť „zpracovává informace“, ve skutečnosti tím často myslíme to, že vstup postupně prochází několika vrstvami, z nichž každá s ním provede určitý typ výpočtu. Jedna vrstva může zachytit jednodušší vzory, další vrstva na ně naváže a vytvoří složitější reprezentaci.

Bez vrstev by neuronová síť nebyla sítí v dnešním smyslu. Byla by to jen velmi jednoduchá výpočetní struktura s omezenou schopností učit se složitější vztahy. Právě vrstvy umožňují modelu rozdělit si práci do více kroků a postupně převádět surový vstup na něco, co lze použít pro rozhodnutí, klasifikaci, predikci nebo generování výstupu.

Co si pod pojmem vrstva představit

Vrstva je skupina neuronů nebo výpočetních jednotek, které v určité fázi zpracovávají data. Typicky dostanou vstup z předchozí vrstvy, provedou nad ním výpočet a předají výsledek dál. Tím vzniká řetězec navazujících kroků, ve kterém se informace postupně proměňuje.

Na první pohled může vrstva působit jako technický detail v architektuře modelu. Ve skutečnosti ale určuje, jak hluboko a jemně síť dokáže se vstupem pracovat. Čím více vrstev model má, tím více mezikroků může při zpracování použít. To je jeden z hlavních důvodů, proč se u některých modelů mluví o pojmech jako deep learning (hlubokém učení).

Základní typy vrstev

V nejjednodušším vysvětlení se obvykle rozlišují tři základní typy vrstev.

• Vstupní vrstva – přijímá data zvenčí, například čísla, obrazové body, tokeny textu nebo jiné vstupní reprezentace.
• Skryté vrstvy – tvoří vnitřní výpočetní část sítě. Právě v nich se data postupně transformují a model se v nich učí zachytit užitečné vzory.
• Výstupní vrstva – převádí vnitřní reprezentaci modelu na konečný výsledek, například klasifikaci, pravděpodobnost, číslo nebo vygenerovaný výstup.

Toto rozdělení je užitečné pro základní orientaci. V praxi samozřejmě existují i specializovanější vrstvy podle konkrétní architektury modelu, ale pro pochopení principu je tento základ dostačující.

Proč je počet vrstev tak důležitý

Počet vrstev přímo souvisí s tím, jak složité vztahy se model může naučit. Jednodušší síť s malým počtem vrstev dokáže pracovat s jednoduššími vzory. Jakmile ale data obsahují složitější strukturu – například obraz, řeč nebo přirozený jazyk – bývá potřeba více vrstev, protože model musí projít přes více úrovní zpracování.

U obrazu může jedna vrstva zachytit hrany nebo jednoduché tvary. Další vrstva z nich může skládat složitější části objektu. Ještě vyšší vrstva pak může pracovat s celkovým tvarem nebo kategorií. Podobná logika platí i u textu nebo zvuku. Právě proto vrstvy nejsou jen „patra navíc“, ale základní způsob, jak síť postupně skládá význam.

Vrstva a přenos informace v síti

Každá vrstva přijímá výstup z vrstvy předchozí a předává svůj výsledek vrstvě následující. Tím se vytváří tok informace od vstupu k výstupu. Zároveň ale při tréninku platí i opačný směr – při backpropagation se chyba šíří od konce sítě zpět přes jednotlivé vrstvy, aby bylo možné spočítat, jak se mají upravit váhy a biasy.

To je důležité, protože vrstva není jen pasivní zastávka, přes kterou data projdou. Je to aktivní část výpočtu, která má vlastní parametry a která se během učení mění. Každá vrstva tak nese část odpovědnosti jak za vznik výsledku, tak za případnou chybu.

Jak vrstva souvisí s váhami a biasy

Vrstva není jen prázdný kontejner neuronů. Uvnitř se pracuje s konkrétními parametry, hlavně s vahami a biasy. Váhy určují sílu vlivu mezi jednotlivými vstupy a neurony, biasy přidávají posun ve výpočtu. Každá vrstva tak představuje místo, kde se tato kombinace parametrů používá k transformaci vstupu na novou podobu.

Právě díky tomu může jedna vrstva zvýraznit určité rysy, jinou část informace potlačit a připravit data pro další úroveň zpracování. To je jeden z důvodů, proč vrstvy hrají tak důležitou roli v tom, co se model nakonec naučí.

Proč se o vrstvách mluví hlavně u hlubokého učení

Pojem vrstva se vyskytuje i u jednodušších sítí, ale skutečný význam nabývá hlavně ve chvíli, kdy má model vrstev více.

Odtud také pochází pojem „hluboké“ učení. Hluboký model neznamená nic jiného než model, který pracuje s větším počtem skrytých vrstev a tím i s větším počtem navazujících transformačních kroků.

To ale zároveň znamená vyšší složitost.

Čím více vrstev síť má, tím více parametrů se musí naučit a tím náročnější bývá její trénink. Právě proto se s vrstvami přímo spojují pojmy jako backpropagation, gradientní sestup nebo ztrátová funkce. Bez nich by síť nedokázala účinně upravovat to, co se v jednotlivých vrstvách děje.

Kde jsou limity a proč více vrstev automaticky neznamená lepší model

Je lákavé myslet si, že čím více vrstev model má, tím bude automaticky chytřejší. Tak jednoduché to ale není. Více vrstev sice zvyšuje kapacitu modelu, ale zároveň zvyšuje náročnost tréninku, riziko přeučení, nároky na data i na výpočetní výkon.

Počet vrstev proto musí odpovídat typu problému. U jednodušších úloh může být hluboká architektura zbytečně složitá. U složitějších úloh naopak dává více vrstev velmi dobrý smysl, protože model potřebuje větší prostor pro zpracování a skládání významu.

Proč má smysl tomuto pojmu rozumět i mimo technické obory

Vrstva je dobrý příklad pojmu, na kterém je vidět, že model nepracuje s daty jedním skokem. Když člověk rozumí vrstvám, lépe chápe i to, proč moderní AI potřebuje tolik výpočtů, proč se mluví o hlubokém učení a proč jsou neuronové sítě schopné zachytit složitější vztahy než jednodušší modely.

Právě na pojmu vrstva je navíc dobře vidět, že AI není jednolitá „černá krabice“, ale systém složený z navazujících kroků.

Na širší souvislosti toho, jak AI funguje, jak se učí a proč kolem ní vzniká tolik zjednodušených představ, navazuje také článek 17 nejčastějších mýtů o umělé inteligenci.

Související pojmy

• Neuronová síť – protože vrstva je jedna z jejích základních stavebních částí a bez širšího kontextu celé sítě by tento pojem zůstal příliš abstraktní.
• Hluboké učení (Deep Learning) – protože právě počet a role vrstev rozhodují o tom, proč se některým modelům říká hluboké.
• Váha – protože uvnitř vrstev se pracuje právě s váhami, které určují sílu vlivu mezi neurony.
• Bias – protože vedle vah se ve vrstvách uplatňují i biasy, které posouvají výsledný výpočet neuronu.
• Backpropagation – protože chyba se při učení šíří právě přes jednotlivé vrstvy zpět a podle toho se upravují parametry uvnitř sítě.