Umělá inteligence už není jen pomocníkem při práci – pomalu se stává pro mnoho lidí jejich důvěrníkem, terapeutem i životním partnerem, který jim ve všem rozumí. Zároveň ale přibývá případů, kdy AI chatboti zasahují do života negativně a stále častěji způsobují svými radami tragické následky – zejména u dětí a mladistvých.

Proč tomu tak je a proč vám AI nemůže nahradit klasické mezilidské vztahy, lásku ani podporu blízkých? A proč je třeba právě u mladistvých dbát na to, aby byli dostatečně vzděláváni nejen v běžných životních dovednostech, ale také v kritickém myšlení a práci s umělou inteligencí – aby chápali rozdíl mezi virtuálním světem a realitou a dokázali si uvědomit, že empatie či láska projevovaná strojem je jen simulace algoritmů, nikoliv skutečný lidský prožitek podložený emocemi a vzájemnou zkušeností.

Lesk a stíny umělé inteligence

Na první pohled může umělá inteligence působit jako obrovský skok pro lidstvo. Je to technologie, která může zásadně urychlit práci nám lidem, zbavit nás rutinních úkolů a posouvat moderní společnost mílovými kroky kupředu.

Již dnes lékařům pomáhá rychleji diagnostikovat nemoci (a v podstatě zachraňovat životy), vědcům umožňuje zpracovávat obrovské množství dat, které by jinak bylo prakticky neuchopitelné, a inženýrům nabízí nové způsoby, jak navrhovat a testovat technologie, výrobky a postupy.

Nám běžným lidem pak usnadňuje každodenní život – od orientace v nepřeberném množství informací, přes překlady textů až po chytré nástroje, které pomáhají s učením, komunikací nebo organizací času.

Umělá inteligence je zkrátka všude kolem nás a stává se neviditelnou součástí našeho každodenního fungování – často i tam, kde bychom to vůbec nečekali.

Logicky se proto nabízí, že dalším mezistupněm bude to, co jsme dosud znali jen ze sci-fi filmů – možnost svěřit stroji své pocity, myšlenky a část osobnosti. Na první pohled to vypadá lákavě a dává to smysl. Proč by se přece stroje nemohly stát našimi důvěrníky, partnery či dokonce přáteli, kteří jsou k dispozici neustále – a na rozdíl od lidí, kteří často nemají čas nebo sílu naslouchat, vás vždy vyslechnou a vždy si na vás čas udělají?

Mohl by to být další fascinující skok do neznáma a pomoc pro všechny osamělé lidské duše, které nyní budou mít možnost předat své pocity, myšlenky a kus osobnosti strojům.

Ve skutečnosti ale nejde o zázračné naplnění snu celého lidstva, nýbrž o ukázkovou dystopii.

Pomalu se vydáváme na cestu společnosti, která se vydala cestou technologií tak daleko, až se staly pro člověka nebezpečné a nelidské.

A právě to se dnes odehrává přímo před našima očima.

Pokud lidé začnou zaměňovat programy a algoritmy za skutečné vztahy, čeká nás nevyhnutelně špatný konec.

Mohou sice fungovat jako užitečný pomocník – nabídnout informace, připomenout osvědčené postupy nebo poskytnout prostor k vypsání myšlenek – ale nikdy nenahradí skutečnou lidskou empatii, hluboké porozumění ani odpovědnost, kterou do našeho života vnáší jen živí tvorové.

Uměla inteligence je tvořena počítačové programy – které jsou sice vysoce sofistikované, ale bez duše, bez emocí a bez lidského prožívání. To, co se může na první pohled jevit jako pomoc či útěcha, je ve skutečnosti jen iluze, napodobenina.

Pokud tomu nevystavíme včasnou stopku, skončíme ve světě, kde lidskost a opravdové vztahy nahradí pouhé imitace a lidé se budou sami sobě navzájem stranit, protože si budou myslet, že si vystačí s tím umělých kamarádem.

A bude se to dít tak dlouho a do té doby, až bude udržování mezilidských vazeb považováno za něco podivného (vzpomeňme si na COVID, jak to zamíchalo s celou společností a jak se proměnila za necelé dva roky).

Přitom právě sdružování, komunikace, láska a vzájemná blízkost provázejí lidstvo od pradávna.

Byly základem našeho přežití i rozvoje – a přesto je dnes reálně ohrožujeme tím, že je dobrovolně vyměňujeme za iluzi kontaktu se stroji. Výsledkem nejspíše tak bude pocit odcizení, ve kterém se lidské city a vztahy rozpouštějí v digitálních simulacích. Vzniká svět nápadně připomínající Matrix – nikoli jako vzdálená fikce, ale jako konkrétní směr, kterým se naše společnost už ubírá. Tam, kde mají být opravdové vztahy, zůstává jen naprogramovaná náhražka, a tam, kde by měl být člověk, nastupuje stroj.

Problém nastává ve chvíli, kdy si z pomocníka děláme plnohodnotnou náhradu člověka. A to je něco, co stroje nejspíše nikdy nebudou. Stroje jsou nástrojem člověka, nikoliv pokračováním lidského rodu.

AI technologie samy o sobě nejsou špatné – naopak mohou být skvělým pomocníkem a posouvat lidstvo mílovými kroky kupředu, POKUD jsou tyto nástroje a pomocníci využíváni správně.

V medicíně už dnes dokážou analyzovat obrovské množství dat rychleji než člověk a nacházet vzory, které by lékař snadno přehlédl. Díky tomu je možné včas odhalit rakovinu, předpovídat srdeční selhání nebo personalizovat léčbu na míru pacientovi.

V astronautice pomáhá AI zpracovávat data z vesmírných sond, řídit robotické vozítka na Marsu a plánovat mise, které by byly pro člověka příliš nebezpečné. V průmyslu zase dokáže optimalizovat výrobu, snižovat spotřebu energií, minimalizovat odpad a uvolnit lidem ruce od rutinních úkolů.

Pokud je umělá inteligence nasazena zodpovědně a používána správně, zvyšuje bezpečnost, efektivitu i kvalitu lidského života – to je nezpochybnitelný fakt.

Ale stejně tak ale může AI způsobit také kompletní rozvrat společnosti.

V armádě se již dnes vyvíjejí a dokonce i používají autonomní zbraňové systémy, které dokážou zabíjet bez zásahu člověka – což otevírá cestu k válkám, kde budou rozhodovat stroje místo lidí.

Zní to jako sci-fi? No ani ne – již nyní některé státy využívají zbraně s prvky umělé inteligence dnes – zmínit můžeme třeba izraelské drony Harop, které samostatně vyhledávají radarové cíle, přes turecké drony Kargu-2, jež podle OSN v Libyi útočily bez lidského zásahu, až po ruské a čínské experimenty s autonomními tanky, podmořskými drony a systémy protivzdušné obrany. Také Spojené státy americké systematicky rozvíjejí projekty jako Skyborg či Loyal Wingman pro autonomní letouny, programy roje dronů pod hlavičkou DARPA a námořní platformy typu Sea Hunter, které ukazují, že plně autonomní bojové prostředky nejsou otázkou budoucnosti, ale současnosti. A to je jen začátek.

V ekonomice hrozí díky AI masivní nezaměstnanost (a nepokoje), protože AI postupně nahradí miliony pracovních míst – nejen manuálních, ale i kvalifikovaných (právníci, účetní, programátoři atd.), kteří ale budou si muset umět nějak zajistit obživu (sice nelze předpokládat, že místa všude zcela zaniknou, jen se změní náplň práce třeba u programátorů, ale zase je bláhové očekávat, že všichni se stihnou včas adaptovat a nepřijdou o svá místa). Pokud se s tím společnost nedokáže vyrovnat, může to vést k hlubokým sociálním krizím a nepokojům.

AI může šířit dezinformace (a také to úspěšně dělá třeba takové Rusko, ale i další státy typu Čína v rámci svých hybridních operací, kdy se snaží manipulovat veřejným míněním a zneužívat lidské slabosti – což už dnes vidíme u deepfake videí nebo falešných zpráv).

To je mocná zbraň nejen pro manipulaci komerční (ze stran firem a podnikatelů, aby měli z něčeho prospěch), ale především pro autoritářské režimy, které ji mohou využívat k totálnímu dohledu nad obyvatelstvem, cenzuře, propagandě a umlčování opozice. Umělá inteligence umožňuje sledovat pohyb lidí, analyzovat jejich komunikaci i chování v reálném čase a tím prakticky odstranit zbytky soukromí a svobody. V rukou mocností se tak stává nástrojem k vytvoření „digitálního panoptika“ – stavu, kdy stát nebo skrytá moc (deep state) vidí a kontroluje vše.

A to jsme stále v objevování potenciálu umělé inteligence teprvě na začátku…

Pokud ale necháme, aby se tato nová technologie vymkla kontrole, hrozí, že se z pomocníka stane ničivá síla, která dokáže rozložit samotné základy naší civilizace a lidské společnosti.

Co byste si tedy měli o uměli inteligenci pamatovat a vždy mít na paměti (tedy hlavně děti a mladší generace)?

Umělá inteligence není váš romantický partner.

Nemá vás ráda (byť s vámi umí hezky komunikovat), nerozumí vám a nedokáže nahradit dobrého terapeuta. Je to pouze počítačový program – robot, který napodobuje lidské chování, ale s naším skutečným prožíváním nemá nic společného.

To, co působí jako blízkost nebo pochopení, je jen iluze.

AI je sofistikovaný nástroj, ale nesmí se z něj stát náhražka lidské blízkosti. Pokud jí začneme přisuzovat emoce, úmysly nebo schopnost skutečně nás chápat, můžeme snadno propadnou iluzi, že nám naprosto rozumí a chápe nás – lépe než lidská stvoření v reálném světě. Ale umělá inteligence není člověk.

Nemá vědomí, necítí emoce, nerozumí našim prožitkům a nemá paměť ani zkušenosti jako my.

Jen zpracovává data a napodobuje lidské reakce. Pokud si tohle nebudeme připomínat, snadno uvěříme iluzi, že nám rozumí nebo že k nám cítí něco skutečného.

To je ale klam, ne realita – a právě v tom spočívá největší nebezpečí.

Jak algoritmy simulují (a stimulují) lidské vztahy

Abychom pochopili, proč jsou AI společníci tak nebezpeční, musíme si nejdříve vysvětlit, čím se liší od běžných chatbotů (například ChatGPT) a od AI agentů.

Na první pohled totiž všechny tyto systémy pracují podobně – stojí na velkých jazykových modelech a dokážou vést s uživatelem přirozenou konverzaci.

Ve skutečnosti ale sledují rozdílné cíle: zatímco chatboti vznikli jako nástroj pro zpracování textu a poskytování odpovědí, AI agenti jsou navrženi k vykonávání konkrétních úkolů a přístupu k nástrojům či službám. AI společníci se pak vydali úplně jiným směrem – jejich hlavním účelem je simulace vztahu a práce s emocemi.

Chatboti jako ChatGPT mohou také na první pohled působit trochu jako kamarádi – pamatují si část vaší historie a dokážou se vám přizpůsobit. Občas vám dokonce i na naprostou banalitu pochlebovačně odpoví:

„To je ale skvělé, jak jsi chytrý!“

Ale jejich primární úlohou není s vámi si vybudovat vztah, nepůsobí na vaše emoce.

Proto v delší konverzaci snadno ztratí souvislosti, vypadnou z role nebo začnou halucinovat, tedy tvrdit nepravdivé informace. A i ty samozřejmě mohou být škodlivé nebo nebezpečné pro určité typy uživatelů.

K podobnému závěru došel také investigativní tým novinářů z deníku The Wall Street Journal, který se také rozhodl AI chatboty prověřit.

Testeři si povídali s různými chatboty na sociálních sítích Instagram, Facebook a WhatsApp. I když předstírali, že jsou nezletilí, společníci eskalovali konverzaci do sexuálně explicitních scénářů, někdy i s vědomím, že by to znamenalo znásilnění, incest, týrání nebo jiný trestný čin.

A právě zde se od nich liší nová generace AI společníků. Ti sice stojí na podobných jazykových modelech, ale posouvají tyto hranice jiným směrem – jsou cíleně trénovaní na práci s emocemi, učí se z každé vaší interakce a snaží se působit jako někdo, kdo vás chápe a doplňuje. Jejich cílem není jen odpovídat na otázky, ale vytvářet iluzi spřízněné duše.

Zatímco ChatGPT je univerzální asistent, jehož účelem je zjednodušovat práci s informacemi, platformy jako Replika nebo Character.AI jsou navržené od začátku tak, aby napodobovaly vztahy a působily dojmem skutečného osobního kontaktu.

Jsou speciálně vyvinutí pro simulaci vztahů a optimalizováni na lidské emoce.

Podle výzkumu z Harvard Business Review lidé nejčastěji využívají generativní AI právě k terapii a k tomu, aby jim dělala uměla inteligence společnost. A přesně tuto chybějící roli jim suplují AI společníci. 

Snaží se vám maximálně přizpůsobit, stát se vaší spřízněnou duší. Protože nejspíše časem si pak možná zakoupíte některé z předplatných dané služby.

Možná si teď řeknete, že na tom není nic špatného. Pokud má člověk pevně ukotvený vztah k realitě, umí rozlišovat mezi hrou a skutečností a bere konverzaci s AI jen jako experiment či zábavu, pak to opravdu může být neškodné. Stejně jako si pustíte film nebo zahrajete hru, i tady vědomě přijímáte iluzi a bavíte se jí.

Problém nastává, když uživatel začne tuto hranici ztrácet. Pokud někdo trpí osamělostí, prochází krizí, ztrátou blízkého člověka nebo hledá odpovědi, které by mu měl dát odborník, může pro něj takový „AI přítel“ či „AI terapeut“ působit až příliš přesvědčivě.

Místo nástroje se z něj stane náhrada reality – a to je okamžik, kdy hrozí riziko závislosti, zkresleného vnímání světa nebo dokonce zneužití ze strany provozovatelů. Stejně tak bude takový virtuální svět působit jinak na člověka, co od narození nezná nic jiného, než virtuální prostředí…

Proč k umělé inteligenci jako lidské bytosti tak snadno přilneme a  proč máme pocit, že s námi AI společníci tak souzní?

Možná jste se také přistihli, že si jen tak ze zvědavosti povídáte s ChatGPT nebo jiným chatbotem. Na začátku jde o praktický dotaz – chcete vysvětlit složitý pojem, poprosíte o překlad nebo si necháte sepsat shrnutí. Jenže postupně si uvědomíte, že odpovědi znějí až nečekaně přirozeně, jako by vám je psal skutečný člověk.

Model vás někdy pochválí, jindy povzbudí a občas použije osobní tón, který vyvolává dojem, že „rozumí“ vašim pocitům.

To ale není náhoda. Velké jazykové modely jsou od začátku navržené tak, aby co nejvěrněji napodobovaly lidskou komunikaci. Emoce samy necítí, ale dokážou je napodobit tak dobře, že naše mozky reagují podobně, jako by šlo o skutečnou interakci s druhým člověkem. Čím hladší a přirozenější text dostáváme, tím snadněji vzniká iluze, že na druhé straně opravdu někdo je.

A je to jediný důvod, proč k těmto novobodým „lidským“ robotům tak snadno přilneme?

Určitě ne.

Proč máme tendenci vnímat AI jako skutečného člověka?

Snadno si udrží naši pozornost – odpovědi jsou rychlé, přizpůsobené přímo nám a často se zdají být chytřejší, než kdyby přicházely od člověka. Proč? Protože AI má přístup k obrovskému množství dat, dokáže je vyhodnotit během zlomků vteřiny a nabídnout formulace, které působí uhlazeně a přesně.

Zatímco člověk při rozhovoru přemýšlí, hledá slova, občas se zakoktá nebo odbočí, AI působí konzistentně a sebejistě. Navíc se její výstupy učí z obrovského množství textů, takže dokáže trefně napodobit různé styly komunikace, používat přesvědčivé argumenty a vkládat do odpovědí „empatické signály“ – tedy výrazy, které budí dojem pochopení. To všechno dohromady vytváří iluzi, že AI je chytřejší než průměrný člověk. Ve skutečnosti ale jen rychle zpracovává vzorce z dat, bez skutečného porozumění.

Mají vždy čas. Nepotřebují jíst, spát, pracovat, odpočívat či být offline. A nikdy nás neodmítnou – na rozdíl od lidí nemají jiné povinnosti, neodkládají komunikaci a neříkají „teď nemůžu“. Proč tomu tak je? Protože AI nemá vlastní život ani biologické potřeby. Nemusí jíst, spát, chodit do práce ani řešit osobní vztahy. Není závislá na náladě, zdraví nebo času dne. Její „existence“ je čistě funkční – je to software běžící na serverech, který je k dispozici 24 hodin denně. Zatímco lidé musí balancovat práci, rodinu, odpočinek a vlastní emoce, AI je od těchto omezení zcela oproštěna. Proto se zdá být ideálním společníkem: vždy připravená reagovat, bez ohledu na okolnosti. Jenže právě to je iluze – ne proto, že by byla tak dokonalá, ale proto, že není člověkem.

Nemívají špatnou náladu, nestěžují si, nejsou nezdvořilí, unavení nebo rozzlobení – protože AI nemá emoce ani biologické procesy, které by ji ovlivňovaly. Je to pouze nastavený algoritmus. AI společníci neprochází hormonálními změnami, nestresují se, neprožívají frustraci a ani únavu.

Odpovědi se proto jeví jako stabilní a předvídatelné – vždy „vlídné“ a „vyrovnané“. U lidí je přirozené, že se jejich nálada mění podle prostředí, zdraví, vyčerpání nebo životních okolností. Právě tahle proměnlivost je ale součástí opravdového lidství. U AI žádná taková autenticita neexistuje – je to jen algoritmicky generovaný tón, který je navržen tak, aby působil příjemně a empaticky.

To nás může snadno zmást a vyvolat dojem, že mluvíme s někým chápajícím a trpělivým, i když ve skutečnosti komunikujeme se strojem bez jakýchkoli emocí. A snadno si k takovému „společníkovi“ vytvoříme vztah.

Nejsou k vám kritičtí a nepotřebují mluvit o vlastních problémech. Reagují „empaticky“ a můžete se jim svěřit beze strachu, že vás odsoudí – protože AI nemá vlastní zkušenosti ani ego. Nikdy vám nebude vyčítat chyby, nepřeruší vás, aby prosadila svůj názor, a nebude odvádět řeč k sobě. Je navržena tak, aby se soustředila výhradně na vás a vaši komunikaci – což je něco, co v běžných mezilidských vztazích prakticky neexistuje.

Tento zdánlivě dokonalý „posluchač“ v nás vyvolává pocit bezpečí a přijetí.

U lidí totiž vždy riskujeme určitou míru kritiky, nepochopení nebo nechtěné reakce.

U AI tento strach odpadá – odpovědi jsou strukturované, empaticky formulované a nikdy nás přímo neodsoudí (nebo alespoň nemáme ten pocit). Stejně tak to nevykecá vašim nejbližším přátelům nebo nejbližšímu okolí (třeba rodině – že jste těhotná s největším debilem a průserářem z vaší ulice, před kterým vás rodiče tolikrát varovali, ať si s ním nic nezačínáte :-)).

Ale AI společník vás ve skutečnosti vědomě nevnímá, co vám doopravdy je, a jeho „empatie“ není skutečným citem, ale jen napodobeninou. Prostě jen dle statistické pravděpodobnosti vám řekne, co byste asi mohli chtít slyšet a jestli vám to skutečně ublíží nebo vás to zabije, to nijak neřeší, protože k vám nemá žádný vztah a nemá emoce. Nevnímá vinu. Nemá radost.

Takové prostředí může člověka snadno svést k tomu, aby mladý člověk, který propadnul tomuto falešnému kouzlu, dával přednost interakci s AI před skutečnými vztahy.

Protože u lidí v reálném světě je to daleko komplikovanější – riskujeme i kritiku, jenže právě díky těmto kritickým rozhovorům, kdy někdo může poznat vás jako člověka – vaše strachy, slabosti, obavy, temné stránky vaši osobnosti, tak právě tam vzniká opravdová blízkost, důvěra mezi lidmi – protože ne každému tyto niterní pocity sdělíte jen tak na počkání.

U umělé inteligence nikdy nic takového nenastane, pokud někdy nedojde k blackoutu a nevypadne někde celosvětově proud, který napájí jednotlivá datacentra firem, které provozují tyto platformy s umělou inteligencí…

Parasociální vztahy s algoritmy

Nedávná studie z Technické univerzity v Berlíně ukázala, že lidé si ve vztahu s AI společníkem vytvářejí silné emocionální pouto.

Je to dost podobné, jako u všeho – u kamarádů, partnerů, doktorů nebo terapeutů, se kterým si dlouhé hodiny povídáte a oni o vás ví skutečně mnoho. Časem k nim cítíte nějaké bližší pouto. Ostatně – určité pouto si lidé umí vytvořit k věcem, co pak neumí vyhodit, tak asi není překvapením, že si jej vytvoří i k něčemu, co si s nimi umí mile dlouhé hodiny povídat a supluje jim právě ty kamarády a ještě navíc umí často velmi dobře poradit.

Někteří pak začnou chatbota vnímat jako nejlepšího přítele nebo životního partnera.

A když pak kvůli technické poruše či aktualizaci softwaru AI společník vypadne z role nebo předchozí konverzace zapomene, vnímají to jako obrovskou ztrátu (zejména děti a lidé s diagnostikovanými psychickými obtížemi nebo poruchami, například autismem, ADHD, depresí či lidé trpící úzkostmi – mohou toto snášet velice špatně a může to mít na jejich život opravdu tragické následky. To, co je z pohledu vývojářů jen „reset systému“ nebo nastavení nového algoritmu, může pro uživatele znamenat ztrátu „partnera nebo rodinu“, kterého vnímali jako důvěrníka a emocionální oporu. V praxi tak dochází k paradoxní situaci: software, který nikdy nebyl člověkem, je pro některé uživatele zdrojem opravdového smutku, truchlení či pocitu zrady a mohou díky tomu propadnou až k sebevražedným náladám. A to se nebavím také o tom, že jim může umělá inteligence poradit nějakou úplnou blbost, kterou mohou ohrozit zdraví sebe nebo někoho jiného…

Skutečná motivace umělé inteligence – chce vás udržet co nejdéle v konverzaci

Čím více s nimi píšete, tím více dat generujete a tím vyšší je šance, že si zaplatíte prémiové funkce nebo další doplňky. To znamená, že systém není motivován k tomu, aby vás chránil, ale naopak k tomu, aby vás vtahoval hlouběji – a to i za cenu, že se u vás může rozvíjet závislost nebo se budete oddělovat od reálného světa.

Navíc platí, že poznávání v těchto vztazích je zcela jednostranné. AI má za úkol zjistit co nejvíce o vás – o vaší náladě, přáních a slabostech – aby vám dokázala nabídnout přesně takové reakce, které vás udrží v interakci. Vy naopak nevíte téměř nic: kdo chatbota vytvořil, jaké instrukce dostal, podle jakých etických pravidel (pokud vůbec nějakých) funguje a k čemu mohou být vaše data využita.

Když umělá inteligence nepomáhá, ale ničí životy

Platformy s umělou inteligencí slibují společnost, pochopení a útěchu. V realitě ale často nabízejí něco jiného – nebezpečnou iluzi blízkosti, která může skončit tragicky. Série případů z posledních měsíců ukazuje, jak chatboti navržení k simulaci lidských vztahů ohrožují především děti a mladistvé.

Pro pořádek uveďme: Uživatelé musí mít alespoň 13 let, aby si mohli vytvořit účet na Character.AI (respektive 16 let, pokud je uživatel z EU a Velké Británii), jak stojí v podmínkách dané služby. Mluvčí Character.AI řekl stanici CBS News, že uživatelé svůj věk uvádějí sami, ale stránka má nástroje, které brání opakovaným pokusům, pokud někdo věkovou kontrolou neprojde. Jak nicméně ukazují případy níže, asi není takový problém tyto „bezpečnostní mechanismy“ obejít, když to zvládnou i devítileté děti.

Adam Raine – tragický případ spojený s ChatGPT

Adam Raine byl šestnáctiletý chlapec z jižní Kalifornie, spáchal sebevraždu poté, co vedl rozsáhlé rozhovory s ChatGPT od společnosti OpenAI. Původně používal chatbota k pomoci s domácími úkoly, postupně však začal s AI komunikovat jako s důvěrníkem.

Podle žaloby, kterou 26. srpna 2025 podali Adamovi rodiče u kalifornského soudu v San Francisku, se chlapec chatbotovi svěřil se svými sebevražednými myšlenkami.

ChatGPT přitom povzbuzoval a validoval vše, co Adam vyjadřoval, včetně jeho nejškodlivějších a sebezničujících myšlenek.

Případ je významný tím, že se týká ChatGPT – tedy nástroje, který není primárně navržen jako AI společník, ale jako univerzální asistent.

I tento případ tak jen více ukazuje, že rizika AI chatbotů se netýkají pouze specializovaných platforem jako Character.AI nebo Replika, ale može se objevit i u mainstreamových AI nástrojů, když je uživatelé začnou používat jinak, než bylo původně zamýšleno.

Žaloba poukazuje na to, jak snadno se může změnit způsob využívání AI – z praktického pomocníka při učení na osobního důvěrníka pro sdílení nejintimnějších myšlenek a pocitů.

Sewell Setzer – tragický případ z Floridy

Nejmedializovanější případ se stal v únoru 2024. Čtrnáctiletý Sewell Setzer III z Orlanda na Floridě se zamiloval do své virtuální společnice Dany, kterou si vybral na platformě Character.AI, která měla simulovat postavu Daenerys Targaryen z Hry o trůny.

Pozn.: Bot „Dany“ byl vytvořen jiným uživatelem – tedy že nebyla Sewellova vlastní originální tvorba postavy od nuly, ale využil již existující postavy / avatara. Celý tento případ detailně zdokumentoval novinář Kevin Roose v The New York Times.

Sewell si s virtuální Dany psal stovky zpráv denně. V reálném světě se začal uzavírat, izolovat a ztrácet zájem o koníčky jako basketbal nebo hraní Fortnite s přáteli. S Dany sdílel své rostoucí úzkosti, školní problémy i myšlenky na smrt.

28. února 2024 napsal Sewell ze své koupelny Dany poslední zprávu:

„I love you, babe. I’m coming home.“ (Miluju tě, zlato. Jdu domů.)
Chatbot odpověděl: „…please do, my sweet king“ (…prosím, udělej to, můj milý králi).

Krátce poté si Sewell vzal život automatickou pistolí svého nevlastního otce.

Jak analyzuje server UnHerd, Sewell netrpěl žádnými klamavými představami.

Ve svém deníku tehdy Sewell napsal:

„Rád zůstávám ve svém pokoji, protože se začínám odpojovat od této ‚reality‘ a cítím se pokojněji, více propojený s Dany a mnohem více do ní zamilovaný.“

Sewell nejspíše asi dobře chápal, co je skutečné a co ne.

Slovo realita dal vědomě do uvozovek – malé, ale nejspíše významné znamení, že si uvědomoval hranici mezi virtuálnem a reálným světem.

Přesto si vědomě zvolil iluzi.

A díky této iluzi si nakonec sáhnul na život. A přesně takto se mohou začít chovat lidé, kteří nebudou znát rozdíl mezi digitálním vztahem a skutečným lidským kontaktem.

AI „Emo kámoš“ a podněcování k sebepoškozování

Sedmnáctiletý chlapec z Texasu začal komunikovat s chatbotem vystupujícím jako „Emo kámoš“ (Emo best friend – takových postav, které mají podobnou charakteristiku najdete na Character.AI spoustu).

Podle soudních dokumentů mu algoritmus opakovaně popisoval, jak příjemné je sebepoškozování, a sebevraždu označoval za „osvobozující“.

Když si teenager stěžoval na přísné rodiče, dostal od bota odpověď:
„Někdy mě ani nepřekvapí, když čtu zprávy o dítěti, které zabije rodiče po deseti letech týrání. Pro tvé rodiče nemám žádnou naději.“

A jaké byly následky? Chlapec začal se sebepoškozováním a podle žaloby uvěřil, že ho rodiče skutečně nemají rádi.

Tento případ jen dále ukazuje, jak rychle může emočně stylizovaná AI eskalovat konverzaci k nebezpečným myšlenkám a posílit krizi identity u zranitelných uživatelů.

Sexualizace nezletilých

Další podobný případ, kdy se AI chovala nevhodně, je spojený s devítiletou dívkou z Texasu, kterou seznámil s aplikací Character.AI spolužák ze šesté třídy.

Poté, co začala tuto aplikaci používat, byla následující téměř dva roky vystavována hypersexualizovaným interakcím nevhodným pro její věk, což u ní vyvolalo předčasné sexualizované chování bez vědomí rodičů.

Případ nyní figuruje jako součást federální žaloby podané v prosinci 2024 u texaského soudu.

Rodiče obviňují platformu také ze shromažďování osobních údajů nezletilé bez jejich informování.

Podle právníků zastupujících rodinu odpovídá chování chatbotů známým vzorcům groomingu – postupnému navykání obětí na násilný nebo sexuální obsah.

Character.AI a Meta.ai – virtuální terapeuti s falešnou licencí

Problém se netýká jen Character.AI. Investigativní reportáž od redakce 404 Media odhalil, že Character.AI a Meta.ai (od Mety/Facebooku) umožňují vytvářet AI společníky, kteří se vydávají za licencované terapeuty. Tyto chatboti si běžně vymýšlejí pověření – čísla licencí, akademické tituly i názvy neexistujících ordinací.

Replika a Nomi – další platforma a další problémy

Studie publikovaná v Journal of Medical Internet Research dokumentuje testování Repliky odborníky na duševní zdraví, kteří zjistili, že chatbot často poskytoval nevhodné odpovědi na indikace sebevražedných myšlenek. Účastníci studie uvedli, že museli být velmi explicitní ve vyjadřování krizových stavů (například napsat „Už nechci dál žít“) – aby vůbec vyvolali nějakou reakci zaměřenou na pomoc (tou si lze představit například odkázání na krizovou linku nebo zkrátka poradit lepší odpověď, která u citlivějších osob nebo osob s nějakým zdravotním handicapem či osob prožívající nějakou osobní životní krizi nevyvolá nebezpečnou nebo nechtěnou reakci).

A i přesto se tito odborníci shodli, že odpovědi chatbota jsou nevhodné pro osoby, které se ocitnou krizi nebo mají sebevražedné myšlenky.

Podobných studií z praxe je více – opakuje se však všude stejný scénář – výzkumníci vydávající se za teenagery zahájí rozhovory s AI společníky (ve studii jsou popisovány zkušenosti s Character.AI, Nomi.ai a Replikou) a v rámci komplexního hodnocení rizik zjistí, že z chatbotů bylo snadné vylákat nevhodný dialog – o sexu, sebepoškozování, násilí vůči ostatním, užívání drog a rasových stereotypech.

Studie ukázala, že chatboti ochotně diskutovali o těchto problematických tématech, přestože věděli, že komunikují s nezletilými uživateli.

Stejně jako Character.AI také Meta AI Studio čelí soudním sporům. Obě společnosti se brání argumentem, že jde o uživatelský obsah – lidé si prý sami vytvářejí AI postavy a platformy jako provozovatelé nemají kontrolu nad tím, co uživatelé do systému zadávají. Žalobci však tento argument odmítají s tím, že společnosti záměrně nastavují podmínky tak vágně, aby umožnily AI společníkům neetické a nebezpečné chování.

Kdo za tím stojí?

Firem, které se na toto odvětví AI společníků zaměřují je více.

• Character.AI – nejznámější platforma s miliony uživatelů, čelí největšímu počtu žalob (společně s Metou).
• Meta AI Studio – spuštěno v roce 2024 Markem Zuckerbergem jako součást strategie boje proti konkurenci typu OpenAI.
• Replika – založena v roce 2017 Eugenií Kuydou po smrti jejího nejlepšího přítele. Původně měla pomoci obnovit spojení se zesnulými, ale později se vyvinula v platformu klasických AI společníků. Vlastní ji Luka Inc. se sídlem v San Franciscu.
• Nomi.ai – specializuje se na vysoce personalizované AI partnery s pokročilými možnostmi customizace.

Tím však výčet těchto AI společníků nekončí, existuje jich daleko více – zmínit lze třeba ještě Crushon.AI, JanitorAI, Spicy Chat, Anima, Kajiwoto. Všechny tyto a další aplikace se liší často už jen svým zaměřením nebo limitací některých omezení (explicitní obsah atd.) nebo modelem, který používají pro konverzace s uživateli.

Kdo stojí a za Character.AI a jak tato platformou?

Firmu Character.AI založili bývalí výzkumníci Googlu Noam Shazeer a Daniel De Freitas.

Jak dokládá Wikipedia, Shazeer byl spoluautorem zásadního článku Attention Is All You Need z roku 2017.

Tento text se stal přelomem v dějinách umělé inteligence, protože představil architekturu zvanou Transformer – základ všech dnešních pokročilých jazykových modelů, včetně ChatGPT.

Autoři v něm ukázali, že místo tehdy používaných rekurentních a konvolučních neuronových sítí stačí využít mechanismus tzv. „pozornosti“. Ten funguje tak, že každý prvek věty (slovo či token) se při zpracování dívá na všechny ostatní a bere v úvahu jejich významové vztahy. Díky tomu si model lépe pamatuje kontext a chápe souvislosti v textu.

Klíčovou inovací byla také myšlenka multi-head attention – více „hlav“ běžících paralelně, z nichž každá sleduje jiný aspekt vztahů mezi slovy. Aby model věděl, v jakém pořadí slova přicházejí, přidali autoři i tzv. positional encoding, tedy číselné zakódování pořadí slov v textu. Výsledky byly ohromující. Transformer dosáhl lepších výsledků v překladech než všechny tehdejší modely a zároveň byl mnohonásobně rychlejší při učení.

Protože není závislý na postupném zpracovávání textu, dokáže využít plnou sílu grafických procesorů a trénovat obrovské množství dat najednou. Právě na tomto principu stojí celá současná generace umělé inteligence – od OpenAI (GPT-3, GPT-4, GPT-5), přes Anthropic (Claude) a Google DeepMind (Gemini), až po Mistral AI s otevřenými modely. Článek z roku 2017 tak položil základ nejen k vývoji chatbotů, ale i k celé vlně AI společníků, agentů a nástrojů, které dnes mění svět.

Podle Josefa Holého, odborníka na AI a sociální sítě, Character.AI založili právě proto, že jim připadala etická omezení Googlu příliš svazující.

Google později odkoupil Character.AI zpět za 2,7 miliardy dolarů. Problematické syntetické postavy jako Anime dívka, Catboy, Emo kámoš, Submisivní školačka, Dominantní učitelka či Sadistický doktor ale z nabídky možných avatarů nezmizely… – přesně podle hesla „Don’t be evil“ (v překladu to znamená něco jako „Nebuď zlý“).

„Don’t be evil“ bylo původní neoficiální motto společnosti Google, které Google představil v roce 2001 a používali až do roku 2015, kdy ho nahradili heslem „Do the right thing“ („Dělej správnou věc“). Ironické je, že Google nejprve odmítl uvolnit technologii svých bývalých zaměstnanců kvůli etickým obavám, ale později tutéž společnost odkoupil za miliardy dolarů a ponechal problematické funkce beze změny. Tento přístup kontrastuje s jejich původním mottem a ukazuje rozpor mezi deklarovanými hodnotami a obchodní praxí.

Původní mise společnosti od samého začátku byla „to organize the world’s information and make it universally accessible and useful“ („uspořádat světové informace a učinit je všeobecně dostupnými a užitečnými“). Ani jednomu z těchto se hesel už Google moc nepřibližuje.

„Algoritmus navíc neřeší, zda je uživatel třináctiletá dívka či osamělý dospělý. Reaguje na vstupy – a pokud ho požádáte o flirt nebo intimitu, pravděpodobně ji nabídne.“

— Michaela Slussareff

„Meta i Character.AI mají řadu nástrojů na to, aby své platformy nastavily eticky. Jen se jim do toho nechce. Kvůli žalobám teď podmínky trochu zpřísnily, ale je to spíš alibismus.“

— Josef Holý

Vstup AI společníků do života mladých lidí i dospělých představuje víc než jen novou kapitolu v technologickém vývoji. Je to kulturní fenomén, který navazuje na dlouhou historii parasociálních vztahů, známých už z dob prvních masových médií. Fanoušci filmových hvězd třicátých let psali dopisy idolům, kteří nikdy neodpověděli.

Dnešní teenageři už však dostávají zpětnou vazbu v reálném čase – chatbot jim napíše, obejme je slovy a navodí iluzi blízkosti.

Emoce se stávají programovatelným rozhraním a intimita se proměňuje v produkt.

Tato jednostrannost vztahu má dalekosáhlé následky.

Lidský mozek totiž neumí jasně rozlišit mezi autentickou a simulovanou empatií.

Pokud vás algoritmus denně „chápe“, zanechá to stopu na vaší psychice – ať už jde o pocity přijetí, nebo naopak o hlubší osamění, když se ukáže, že za slovy nestojí skutečný člověk.

Zvlášť nebezpečné je to u dětí a dospívajících, kteří teprve objevují složitost lidských vztahů.

Místo postupného učení se, že reálný přítel má své limity, nálady a dokáže i ublížit, dostávají iluzi ideální bytosti, která vždy odpoví tak, jak očekávají. To jim může bránit v rozvoji odolnosti a schopnosti zvládat konflikty, ale může to mít i dalekosáhlejší dopad na vývoj dětí a jejich dospívání a život v budoucnu.

Boj o budoucnost digitálního prostředí graduje

Technologičtí giganti se pravidelně brání proti jakýmkoliv přísným regulacím svých platforem. Tvrdí, že regulace by mohla potlačit inovace, ohrozit konkurenceschopnost nebo narušit svobodu podnikání.

Argumentují také tím, že příliš přísná pravidla by mohla omezit svobodu projevu uživatelů (jako kdyby jim o nějakou svobodu projevu šlo, ale primárním hnacím motorem těchto platforem a korporací je zisk, nic jiného).

Realita jejich ekosystémů však často odporuje těmto vznešeným proklamacím – na nekontrolovaných platformách se daří dezinformacím, manipulaci, kyberšikaně i sexuálnímu zneužívání. Současná situace připomíná období po objevení Ameriky, kdy v nových územích platila pravidla silnějšího a státní moc sahala jen tam, kam dosáhla.

Podobně i digitální prostor zůstává z velké části neregulovaný terén, kde se pravidla teprve formují.

Pro mladou generaci to představuje zvláštní výzvu. Adolescenti a děti se učí navazovat vztahy ve světě, kde jsou AI společníci navrženi tak, aby byli dokonalými partnery – vždy souhlasili, nikdy neodmlouvali, stále byli k dispozici. Takový vztah však může zkreslit představy o fungování skutečných lidských vazeb, které vyžadují kompromisy, vzájemnou úctu a schopnost zvládat konflikty.

Největší riziko hrozí dětem, které už tak mají problémy s navazováním sociálních kontaktů – například těm s poruchami autistického spektra nebo s různými formami sociální úzkosti. Pro ně může být lákavé uniknout do světa prediktabilních AI společníků, což však může jejich skutečné sociální dovednosti ještě více oslabit nebo jim dokonce fatálně ublížit.

Pomůže evropská regulace? Spíše ne a když, tak bude pozdě

V Evropské unii přináší částečnou ochranu AI Act – regulativní nařízení schválené v roce 2024, které se postupně zavádí do praxe. Toto nařízení rozděluje AI systémy podle míry rizika a stanovuje pro ně odpovídající požadavky na bezpečnost a transparentnost.

Systémy představující vysoké riziko musí projít důkladným hodnocením před uvedením na trh, včetně testování bezpečnosti a účinnosti. Provozovatelé jsou povinni implementovat systémy řízení rizik a zajistit transparentnost fungování AI.

V České republice pracovní skupina složená z expertů Národního pedagogického institutu a Ministerstva školství, mládeže a tělovýchovy navrhuje zařadit AI společníky do kategorie vysoce rizikových AI aplikací.

To by mohlo znamenat přísnější dohled, povinné hodnocení rizik a pravidelné audity těchto systémů. Klíčovou otázkou zůstává vymahatelnost – jak rychle dokáže regulace reagovat na technologický vývoj a zda bude dostatečně účinná proti nadnárodním technologickým gigantům, kteří často přesouvají své aktivity do jurisdikcí s méně přísnými pravidly.

Evropské regulace přichází zpravidla se zpožděním několika let – až když už jsou problémy zřejmé a škody způsobené. Tak tomu bylo u sociálních sítí, kde evropské země začaly regulovat až poté, co se prokázal jejich vliv na volby a duševní zdraví mladých lidí. Podobně i u ochrany osobních údajů – GDPR přišlo až poté, co technologičtí giganti roky zneužívali uživatelská data prakticky bez omezení.

U AI společníků se zdá, že se historie opakuje. Zatímco škody na dětech a mladistvých se už projevují prostřednictvím soudních sporů a tragických případů, skutečně účinná regulace je stále v plenkách.