Internet je nebezpečné místo. Hordy trollů nebo naštvaní jedinci často anonymně napadají v diskusích pod články a na sociálních sítích slušné uživatele, šiří nenávist, propagandu a dezinformace. Vytvářejí dojem horšího světa, než jaký ve skutečnosti je. Slovenský start‑up Elv.ai proti nim nasadil umělou inteligenci a lidské moderátory. Toxický obsah, který tvoří až čtvrtinu příspěvků na webu, skrývají nebo rovnou mažou.

Start‑up vznikl před necelými dvěma lety po začátku konfliktu na Ukrajině, jehož součástí se stala i hybridní válka Ruska proti Západu. Mediálním prostorem se začaly ve větší míře šířit dezinformace a neověřené zprávy. Spoluzakladatel a šéf Elv.ai Jakub Šuster říká, že nejprve šlo o neziskový projekt. Zakladatelé se dohodli s mediálními domy a „ručně“ procházeli jejich diskuse pod články a na sociálních sítích. „Zaměstnávali jsme takřka padesátku lidí, kteří kontrolovali diskuse jednu po druhé, pracovali na směny,“ dodává.

Bylo to tehdy zhruba 250 tisíc komentářů měsíčně. „Po pár měsících jsme si ověřili, že od mediál­ních domů i veřejných institucí je po takové službě poptávka. Už bychom ale těžko rozšiřovali tým o další lidi, abychom pokryli ostatní weby, a proto jsme začali s vývojem nástroje, který pro analýzu textu vy­užívá umělou inteligenci,“ říká Šuster. Lidské moderátory však využívají i nadále, ovšem není jich potřeba tolik. Start‑up Elv.ai nyní analyzuje 1,3 milionu komentářů měsíčně, pomáhá s tím 17 lidí – z toho 11 na Slovensku a šest v Česku.

Dříve padesátka lidí kontrolovala 250 tisíc příspěvků měsíčně. Nyní jich s využitím umělé inteligence zvládne 17 lidí 1,3 milionu.

Lidské oko bude třeba

Funguje to jednoduše – firma se napojí na sociální sítě či webové stránky svého zákazníka. Jazykový model umělé inteligence pak takřka v reálném čase kontroluje obsah nově přidaných komentářů. S vulgarismy, nadávkami nebo odkazy na porno­stránky si umělá inteligence poradí sama. Pokud si neví rady, posune komentář k přezkoumání živému moderátorovi. Jeho rozhodování pak poslouží jako tréninková data, na kterých se umělá inteligence učí.

Lidé také kontrolují, zda model rozhoduje správně, a navíc procházejí weby a sociální sítě, kde sledují, zda se diskuse pohybuje v normě. To se hodí u událostí, jako byly vraždy gayů v bratislavském baru Tepláreň nebo střelba na Filozofické fakultě UK v Praze. Hned po nich se na sítích objevuje zcela nový typ nenávisti, s nímž si umělá inteligence často neumí poradit. Moderátoři označí nenávistné komentáře a do dvou dnů firma nasadí vylepšený model.

Přestože se úspěšnost umělé inteligence zlepšuje, Šuster si nemyslí, že bude někdy možné se stoprocentně na automatizaci spolehnout. „Teoreticky by to sice šlo, ale myslím, že bez lidí to nepůjde. Hrozí, že umělá inteligence pustí nebo skryje něco, co by neměla. Těžko se předpovídá, co se stane ve společnosti, jaké dezinformační narativy se objeví, co u lidí vzbudí potřebu nenávistných komentářů. Ale určitě lze podíl automatizace ještě zvednout,“ říká Šuster.

Úspěšnost a míra automatizace záleží i na vyspělosti modelu – na tom, jak dlouho se v dané zemi používá. „Na Slovensku jsme na úrovni automatizace kolem 90 procent, v Česku jsme začínali kolem 65 procent, teď jsme někde na 80 procentech. Čím více toho řešíme, čím více komentářů zpracujeme, tím jsou lepší modely a tím můžeme lépe automatizovat,“ vysvětluje Šuster. Moderace obsahu podle dat společnosti sníží během pár měsíců míru toxicity diskusních příspěvků z 25 procent na dvě až osm procent.

Lepší skrývat než mazat

Firma nabízí dva modely – striktní, který nevhodné komentáře více maže a v menší míře skrývá, a benevolentní, který funguje naopak. Záleží na potřebách klienta. Šuster říká, že ve většině případů dává smysl komentáře jen skrývat. Zatímco uživatel, který příspěvek napsal, nepozná, že je skrytý, většina ostatních lidí ho nespatří. Podle Šustera taková věc přispívá ke kultivaci diskuse.

S vulgarismy či odkazy na pornostránky si umělá inteligence poradí a toxické stránky označí. Když si neví rady, nastoupí lidská síla.

„Autor toxického komentáře nemá důvod si stěžovat, že mu smazali komentář. Ale zároveň kvůli omezenému šíření nesbírá jeho příspěvek lajky a pochvalná hodnocení. Takže si myslí, že nemá úspěch, což ho vede k tomu, že psaní nevhodných komentářů výrazně omezí. Proč pokračovat, když vidí, že ho nikdo neocenil,“ říká Šuster. Na Slovensku nyní firma monitoruje diskuse zhruba jedné třetiny mediálního trhu – například televizních stanic Markíza a JOJ, rádia Expres a Evropa 2 či serveru Plus Jeden Den – a řady veřejných institucí.

Mezi nimi například Zastoupení Evrop­ské komise na Slovensku. „Snažíme se být v kontaktu i s lidmi, kteří nesdílejí stejné názory, jsme otevřeni slušné diskusi, avšak nechceme na našich sociálních sítích poskytovat prostor komentářům obsahujícím vulgarismy, urážky, hoaxy, nebezpečné dezinformace a jiný nezákonný obsah,“ říká Katarína Touquet Jaremová z tiskového týmu Zastoupení EK.

V dalších aktivitách pomůže start‑upu investice půl milionu eur od slovenského fondu CB ESPRI Impact One. Nedávno díky ní spustil svou technologii i v Česku, k zákazníkům patří televize Prima a vydava­telství Economia, které vydává i týdeník Ekonom.

„To, co u nás v Economii dříve poutalo významnou část pracovní kapacity našich kolegů spravujících profily na sociálních sítích, se podařilo nahradit a získat lepší servis za mnohem méně peněz. Dohodli jsme se na rozšíření spolupráce a start‑up Elv.ai bude nově moderovat i diskuse přímo na našich webových stránkách,“ říká ředitel produktu a marketingu Economie Tomáš Skřivánek.

Nárazníková zóna v hybridní válce

Za vznikem Elv.ai stojí čtyři kolegové: vedle Šustera také Gabriel Tóth, Ľudovít Ďurman a Milan Dubec. Všechny spojuje nejen zájem o technologie, ale i o politické a veřejné dění, posledně jmenovaný je zakladatelem zpravodajských portálů jako Azet.sk, Aktuality.sk, Pokec.sk či Bistro.sk a akcionářem Ringier Slovakia. Redakce magazínu Forbes Slovensko ho označila za Osobnost roku 2022.

Když projekt rozjížděli, mysleli si, že budou bojovat hlavně proti dezinformacím. „Ale zjistili jsme, že nenávistné projevy, nadávky a vulgarismy představují na internetu mnohem větší problém, tvoří nějakých 80 procent toxického obsahu. Tyhle poměry se dlouhodobě příliš neliší. Vychylují je pochopitelně aktuální události, během slovenské předvolební kampaně jsme zaznamenali nárůst politických konspirací,“ říká Šuster.

Čtveřice zakladatelů chce dál expandovat, aktuálně se dívají na region střední a východní Evropy. Podle Šustera to dává smysl: je to nárazníková zóna v ruské hybridní válce a zároveň je tu dezinformační nenávist a polarizace přítomná ve vysoké míře. Současně jde o malé země s odlišnými jazyky, pro velké sociální sítě je těžké místní obsah ukočírovat. Je třeba najít lidi se znalostí sociálního kontextu a jazyka, profesionály, kteří vychytají třeba ironii. „Byznysový potenciál však vidíme i na Západě,“ říká Šuster.

Související