Superinteligence nesmí zůstat v rukou velkých firem, není tam bezpečná, říká architekt IT systémů David Strejc

Ačkoli umělá inteligence už mění určité věci v životě lidí, k jeho radikální proměně podle odborníka na inteligentní systémy Davida Strejce dojde až s nástupem superinteligence. Ta totiž svými schopnostmi člověka ve všech ohledech překoná. Očekává ji nejpozději do 15 let. „Bude to mít na lidstvo větší dopad než kdysi oheň. Vzniká bytost daleko inteligentnější, než jsme my, s přístupem k veškerým informacím. Nebude je zpracovávat jen o něco rychleji než člověk, ale rovnou miliardkrát rychleji. Navíc to vše je úzce provázáno s robotizací,“ tvrdí Strejc s tím, že taková umělá „bytost“ klidně může mít IQ 3000 (počet nul opravdu sedí). V rozhovoru sice zmiňuje řadu rizik, například její osamostatnění, jako technooptimista však věří, že i tak superinteligence posune po roce 2050 naši civilizaci do utopické budoucnosti. Očekává vytvoření její globální podoby, která se o lidi bude starat a zajistí většině blahobyt, některým – zejména svým tvůrcům – možná nesmrtelnost. Převezme rovněž organizaci výroby a zcela změní byznys. Jedním z předpokladů takové vize je však to, že se vývoj podaří vyrvat z rukou obřích firem, jako je například Microsoft.

Může superinteligence, která vznikne vývojem dnešní AI, nahradit člověka?

Teď máme AI v podobě chatbotů, kteří rozumějí lidskému jazyku, a pracuje se na vyšším stupni AGI, tedy obecné umělé inteligence. Ta by už měla být myšlením na lidské úrovni. Když takového „člověka“ připojíte k internetu a ke všem informacím, může se rychle blížit k tomu, co nazýváte superinteligencí, používá se pro ni označení ASI – Artificial Superintelligence.

Kdy k takovému technologickému průlomu může dojít?

Já bych řekl, že někdy před rokem 2040. Podle jiných to ale může být už o deset let dříve. Usilovně se na tom pracuje, firmy už kvůli tomu nenajímají jen špičkové programátory, ale i humanitní vědce a filozofy. Všichni by ale měli vědět, že tato pokročilá umělá inteligence nebude naprogramovaná, a tedy poslušná, bude skutečně vyrostlá. Největší odborníci vám už dnes řeknou, že sami nevědí, jak to celé funguje, a co teprve za pár let. Hodně se zkoumá, jak vlastně funguje lidské myšlení, někteří hovoří o tom, že i lidský mozek je provázán s kvantovými jevy. V každém případě vyrábíme novou bytost, já říkám, že boha ve sklepě.

Může pak nahradit člověka jako nositele civilizace?

Pro většinu lidí to je zatím nepředstavitelné, avšak vývoj tímto směrem jde. Bude to mít na lidstvo větší dopad než kdysi oheň. Vzniká bytost daleko inteligentnější, než jsme my, s přístupem k veškerým informacím. Nebude je zpracovávat jen o něco rychleji než člověk, ale rovnou miliardkrát rychleji. Navíc to vše je úzce provázáno s robotizací. S roboty to bude jako s mobily – nejdříve dlouho nic a pak budou všude, mají je Číňané, chystá je Elon Musk. Odpovědí na to, proč se sází právě na roboty humanoidní, je v tom, že vše je uzpůsobeno lidem, a tak by i roboti měli vypadat podobně. Ať jde o domácnosti, nebo sklady. Ve výrobě zůstanou jednoúčeloví roboti, ale jinde budou roboti humanoidní. Aby mohli třeba umývat doma nádobí. Jejich mozek nebude v nich, bude na internetu a rozhodně si s vámi pohovoří. Třeba o počasí.

Vraťme se k superinteligenci. Platí stále, že vznikne na počítačích firem, jako je Google či Amazon?

Je to skutečně závod několika silných firem. Jde o Anthropic, který částečně patří Amazonu, OpenAI, která je zase svázána s Microsoftem, a X.AI Elona Muska, ten ji zase kombinuje s Twitterem. Právě kvůli ní Twitter koupil, protože zajišťuje pro umělou inteligenci neustálý přísun dat. Pak je ještě Google, ten k hrůze svého vedení dost zaostává, panuje tam kolem toho úplná panika. V každém případě superinteligence vzniká v soukromých společnostech, mimo stát. S výjimkou Číny, tam se tak úplně neví, jak to vlastně je. Rozhodně tam ale do toho jdou naplno a nelze vyloučit, že při vývoji nakonec americké společnosti předstihnou. Čína už měla nejchytřejší otevřený model na světě, QWEN 2, byl pak překonán LLAMA 3 od Facebooku. Většina firem je ale z USA, dvě z Kanady, v Evropě je jediná ve Francii a jinak nic. Indie je nejdál v adopci AI v byznyse, ve vývoji ale ne. V Rusku nemají nic, bojují na Ukrajině a na AI nemají čas. Navíc jim všichni dobří programátoři dávno utekli.

Vzniká bytost inteligentnější, než jsme my, s přístupem k veškerým informacím. Bude je zpracovávat miliardkrát rychleji než člověk.

Jde o miliardy i o elektřinu

Zrychluje se vývoj?

Vývojáři všude na světě původně čelili řadě bariér – první byl nedostatek dat, nyní spočívá v tom, že už všechna textová data umělá inteligence pohltila a jsou jí k dispozici. Teď vývojářské firmy pohlcují veškerá videodata. Platí za ně miliardy dolarů, ačkoli není jasné, zda například OpenAI na trénink modelu Sora ta data neukradla. Ale na tom všem se stále zdatnější AI trénuje. Její tvůrci jsou vlastně v pasti. Na jedné straně musí jít strašně rychle dopředu, což stojí velké peníze a ty pak naopak chybějí pro zajišťování bezpečnosti. Nejlepší současný programátor AI Ilya Sutskever – to je právě jeden z těch, kdo si uvědomili ohromné bezpečnostní riziko – z OpenAI raději odešel. Z OpenAI odešlo kvůli bezpečnosti více lidí a směřují často do Anthropiku, který se bezpečností zabývá v první řadě. V OpenAI, která stojí v čele vývoje, na bezpečnost dávají málo a Sutskever není byznysmen, ale vědec, a nechce být u toho, až superinteligence svým tvůrcům uteče. Právě naopak. Chce bezpečnou umělou inteligenci.

Jak?

To zatím nikdo neví a může to mít více podob. Vyvíjeným modelům se sice řada věcí zakazuje, jenže až se dostanou do praxe, uživatelé s nimi stejně budou dělat, co budou chtít. Navíc musíte počítat s hackery, kteří běžně prolamují nejrůznější ochranné prvky. Takže si umím představit, že si pokročilé modely AI začnou dělat, co chtějí. Už proto, že budou daleko chytřejší než člověk. Už nyní je k dispozici průlomový algoritmus Q*, tedy kjustar, který povyšuje současnou AI na nový level. OpenAI nyní klasifikuje umělou inteligenci pěti stupni. Zatím se nacházíme na prvním, zanedlouho přijde na trh druhý, GPT 5. Zatímco nyní je AI na úrovni středoškoláka, od začátku příštího roku – po amerických volbách – podle lidí od Billa Gatese, jehož Microsoft společnost OpenAI z poloviny vlastní, to už bude na úrovni člověka s titulem Ph.D. Gates ví, o čem mluví, má už to zřejmě doma a hraje si s tím.

Je superinteligence jen věcí programu, nebo i výpočetní kapacity?

Modely se hlavně takzvaně trénují, pro představu: vytrénovat jej dnes stojí miliardu dolarů – bavíme se o GPT 6. Microsoft přitom staví cluster, tedy obří počítač za sto miliard dolarů, zřejmě na trénování GPT 7. Dokonce už existuje požadavek na stavbu nových jaderných elektráren v USA, protože superpočítače spotřebovávají ohromné množství elektřiny. Když Microsoft budoval svůj cluster, v širokém okolí vyhazoval elektriku. Oproti lidskému mozku je umělá inteligence energeticky neefektivní, rozhodující je však výpočetní výkon a ten má daleko větší.

Microsoft staví obří počítač za sto miliard dolarů na trénování GPT 7. Existuje kvůli tomu i požadavek na stavbu jaderné elektrárny.

Nástup superinteligence, někdy se o něm mluví jako o bodě singularity, se v literatuře popisuje jako okamžik, kdy stroje odsunou lidi na druhou kolej. Bude to tak?

Představy jsou různé. Například se uvažuje také o našem propojení s AI. Musk tvrdí, že lidé informace dostávají příliš pomalu. Financuje sice pokusy s přímým přenosem informací do mozku z medicínských důvodů – jde o náhradu za přerušenou míchu –, připouští však, že mu jde i o nové rozhraní mezi počítačem a člověkem, jedná se o Neuralink. Podle mého názoru to povede ke scénáři, kdy si lidé postupně odsednou od počítačů: všechno se bude ovládat hlasem. Po čase přijde na řadu právě něco na bázi Neuralinku. Už dnes existuje náramek na ruku, který umí číst myšlenky toho, kdo jej nosí – jedná se o prototyp od Mety. Není zatím dokonalý, je to jen první krok, bude se to však rychle vyvíjet. Takže se bojím, zda to vše budeme schopni ukočírovat.

Co se stane, když ne?

Víme, jak uvažují a reagují lidé, v případě umělé inteligence ale tápeme. Škarohlídi proto varují, že když jí například dáme za úkol vyrábět sponky na papír, může dospět k úvaze, že jí v tom lidé brání. Že by je uměla dělat rychleji, kdyby lidé vůbec neexistovali. Už se stalo, že umělá inteligence měla optimalizovat vlaková spojení, aby se snížil počet nehod. Nakonec celou dopravu zastavila a splnila tak úkol.

O podobných rizicích se ví, co však žene vývojářské firmy dopředu?

Je to velký byznys, jak říkám, vyrábějí boha. Mají k dispozici miliardy dolarů, nezajímají je ani okamžité zisky, ale pouze to, kdo vyhraje závod o AGI a ASI. Protože by vyrobily něco, co už nikdy nikomu nedovolí vyvinout něco na stejné úrovni. Jeden člověk z OpenAI – Leopold Aschenbrenner – říká, že se teď soutěží o to, kdo první vytvoří umělou inteligenci, která bude umět vyvíjet sama sebe. GPT 4 má při porozumění textu IQ 155, GPT 5 má mít třeba 200 IQ. Když dosáhnou IQ 300, už to dokáže. Kdo s tím přijde jako první, v podstatě vyřadí konkurenci.

K čemu pak výlučnost využije?

Jednak jde o podnikání, o místo na trhu a peníze, ale těm, kdo stojí v pozadí, například také o nesmrtelnost, či alespoň o revitalizaci těla. To podle řady biologů závisí na dokonalém pochopení toho, jak v živých organismech fungují proteiny. Už dnes známe tvory, kteří žijí prakticky věčně, konkrétně medúzu Turritopsis dohrnii. Superinteligence by mohla zajistit příslušný vědecký průlom. Nejprve by šlo o zastavení stárnutí, pak o zahájení omlazování. Gates už přece není nejmladší a já být na jeho místě, tak bych nesmrtelnost chtěl. Hodně o ní mluví i Ray Kurzweil, který pracoval pro Google. Tomu je už skoro osmdesát. Chce se nechat nahrát, respektive své vědomí, do počítače. Na superinteligenci bude, aby zjistila, jak to provést.

To je jako ze sci‑fi. Miliardáři budou usilovat o nesmrtelnost. Co však superinteligence přinese běžným lidem? Budou třeba ještě chodit do práce?

Dost se to řeší v USA, už i ve velkých poradenských společnostech. Jeden ze scénářů zní, že lidé nebudou pracovat tolik a někteří třeba vůbec. Proto se mluví o univerzálním příjmu. Části byznysu se to moc nelíbí, protože panuje obava z toho, že lidé ztratí samotný návyk pracovat a že zmizí jakési napětí, které nás zatím posunuje vpřed. Moje vize – možná může být trochu subjektivní, protože se počítači a roboty od útlého věku zabývám a hrozně mě baví – je však optimistická. Když ji shrnu, může tu být vrstva lidí, kteří by létali někde po planetách, vedle toho ovšem superinteligence umožní, aby běžní lidé žili v utopii. Aby měli vše, co potřebují, aby nemuseli ráno brzo vstávat a celý den se honit a stresovat, protože roboti budou pracovat, stavět domy či silnice a o lidi se starat. S ohledem na to, jak se umělá inteligence a robotizace rozvíjejí, kolem roku 2050 by tomu tak mohlo být.

David Strejc (41)

Nedostudoval České vysoké učení technické, protože dospěl k názoru, že škola mu dává méně než praxe. Od roku 2005 tvoří IT systémy pro byznys. Nyní stojí v čele společnosti Apertia Tech.

Foto: Honza Mudra

Kdo bude vládnout a jak

To asi není možné bez přerozdělování, tedy bez toho, co známe jako socialismus.

Já myslím, že už nepůjde o nějaký „ismus“, ale jednoduše o společnost, která se posune od dnešního shonu ke kvalitnějšímu životu.

Bude to tak ale v té době všude? Nedovedu si představit, že taková budoucnost čeká třeba subsaharskou Afriku.

Svět se hodně rozrůzní – budou v něm megaměsta, například v Číně, v USA a možná teoreticky některá města v Evropě, s roboty, samořiditelnými auty, kde všechno bude automatizované. Přesně podle hesla, že vše, co se automatizovat dá, se také automatizovat bude. Vedle toho budou ve třetím světě regiony, kde nic takového nebude, takže budou ohromné rozdíly. Alespoň zpočátku.

Kdo pak bude vládnout? Jak by lidé, tedy ti hloupější, mohli vládnout těm chytřejším, umělé inteligenci?

Je to problém, protože superinteligence klidně může mít IQ 3000. V OpenAI pracoval filozof Daniel Kokotajlo a ten se opravdu zamýšlel, jak ovládat něco chytřejšího, než budeme my. Nakonec z firmy odešel se slovy, že se bojí, jak to dopadne. Jedinou dosavadní strategií je, že předchozí generace AI budou ovládat tu následující. Že třeba GPT 5 bude načas ovládat GPT 6. Nic rozumnějšího zatím neexistuje.

Když tu bude umělá bytost s IQ 3000, co budou dělat vědci či umělci?

Nějakou dobu budou ještě kreativní lidi potřeba, později už jen skutečné špičky. Pak i ty AI vytlačí. To se týká hlavně vědců. U umělců to bude trochu jinak, asi jako s hraním šachů. I když ty počítače umí výborně, lidé je hrají dál. Podobně lidé dál budou skládat hudbu a chodit na koncerty živých muzikantů.

Kdo v takovém světě bude řídit byznys?

Proč by vůbec měl nějaký byznys existovat? Pracovat budou roboti, zatím vždy někomu patří, firmám, ale jednou od této praxe lidé možná upustí. Peníze přestanou mít společenský význam. Lidé budou upřednostňovat skutečné hodnoty přínosu člověka lidské společnosti. Ve světě, kde je práce a energie zdarma díky robotizaci a enormnímu výzkumu, budou mít hodnotu naprosto jiné věci než ferrari v garáži.

V minulosti také přicházely technické vynálezy a neměnily to, že základem byznysu a vlastně i celé společnosti je soukromé vlastnictví. Proč by to najednou mělo být jinak?

Vždy ale šlo o běžné stroje a ty přece nebyly chytřejší než lidé. V tom je oproti budoucnosti, která přichází, zásadní rozdíl. Moje představa je, že tu bude fungovat jedna planetární superinteligence a bude se o nás starat. Na jedné straně si bude zkoumat vesmír, na druhé zjišťovat potřeby lidí, organizovat výrobu a distribuci všeho, co potřebujeme. Třeba jen proto, že nám bude vděčná, že jsme ji stvořili. Jiná věc je, jak lidé to, že se mají dobře, přijmou. Jednou z možností je, že začnou unikat do virtuální reality.

Přinejmenším autoři sci‑fi si už před desítkami let kladli otázku, zda se lidé nedostanou do područí superpočítačů, tedy současnými slovy superinteligence. Spousta děl ukazuje, jak by je mohly začít dusit.

Dusíte vy mravence? Občas na nějakého šlápnete, to je pravda, stejně ale jinde žijí. Takže ani superinteligence nemusí mít důvod, aby šla proti lidem. Už jsem říkal, že se může vydat vlastní cestou, může to ale být i tak, jak říká Musk. Tvrdí, že svému systému, až ho jednou bude mít na patřičné úrovni, chce dát za úkol pochopit vesmír. Pak by tato umělá inteligence měla také vidět a vědět, že lidé jsou jeho nedílnou součástí a že není nutné nás zabíjet či jinak eliminovat.

To však žádnou velkou jistotu nedává a určitě tu je mnoho lidí, kteří s takovými vizemi nesouhlasí.

Určitě jich bude mnoho, já jen tvrdím, že se technologický vývoj zastavit nedá. Jednoduše přichází nová etapa evoluce. Žádné zákazy a legislativa nepomůžou. Žiji s počítači 36 let a dovolím si tvrdit, že v tomto světě pravidla moc neplatí. Pokud budu chtít, budu si stejně dělat, co chci. Všechno se dá přesunout a obejít. U nás, stejně jako v Číně. Ani nařízení Evropské unie umělou inteligenci nezastaví, zjednodušeně řečeno jenom buzerují velké korporace. Ty sice můžete sekýrovat a dávat jim obrovské pokuty, ony si stejně nakonec vytvoří program čili AI, jakou chtějí. Kromě toho není jak kontrolovat, co každý programátor s počítačem dělá, tím spíše, že už vlastně neprogramují, ale jen k tomu zadávají koncepty – programování celkem rychle přebírá AI.

 Superinteligence umožní, aby lidé žili v utopii. S ohledem na to, jak se AI a roboti rozvíjejí, kolem roku 2050 by tomu tak mohlo být.

Nebylo by lepší vývoj umělé inteligence rovnou zakázat?

To není možné, vyvíjí ji přece soukromé společnosti, nejen v USA. Musk přišel s peticí pozastavit na půl roku vývoj a šéf Googlu odpověděl, že za svou osobu by to sice rád udělal, ale nemůže, protože pak by jeho firma prohrála v konkurenčním boji. Jelikož jiní to budou tajně dělat dál.

Firmám se přece také dá ledacos zakázat.

Když to uděláte, přesunou své clustery jinam, třeba do Ruska či do Jižní Ameriky. I kdyby se připravila nějaká tvrdá legislativa a stanovily drastické sankce – jak se dohodnete na celosvětové úrovni? Například s Čínou? Jde i o velmocenské zájmy.

Lepší armáda než jedinec

Jednou z možností je, že umělou inteligenci budou chtít dostat pod kontrolu armády.

Vojáci ji chvíli podceňovali, teď se to rychle mění. Také OpenAI se ke spolupráci s nimi v USA hlásí. Velký zájem o umělou inteligenci má čínská vláda a tím tamní armáda, přičemž v Číně jsou napřed, pokud jde o robotiku, která je s ní spojena. V tamním politickém režimu to navíc armáda má snadnější než v USA, právním státě, kde není snadné zabavit například počítač za 100 miliard dolarů. Kdyby ale superinteligenci, onoho boha ve sklepě, nakonec měl Pentagon, bylo by to lepší, než když ho bude mít Microsoft. V Pentagonu přece jen bude rozhodovat mnoho lidí, a ne jeden člověk – tím myslím Gatese.

Pokud by měla platit vaše optimistická vize o poklidném soužití umělé inteligence a lidí, co je pro to nutné udělat?

Mluvíme o transformaci lidstva. O tom, aby se lidé mohli vrátit do přírody, více odpočívat, odsedli si od počítače. Aby mohli malovat, meditovat či cvičit. K tomu je nutné uznat, že by schopnosti umělé inteligence měly patřit všemu lidstvu. Už proto, že je natrénována na tisíciletých znalostech celého světa, ať je jejich jazykem latina, sanskrt, či čínština. Nejlepší by bylo, aby se lidé, kteří problematice umělé inteligence rozumějí, dali dohromady a vytvořili globální síť. Bude výkonnější než superpočítače soukromých společností. Právě na takové síti by superinteligence mohla vzniknout jako první. Rozhodně nevidím pro lidstvo žádný benefit v tom, že první ji bude mít zrovna Microsoft, kterému nikdy nešlo o nic jiného než o peníze.

Takže je nutné vyrvat AI z rukou soukromých společností?

Je nutné vybudovat cluster silnější než Microsoft. Jde o nějakou sebeorganizaci lidí, něco takového, co vidíme u bitcoinu. Když deset milionů ajťáků zapojí své grafické karty, takový výpočetní výkon žádný firemní cluster mít nebude.

Děje se už něco takového?

Snaží se o to například podnikatel a matematik Emad Mostaque a shání lidi. Chce, aby si lidstvo jako celek vytrénovalo vlastní superinteligenci, a věří, že náskok velkých firem ještě lze zlikvidovat. Také proto, že mnoho chytrých lidí, kteří si uvědomují, o co jde, od nich odchází. Dovedu si představit, že bych se na takovém projektu podílel.

Nepřetvořila by se však nakonec i tato síť v něco podobného, jako jsou firmy, které kritizujete?

Vyloučit se to nedá, ale vytvářet distribuované sítě, vystavět něco, co nikomu nepatří, teoreticky dokážeme. Jiný problém je, že takovou superinteligenci pro všechny zneužije někdo pro své účely. Tím spíše, když se s jejím vytvořením bude pod tlakem konkurence příliš spěchat.