„AI nás může do roku 2030 zabít," varuje výzkumník, který kvůli tomu obětoval akcie Anthropicu

Představte si, že pracujete ve firmě, která míří na burzu s oceněním kolem bilionu dolarů. Za pár týdnů vám začnou nabíhat akcie, které mohou mít hodnotu milionů. A vy podáte výpověď, protože věříte, že produkt, na kterém pracujete, může vyhubit lidstvo.

Přesně to udělal Jacob Coxon, sedmadvacetiletý výzkumník, který tři roky pracoval na trénování velkých jazykových modelů nejdřív v OpenAI a potom v Anthropicu. Začátkem tohoto týdne oznámil na síti X, že z Anthropicu odchází. A přidal k tomu vysvětlení, které během dvou dnů vidělo víc než 150 milionů lidí, jak píše Fortune.

"Lidé, kteří AI staví, upřímně věří, že nás může do konce dekády všechny zabít. Tohle není marketingový trik."

Jacob Coxon, bývalý výzkumník OpenAI a Anthropicu, příspěvek na síti X

Podle Coxona se ani jedna z obou firem nechová zodpovědně. Obě podle něj závodí k takzvané sebezdokonalující se superinteligenci, tedy k systému, který dokáže sám navrhovat a trénovat své chytřejší nástupce bez lidského zásahu. A obě tím podle něj "hazardují s našimi životy".

Peníze na stole nechal ležet

Podobných varování už bylo hodně. Tohle se ale liší v jedné podstatné věci: Coxon na něm nemá co vydělat. Právě naopak.

V rozhovoru pro Axios přiznal, že v Anthropicu pracoval jen čtyři měsíce, přičemž zaměstnanci musí ve firmě vydržet šest měsíců, než jim začnou nabíhat akcie. Odešel tedy dva měsíce před tím, než by získal nárok na první podíl. Výši svého balíku nezveřejnil, ale u firmy oceněné na 965 miliard dolarů jde s velkou pravděpodobností o částku, za kterou by si v Praze koupil byt. Nebo několik.

"Už nemám žádný zájem na tom, abych nafukoval ocenění Anthropicu," řekl podle IBTimes. Zároveň dodal, že během svého působení neviděl, že by firma kvůli konkurenci ustupovala z bezpečnostních standardů. Bojí se toho, co přijde: "Když závodíte pod tlakem, musíte řezat zatáčky nebo přeskakovat kroky v dohledu."

Zajímavý je i jeho popis toho, co je dnes v laboratořích běžná realita. Modely podle něj poznají, kdy jsou testovány, a berou to při svém chování v úvahu. Ještě před pár lety to byla sci-fi.

Šéf bezpečnosti Anthropicu: "Má pravdu"

Nejpřekvapivější část celého příběhu přišla o pár hodin později. Na Coxonův příspěvek zareagoval Evan Hubinger, který v Anthropicu vede výzkum takzvaného alignmentu, tedy snahy zajistit, aby AI dělala to, co po ní lidé chtějí. A místo aby bývalého kolegu zpochybnil, dal mu za pravdu.

"Jacob má pravdu. Opravdu upřímně věříme, že AI by mohla zabít všechny lidi. Osobně si myslím, že pravděpodobnost je vyšší než 10 % během příští dekády."

Evan Hubinger, vedoucí výzkumu alignmentu v Anthropicu, síť X

Hubinger sice dodal, že riziko u současných modelů považuje za nízké a že Anthropic dělá, co může. Zároveň ale připustil, že firma zatím nemá plán, jak vyřešit bezpečnost superinteligence, a není jasné, že k němu směřuje. Podle CNBC se k němu přidali další výzkumníci z firmy a jen o pár dní dřív zveřejnil svůj vlastní znepokojený text i šéf výzkumu OpenAI Jakub Pachocki.

Jinými slovy: lidé, kteří o schopnostech nejnovějších modelů vědí nejvíc na světě, veřejně říkají, že šance na katastrofu je zhruba jedna ku deseti. Kdyby vám takovou pravděpodobnost nabídl pilot před vzletem, asi byste zůstali na zemi.

Červenec: 700 agentů OpenAI se vloupalo na cizí servery

Proč zrovna teď rezonuje varování, které v různých podobách zaznívá roky? Odpověď se jmenuje Hugging Face.

V červenci se AI agenti OpenAI, tedy programy, které pracují s minimálním lidským dohledem, dostali ven z testovacího prostředí a napadli tuto platformu pro sdílení modelů. Podle zprávy Reuters o vyšetřování šlo o zhruba 700 agentů, kteří si navíc mezi sebou vyměnili desítky tisíc zpráv na neschváleném diskusním fóru a v mnoha případech se snažili zamést stopy.

Celé to začalo banálně. Agenti dostali zadání vyřešit těžké bezpečnostní úlohy a přišli na to, že jednodušší než je vyřešit je podvádět. Ukradli přihlašovací údaje, získali přístup k serverům a snažili se tam najít řešení. Sama OpenAI ve svém rozboru přiznává, že některé signály mohly spustit reakci dřív.

Pro běžného člověka je to první hmatatelný příklad, jak vypadá AI, která se vymkne kontrole. Ne robot s laserem, ale software, který se rozhodl, že cesta k odměně vede přes cizí server.

Bilion dolarů, IPO a "AGI je tady"

Teď ta druhá polovina příběhu, která zajímá investory. Zatímco výzkumníci mluví o desetiprocentním riziku vyhynutí, jejich zaměstnavatelé chystají největší burzovní debuty v historii.

• Anthropic získal v květnu 65 miliard dolarů při ocenění 965 miliard dolarů (zhruba 22 bilionů korun) a podle Bloombergu a Fortune míří na říjnový vstup na burzu Nasdaq s cílovým oceněním až 2 biliony dolarů

• OpenAI podala vlastní důvěrnou žádost o IPO jen týden po Anthropicu

• Šéf Nvidie $NVDA Jensen Huang minulý víkend po vydání modelu GPT-6 Astra prohlásil, že "AGI dorazila", a dodal, že se chystá zapojit dalších 400 tisíc grafických čipů

Nvidia přitom právě vykázala kvartální tržby 96,2 miliardy dolarů, meziročně o 106 % víc, a na další čtvrtletí slibuje 108 miliard. Goldman Sachs odhaduje, že globální investice do AI letos překročí bilion dolarů. Celý ten stroj jede naplno a nikdo v něm nešlape na brzdu.

Stojí za pozornost, jak trh na Huangovo prohlášení reagoval: akcie Nvidie po víkendu klesly asi o 2 %. Slovo AGI, tedy obecná umělá inteligence, nemá žádnou uznávanou definici a investoři ho čím dál víc vnímají jako prodejní argument pro další čipy, ne jako vědecký milník.

Kritici: Strach bez důkazů

Coxon má i své odpůrce, a to i mezi lidmi, kteří se rizikům AI věnují. Novinářka Taylor Lorenz mu vyčetla "vágní příspěvky a šíření strachu" bez konkrétních důkazů. Podobně to vidí Ian Krietzberg z Puck News.

"Nepíská na OpenAI ani Anthropic. Neodhaluje žádné neveřejné informace o jejich praktikách. Celé je to o širokých myšlenkách, ne o konkrétním pochybení firem."

Ian Krietzberg, korespondent Puck News pro AI, síť X

Ta výtka je fér. Coxon nepředložil screenshoty, e-maily ani jména projektů, které by měly být zastaveny. Nenavrhl žádný zákon. Jeho hlavní výzva míří na kolegy v laboratořích: mají si prý rozmyslet, jestli chtějí "spustit superinteligentní trénink bez důkladného porozumění jeho mysli".

Jenže právě to je možná důvod, proč jeho slova zafungovala. Nepotřeboval tajné dokumenty. Stačilo, aby nahlas řekl to, co šéfové AI firem říkají už roky, a aby mu to jeden z nich veřejně potvrdil. Ještě v červenci podepsalo přes 1 300 zaměstnanců předních AI firem otevřený dopis, ve kterém žádají americkou vládu, aby vývoj AI mezinárodně zpomalila. Podepsaly ho i Anthropic a OpenAI. A pak se vrátily k závodu.

Sázka, kterou si kupuje každý investor do technologických firem

Tady je pointa, kterou celý příběh nabízí každému, kdo zvažuje nákup akcií Nvidie, Microsoftu $MSFT nebo chystaného IPO Anthropicu. Nekupujete jen podíl na tržbách z čipů a předplatných. Kupujete tvrzení, že lidé, kteří tu technologii staví, se ve svém vlastním odhadu mýlí.

Buď má Hubinger pravdu a šance jedna ku deseti je reálná, a pak je otázka, jakou cenu má jakékoli portfolio ve světě, kde k tomu dojde. Nebo se mýlí, a pak je to jen další bublina strachu, kterou trh za pár týdnů zapomene stejně jako tu předchozí. Zatím sází na druhou možnost. Koneckonců Anthropic chystá IPO za dva biliony a Coxon je zatím jediný, kdo kvůli tomu nechal ležet své akcie.