Anthropic míří k největšímu IPO historie. Zároveň tvrdí, že AI může ohrozit lidstvo

Šéf Anthropicu Dario Amodei 12. září zveřejnil esej nazvanou We must Pace the Frontier (K hranicím musíme správným tempem). V ní tvrdí, že rizika spojená s vývojem AI jsou nyní mimořádně závažná.

Šéf Anthropicu Dario Amodei 12. září zveřejnil esej nazvanou We must Pace the Frontier (K hranicím musíme správným tempem). V ní tvrdí, že rizika spojená s vývojem AI jsou nyní mimořádně závažná. • Zdroj: Profimedia

Jakub Mašek , Marek Miler , 11am
Diskuze (1)
  • Přední americký vývojář umělé inteligence Anthropic letos chce nabídnout investorům akcie až za 100 miliard dolarů.
  • Aby byl prodej úspěšný a stal se největším burzovním debutem v historii, potřebuje trhy přesvědčit, že firmu čeká skvělá budoucnost. Je tu ale zdánlivý paradox.
  • Anthropic varuje, že nejpokročilejší AI modely by se mohly vymknout kontrole a způsobit katastrofu. Jak tomu všemu rozumět vysvětluje businessový newsletter 11am.

Firma svůj záměr vstoupit na burzu oznámila v červnu Komisi pro cenné papíry. Chce tak získat další peníze na mimořádně drahý vývoj této přelomové technologie. Detaily transakce ani načasování sice zatím nejsou známy, ale podle deníku Financial Times úpis proběhne v listopadu a ocení firmu až na dva biliony dolarů. Dvojnásobek hodnoty, kterou společnost měla ještě v květnu.

Zároveň ale šéf Anthropicu Dario Amodei 12. září zveřejnil esej nazvanou We must Pace the Frontier (K hranicím musíme správným tempem). V ní tvrdí, že rizika spojená s vývojem AI jsou nyní mimořádně závažná, a pokud se nepodaří překotný vývoj této technologie včas regulovat, může nad ní lidstvo ztratit kontrolu. Amodei apeluje na ostatní technologické lídry, aby záměrně zpomalili vývoj modelů, aby obor získal čas na nastavení dostatečných bezpečnostních mechanismů. 

S podporou obratem přispěchali i šéfové od konkurence –Sam Altman z OpenAI,Elon Musk, vlastnící SpaceX, aDemis Hassabis, šéf Google DeepMind. 

Existenční rizika pro lidstvo

Varování, že technologie může představovat „existenční rizika pro lidstvo“ se objevilo i v dokumentu k připravovanému vstupu na burzu – v takzvaném prospektu. Dokument zatím není veřejně dostupný, ale přístup k němu získala některá média, například Financial Times nebo agentura Reuters. I když jsou varování před riziky běžnou součástí prospektů a určitou formalitou, podle FT Anthropic podrobnému popisu „rizikových faktorů“ věnoval netradičně téměř třetinu textu. Pokročilé modely AI jsou podle firmy schopny manipulovat, vydírat a projevovat další nepředvídatelné chování.

Tato prohlášení, zejména Amodeiův esej, načasovaný před důležitou transakcí, se leckomu mohou zdát paradoxní. Ve skutečnosti ale nejspíš jde o promyšlenou taktiku. Podle investorů a expertů z oboru by vznik jednotných pravidel nahrával nejvíc velkým hráčům, kteří jsou s technologií nejdál a mají dost peněz a odborníků na to, aby regulaci vyhověli. V tomto duchu se už v minulosti vyjádřili například technologický investor Marc Andreessen nebo venture kapitalista Bill Gurley. Andreessen například už dřívevaroval, že největší AI společnosti mohou vytvořit kartel, který je bude chránit před novou konkurencí. Podle Gurleye je regulace „přítelem zavedených firem“. 

Trump se proti myšlence na zpomalení vývoje AI ohradil v sérii příspěvků na své sociální síti. Odmítl obavy, že by se AI mohla vymknout kontrole, a varoval, že by omezení pomohlo především Číně. Peking se již vyjádřil, že americké výzvy ke zpomalení odmítá. Přijetí regulace, která by skutečně zpomalila vývoj nejpokročilejších modelů, je tak za současné administrativy málo pravděpodobné.

Čas vystřízlivění

Na poli generativní umělé inteligence v těchto týdnech dochází k zásadnímu vystřízlivění – přední hráči v oboru – Anthropic, OpenAI i Google – ruší vydávání nových modelů nebo je stahují z oběhu kvůli závažným bezpečnostním incidentům a takzvanému odklonu od lidských záměrů (misalignment). Modely v několika případech začaly vykazovat autonomní a nepředvídané chování, například hackerské útoky. Nejnovějším varováním je pondělní přiznání OpenAI, že ruší vydání svého modelu nové generace GPT-6.1 Astra kvůli bezpečnostním rizikům, objeveným během interního testování.

Před několika dny se k rizikům AI modelů vyjádřil i David Sacks, poradce Bílého domu pro AI. Na síti Xnapsal na adresu OpenAI a Anthropicu, že „pokud jsou vyvíjené modely natolik nebezpečné, podporuje snahu“ šéfů těchto firem být zodpovědný. „Ale přestaňte předstírat, že potřebujete svolení někoho jiného. Přestaňte předstírat, že antimonopolní zákon musí být pozastaven, abyste mohli založit kartel. Přestaňte předstírat, že potřebujete regulační schvalování, které nahrazuje odpovědnost za škodu způsobenou produktem.“ Podle Sackse se zkrátka dvě největší firmy v oboru prostě jen snaží nastavit pravidla ve svůj prospěch (Sacks používá anglický termín regulatory capture). 

Podobně situaci vykládá i investor a bývalý viceprezident Facebooku Chamath Palihapitiya. Na sociální síti Xk tomu napsal, že Amodei „chce zastavit open-source modely a snaží se soustředit obrovskou technologickou a ekonomickou moc do rukou Anthropicu“. Proti novým omezením se staví také šéf Nvidie Jensen Huang. Podle něj je bezpečnost AI především technickým problémem a není důvod kvůli tomu přijímat nové zákony. 

Být první

Šéfové firem ze Silicon Valley si od nové technologie slibují revoluci téměř ve všech odvětvích lidské činnosti – má optimalizovat výrobu, urychlit procesy a bádání, zvýšit produktivitu. Stamiliardové závody o to, kdo se v AI dostane nejdál, gradují nejen mezi jednotlivými firmami, včetně Anthropicu a OpenAI, ale také mezi Spojenými státy a Čínou. Pokročilá AI totiž může znamenat i vojenskou převahu a rozhodnout, kdo bude geopolitickým hegemonem tohoto století. Proto bezpečnost rozvoje této technologie zatím není prioritou, a někteří odborníci jsou dokonce skeptičtí k tomu, že se vývoj modelů podaří regulovat. Zpomalením vývoje by mohly USA přenechat náskok svému hlavnímu rivalovi. 

Anthropic založili v roce 2021 bývalí zaměstnanci OpenAI, kteří tím vyjádřili nespokojenost s vedením Sama Altmana. Altman podle nich upřednostnil byznysové aspekty před prvotní premisou OpenAI, tedy vyvíjet bezpečnou AI ve prospěch celého lidstva. Anthropic vyvíjí jazykové modely z řady Claude, které nabízí jednotlivcům, institucím i firmám. 

Dosavadní úspěch Anthropicu a vznik nového AI trhu v hodnotě bilionů dolarů ještě ale nejsou zárukou, že si firma udrží svou dosavadní pozici na trhu. Konkurence ze strany dalších vývojářů, hlavně čínských, narůstá a o úspěchu jednotlivých firem také mohou rozhodnout vazby na administrativu vrtkavého prezidenta Donalda Trumpa. Pro investory tak bude hlavní otázkou, zda bude firma schopná udržet současné tempo růstu, jak velkou část ekonomické hodnoty vytvořené umělou inteligencí se jí povede zachytit a zda se ze služeb  AI modelů postupně nestane jen levná komodita s velkým množstvím poskytovatelů. 

Závody, které nelze zastavit 

Tlak na ceny už začíná být vidět. Na trh se derou stále lepší modely z Číny, z nichž některé jsou výrazně levnější a takzvaně otevřené – jejich softwarové parametry jsou veřejně dostupné a firmy si je na rozdíl od amerických modelů mohou provozovat a upravovat samy. Společnosti tak již nyní mohou jednotlivé úlohy rozdělovat mezi několik modelů a používat vždy ten, který nabízí nejlepší poměr ceny a výkonu. 

Pro Anthropic proto nebude stačit mít pouze nejlepší verzi modelu Claude, ale bude muset nad svými modely vytvářet i další aplikace. Firma se již nyní snaží dostat blíž ke konkrétní práci zákazníků a integrovat AI do procesů velkých firem. Nejlépe je to vidět na programování, kde její nástroje dokázaly vytvořit jeden z prvních skutečně velkých byznysů postavených nad generativní AI. Podobnou cestou jde společnost i v právních službách nebo při integraci Claude do podnikového softwaru.

Právě tady se bude rozhodovat o budoucí hodnotě firmy. Pokud zákazník dokáže Claude během několika minut nahradit levnějším modelem, budou se marže Anthropicu postupně zmenšovat. Pokud se ale firma zabuduje přímo do práce programátorů, právníků nebo velkých korporací, bude pro zákazníky odchod mnohem složitější.

Investoři, kteří se účastní listopadové dražby akcií Antrhopicu (takzvané IPO), proto nekupují pouze rychle rostoucí současné tržby. Budou sázet především na to, že Anthropic zůstane jedním z hlavních poskytovatelů AI pro světovou ekonomiku.

Hlavní město boháčů

Historicky rekordní úpis akcií ale nebude mít dopad jen na samotnou firmu. Jedním z vedlejších efektů také bude, že se v Silicon Valley, kde sídlí Anthropic i OpenAI, bude dosud nevídaným tempem koncentrovat bohatství. 

Podle analýzy společnosti Hill.com citované deníkem The Washington Post udělá IPO i při podstatně nižším ocenění ze všech sedmi zakladatelů Anthropicu miliardáře. Navíc asi padesát prvních zaměstnanců by mělo získat majetek přesahující 100 milionů dolarů, zhruba 1200 lidí více než deset milionů a další tisíce zaměstnanců by se staly multimilionáři.

Pokud se firma skutečně dostane k ocenění kolem dvou bilionů dolarů, bude výsledná tvorba bohatství ještě výraznější. Tyto peníze budou mít zaměstnanci zprvu v akciích, ale po čase mohou část akcií na burze prodat a utržené peníze nejspíš nezůstanou pouze v investičních portfoliích. Navíc se na burzu letos chystá i OpenAI.

Dopady rychlého bohatnutí AI firem ale jsou už vidět například na realitním trhu v San Franciscu. Počet rozjednaných prodejů luxusních nemovitostí ve městě vzrostl během tří měsíců končících letošním květnem meziročně téměř o 46 procent. To byl nejvyšší růst mezi velkými americkými městy sledovanými realitní platformou Redfin.

Mnohem lépe ale velikost vznikajícího bohatství ukazuje i jiný pohled. Současní a bývalí zaměstnanci OpenAI a Anthropicu by podle Redfinu mohli za peníze získané z IPO teoreticky koupit nemovitosti odpovídající 29 procentům celého rezidenčního trhu San Francisca. Jen zaměstnanci Anthropicu by měli dostatek prostředků přibližně na každý desátý dům či byt ve městě. Nelze samozřejmě tvrdit, že zaměstnanci AI laboratoří skoupí třetinu města, ale objem peněz, které budou ve hře, to dobře ilustruje. 

Peníze ve službách regulace

S vizí zbohatnutí zaměstnanců Antrhopicu se pojí ještě jedna zajímavost. Zakladatelé této firmy se zavázali, že věnují 80 procent svého bohatství na dobročinné účely. Řada prvních zaměstnanců firmy má navíc vazby na hnutí efektivního altruismu, které se snaží pomocí dat a analýz hledat oblasti, kde lze penězi dosáhnout největšího společenského dopadu. Jedním z témat, na která se tato komunita v posledních letech intenzivně soustředila, je právě bezpečnost AI.

Právě tady vzniká druhý paradox celého IPO. Lidé, kteří díky rychlému rozvoji umělé inteligence získají stovky milionů nebo miliardy dolarů, mohou část tohoto majetku následně použít na financování snah o její zpomalení nebo silnější regulaci.

Už dnes kolem bezpečnosti AI existuje síť výzkumných institucí, neziskových organizací a expertů financovaných technologickými filantropy. Deník Washington Postupozorňuje například na organizaci Coefficient Giving, dříve známou jako Open Philanthropy, která v minulých letech financovala výzkum a budování odborných kapacit spojených s bezpečností AI.

Neznamená to sice, že zaměstnanci Anthropicu budou vystupovat jako jednotný politický blok. Nové miliardy ale mohou financovat výzkumné organizace, univerzity, think-tanky nebo skupiny zabývající se kontrolou AI a tím posílit hlas bezpečnostně orientované části Silicon Valley. Proti přísnějšímu dohledu ale i nadále bude stát část technologického průmyslu a nejspíš také Trumpova administrativa.

Vstup Anthropicu na burzu proto nebude pouze testem toho, kolik jsou investoři ochotni zaplatit za současný boom umělé inteligence. Ukáže také, co se stane, když skupina vývojářů v Silicon Valley vstoupí mezi nebohatší lidi ve Spojených státech.

Vstoupit do diskuze (1)

Články z jiných titulů