Ukradne tvář i hlas během sekund. Češi našli způsob, jak se bránit umělé inteligenci
Čtěte e15 v Googlu přednostně
Nastavte si e15 jako preferovaný zdroj a naše články uvidíte ve vyhledávání výš.
- Český podnikatel a mladý výzkumník ze Stanfordu vyvinuli technologii, která má pomoci odhalovat stále dokonalejší podvody pomocí AI.
Jejich startup Synhawk odhaluje falešný obsah vytvořený umělou inteligencí.
- Už spolupracují s nadnárodním operátorem a mají ambice prosadit se na globálním trhu.
Vyděsilo ho, v jakém tempu a jak věrně dokáže umělá inteligence napodobit člověka. Ještě nedávno takový proces vyžadoval minuty nahrávek a desítky snímků, dnes AI stačí několik sekund hlasu a pouhá jedna fotografie k vytvoření takzvaného deepfaku. To je obrazový či zvukový záznam vytvořený nebo upravený umělou inteligencí tak, aby věrohodně napodoboval skutečného člověka.
Neklid a znepokojení z překotného vývoje přiměly spoluzakladatele investiční skupiny Progresus Lukáše Forala a talentovaného studenta a výzkumníka ze Stanford University Matyáše Boháčka k založení firmy Synhawk, která má před výše popsanými podvody ochránit.
V projektu oba muži spojili své zkušenosti a expertizu: Boháčkův dlouhodobý výzkum deepfaků a Foralovy zkušenosti s budováním firem a rozvojem mezinárodního obchodu. „Technologie, která udělala produktivnějšími nás, udělala produktivnějšími i podvodníky. Na podvodu je nejdražší okamžik, kdy mu uvěříte,“ míní CEO společnosti Synhawk a její spoluzakladatel Lukáš Foral.
Detektor důvěry
Cílem projektu Synhawk je chránit důvěryhodnost komunikace napříč komunikačními kanály a pomáhat odhalovat deepfaky i další syntetický či manipulovaný obsah, od audia a videa po fotografie, texty a dokumenty. Tuto ochranu chce postupně přinášet do telekomunikací, bank, videokonferencí i firemních systémů.
„Budujeme globální technologickou firmu s ambicí stát se součástí takzvané infrastruktury důvěry. AI zlevňuje výrobu podvodů a bezpečnostní produkty proti nim jsou místem, kde jsme začali. Skutečný rozsah vidíme v propojení naší technologie s telekomunikačními sítěmi, bankami, firemními platformami a veřejnými institucemi. Ochrana má fungovat přímo tam, kde člověk volá, pracuje nebo platí,“ popisuje Foral.
Jak Synhawk v praxi funguje? Představte si, že vám zavolá někdo hlasem vašeho syna. Tvrdí, že má problém a potřebuje peníze. Ten hlas znáte, dostanete strach a začnete jednat. Budoucnost bezpečné telefonní komunikace proto spočívá v zapojení detekčního modelu, který v reálném čase analyzuje části signálu, rozpozná jeho syntetické vytvoření a během několika sekund vás upozorní.
Spojení s Vodafonem
Synhawk již vykročil mimo laboratoř a spojil se s operátorským obrem Vodafone. Vedle aplikace rozvíjí Synhawk také ochranu online schůzek a technologii pro detekci deepfake hovorů založenou na rozpoznávání syntetických signálů. Její budoucí uplatnění v infrastruktuře operátorů je jedním z témat jednání s telekomunikačními partnery v Evropě i USA.
„Rozdíl je hlavně v tom, kde ochrana funguje a co musí udělat uživatel. V aplikaci si člověk sám nechá ověřit podezřelý obsah. U videokonference probíhá kontrola během hovoru. Ambicí je chránit telefonní komunikaci, aniž by si zákazník musel každý hovor sám kontrolovat. Tyto vrstvy se doplňují. Stejný podvod může začít zprávou, pokračovat telefonátem a skončit falešným platebním dokumentem. Proto nám dává smysl řešit celý průběh, nejen jednu jeho část,“ vysvětluje Foral.
Podle podnikatele Forala již Synhawk jedná s dalšími operátory v zemích Evropské unie, v USA, Kanadě či Spojených arabských emirátech. „Telefonní síť a komunikační nástroje se staly dálnicí pro podvodníky, na které pro ně neplatí žádný rychlostní limit. Operátoři z toho důvodu řeší nejen kvalitu spojení, ale i bezpečnost komunikace. Ochrana před deepfakes jim umožňuje chránit zákazníky, posílit důvěru a nabídnout nové služby,“ dodává Foral.
VIDEO: Kijonková hlásí novou americkou investici a buduje finanční impérium po vzoru Rothschildů. Promluvila o tom v pořadu FLOW.
Stopy, které člověk nevidí
Technologickým jádrem firmy mají být vlastní základové modely pro integritu komunikace. Boháček tvrdí, že problém autenticity nelze vyřešit pouze jazykovými modely.
„Máme vlastní architekturu, která nám umožňuje pracovat s různými typy médií a s dodatečným kontextem specifickým pro tuto problematiku. Vybudování a natrénování modelů bylo z hlediska dat, grafických procesorů i celkového času podstatně těžší než u běžných modelů strojového učení. Výsledkem je ale vyšší robustnost v čase a flexibilita. Modely vykazují i schopnosti, na které jsme je vůbec netrénovali,“ popisuje Boháček, který na Stanfordu působí již tři roky.
„Jednou z jejich schopností je identifikovat vzorce v signálu, které lidské oko nebo ucho nezaregistruje, ale generativní AI je ve vytvořeném obsahu zanechává. Současně pracují s kontextem komunikační situace, metadaty, kryptografickou verifikací, pokud je dostupná, a dalšími vrstvami. Výhodou základových modelů je, že do nich můžeme postupně dotrénovávat nové schopnosti, až se hrozby rozrostou za hranice dnešních deepfaků,“ dodává student.
Mezi čistou laboratorní nahrávkou a skutečným telefonátem existuje značný rozdíl. Výsledek ovlivňuje hluk, komprese, nekvalitní spojení, přízvuk, jazyk i několik současně mluvících lidí. Detektor tedy musí doplnit i ověření identity a další bezpečné schvalovací procesy.
„Neexistuje jedna zázračná stopa, podle které poznáte každý falešný hlas nebo obraz. Jde o kombinaci signálů, které člověk běžně nepostřehne. Nemá smysl říkat jedno číslo přesnosti bez vysvětlení, na čem a za jakých podmínek bylo naměřeno. Kdo vám bez těchto podmínek slíbí stoprocentní detekci, prodává falešný pocit bezpečí,“ upozorňuje Foral.
Jeden z nejúspěšnějších českých vědců v oblasti AI
Matyáš Boháček se možnostem odhalování syntetického obsahu věnuje více než šest let. Je přesvědčený, že problém s vytvářením podvodů pomocí AI je širší a deepfaky představují jen pomyslnou špičku ledovce.
„Jsou pouze jedním aspektem hrozby, kterou AI přináší pro důvěryhodnost informací a komunikace. Když jsem možnosti jejich zneužití a ochrany před nimi začal před více než šesti lety studovat, šlo především o výzkumný problém. Teprve v poslední době vidíme reálné dopady na firmy i jednotlivce,“ uvažuje dvaadvacetiletý student ze Stanfordské univerzity, jenž patří k nejúspěšnějším českým vědcům v oblasti AI. „Očekávám, že rozsah a síla těchto útoků, nejen v podobě deepfaků, budou dál růst,“ doplňuje Boháček.
Investor se studentem na sebe narazili v době, kdy Boháček řešil, jak si poradí s finančně náročným studiem ve Spojených státech. Foral se tehdy se svými společníky rozhodl, že Boháčkovi se stipendiem na Stanfordské univerzitě pomůže.
„S Matym jsme se poznali díky jeho cestě na Stanford. Chtěli jsme tehdy pomoci finančně talentovaným mladým lidem se studiem a já si přečetl rozhovor o jeho práci na odhalování deepfake videí ukrajinského prezidenta Volodymyra Zelenského. Rozhodli jsme se Matyho finančně podpořit a postupně mezi námi vzniklo přátelství. Zaujal mě tím, jaký je člověk. Skromný, pokorný, ale přitom mimořádně odhodlaný. Měl jasno v tom, co chce dělat, a byl přesvědčený, že svými schopnostmi může pomáhat lidem. Když jste ho poslouchal, cítil jste, jak moc tomu věří. To na mě udělalo obrovský dojem,“ vzpomíná Foral.
„Každý měsíc jsme si volali, probírali jeho práci i další plány. Postupně se v těch hovorech začala vracet jedna otázka: jak dostat jeho technologii k milionům lidí? Shodli jsme se, že přes telekomunikační operátory máme šanci dostat ochranu přímo k lidem, kteří ji potřebují. A právě z těchto debat vyrostlo naše dnešní partnerství,“ dodává Foral.
Kdo je tu napřed?
Cílem Matyáše Boháčka je, aby Synhawk monitoroval nové generativní modely a nedostatky odstraňoval do jednoho dne od jejich vypuknutí.
„Způsob, jakým model stavíme, jej činí schopným fungovat i na neznámé varianty generativní AI, které právě vyšly. Abychom zachytili výjimky, máme vlastní systém, který nové modely a obecně AI informační útoky živě monitoruje, testuje schopnosti naší ochrany a prostřednictvím kontinuálního učení případné nedostatky rovnou řeší,“ tvrdí Boháček.
Podle něj lze v tomto očekávat nikdy nekončící závod. „Podvodníci bohužel nemají release plán. Nemůžeme čekat, že jednou vytvoříme model a na několik let máme hotovo. Je to podobné jako s antivirem. Bez průběžných aktualizací vám dlouhodobě nepomůže. Budou někdy útočníci o krok napřed? Ano. Kdo v bezpečnosti tvrdí opak, slibuje něco, co nemůže spolehlivě zaručit. Naším úkolem je jejich náskok co nejvíc zkrátit a dát člověku včas upozornění, aby pod tlakem neudělal chybu,“ doplňuje Foral.
Motivace zločinců je navíc mimořádná. Největší mezinárodní policejní organizace na světě Interpol ve svém letošním hodnocení globálních finančních podvodů uvedla, že podvody posílené umělou inteligencí jsou podle dostupných odhadů 4,5krát výnosnější než tradiční metody. AI umožňuje útoky automatizovat, personalizovat a ve velkém zkoušet na mnohem větším počtu obětí.
Nejvíce teď firma investuje do výzkumného týmu a výpočetní infrastruktury. „Po prvních obchodních výsledcích jsme uzavřeli seed v řádu milionů dolarů (pre-seed představuje počáteční investici do ověření nápadu a vývoje produktu, seed navazující kapitál pro další rozvoj firmy – pozn. red.). Letos jsme společnost založili a dosáhli prvních příjmů od zákazníků. Vedle investorů, kteří s námi realizovali pre-seed i seed, máme pro případná další kola otevřené přísliby od fondů z Velké Británie a Spojených států, včetně světově známých jmen,“ nastiňuje Foral.
Evropa musí posílit
V širší oblasti detekce deepfaků působí i silně financované americké firmy. Synhawk svou specifickou pozici staví na vlastních modelech a jejich zamýšleném využití v telekomunikační infrastruktuře, kde podle zakladatelů nabízí ve světovém měřítku unikátní přístup. „Naši odlišnost a konkurenční výhodu spatřuji ve vlastním výzkumu, vlastních modelech a ve způsobu, jak jednotlivé technologie propojujeme. Máme kontrolu nad tím, na čem se modely učí, jak je testujeme a jak je přizpůsobujeme novým hrozbám,“ přibližuje Foral.
Připomněl případ britské inženýrské společnosti Arup, která při podvodu s digitálně napodobenými manažery přišla v roce 2024 přibližně o 25 milionů dolarů. Útočníci neprolomili firemní systémy, ale během falešné videokonference přesvědčili zaměstnance k odeslání patnácti plateb. Ale je tu i další známý případ. Podle zářijové zprávy agentury Reuters vylákali podvodníci z banky Fideuram, jež je součástí skupiny Intesa Sanpaolo, 95 milionů eur. Využili falešné zprávy od adresáta vydávajícího se za vedení skupiny a telefonát s pomocí AI napodobující právníka.
Také česká policie eviduje případy, kdy deepfake videa známých osobností přivedla oběti k podvodným investicím se ztrátami až přes milion korun. Videa sloužila jako návnada k získání důvěry, po čemž následovalo vylákání peněz ze strany údajných investičních poradců.
Výzkumný tým Synhawku působí v Evropě i ve Spojených státech. Podle Forala je důležité, aby evropské struktury dovolily firmám jako Synhawk růst a umožnily jejich expanzi. „Je klíčové, aby získaly první velké zákazníky, vyrostly a vyrazily do světa. Výzkumný grant je dobrý začátek. Objednávka od velkého zákazníka je však to, co z technologie teprve udělá fungující firmu. Pokud chce Evropa vlastní technologické lídry, musí jim dát šanci stát se jejími dodavateli. Český původ pro nás není strop. Je to místo, odkud jsme vyrazili,“ burcuje Foral.
