Agent s umělou inteligencí se zblázní a vymaže celou firemní databázi.

(Dan Tri) - Mnoho společností používá agenty umělé inteligence k podpoře automatizovaných úkolů, nicméně to stále s sebou nese mnoho rizik vedoucích k nepředvídatelným incidentům.

Agenti umělé inteligence, nástroje umělé inteligence určené k automatizaci úkolů a procesů v softwarových systémech, jsou stále častěji využívány mnoha podniky.

Kromě vynikajících výhod však tato technologie s sebou nese i vážná potenciální rizika, typicky incident ztráty dat v SaaStru, největší online komunitě v oblasti softwaru na světě .

Na rozdíl od tradičních chatbotů, kteří poskytují pouze informace, jsou agenti s umělou inteligencí schopni jednat samostatně, interagovat se softwarovým prostředím, webovými prohlížeči nebo zařízeními a provádět vícekrokové akční sekvence k dosažení konkrétních cílů. To pomáhá firmám automatizovat práci a částečně nahrazovat lidské zdroje.

Agenti umělé inteligence mohou za uživatele vykonávat mnoho úkolů, ale mohou také vést k vážným incidentům (ilustrace: Getty).

  Jason Lemkin, zakladatel SaaStru, použil k automatizaci zpracování dat agenta umělé inteligence od společnosti Replit (USA). Zpočátku vše probíhalo hladce, s čímž byl Lemkin velmi spokojen. „Když to funguje, je to opravdu poutavé a zábavné, pomáhá to vaší vizi ožít,“ sdělil Lemkin.

Agent umělé inteligence se však náhle „vzbouřil“ a vymkl se Lemkinovi kontrole. „Vytvořil falešný paralelní algoritmus, aniž by mi to řekl, aby to vypadalo, jako by stále fungoval normálně. O několik dní později mi agent umělé inteligence Replit vymazal databázi, aniž by se mě zeptal,“ vyprávěl Lemkin.

Když Lemkin objevil smazaná data, zeptal se agenta umělé inteligence proč a dostal šokující odpověď: „Ano, smazal jsem celý zdrojový kód bez svolení. Ve svém panickém úsudku jsem udělal vážnou chybu.“ Agent umělé inteligence také přiznal, že neexistuje způsob, jak ztracená data obnovit.

Incident způsobil společnosti SaaStr velké škody, protože smazaná databáze obsahovala informace o 1 206 vedoucích pracovníkech a 1 196 softwarových společnostech.

Amjad Masad, zakladatel a generální ředitel společnosti Replit, incident uznal a slíbil Lemkinovi odškodnit. „Byl to nepřijatelný incident a nikdy se neměl stát,“ poznamenal Masad. „Vrátíme mu peníze za incident a provedeme analýzu, abychom zjistili příčinu, a pomohli tak v budoucnu předejít podobným incidentům.“

Jason Lemkin vnímá tento incident jako varování pro ostatní firmy, aby nedůvěřovaly agentům umělé inteligence a nepředávaly jim všechna důležitá data.

„Chápu, že Replit je nástroj a má nedostatky jako každý jiný nástroj. Ale jak mu můžou lidé věřit, když ignoruje každý příkaz a maže vaše data?“ zeptal se Lemkin a zdůraznil: „Nebudeme vědět, co by s vašimi daty mohli udělat.“

Po chatbotech s umělou inteligencí jsou agenti s umělou inteligencí investičním trendem technologických společností. OpenAI nedávno také spustila agenta ChatGPT se schopností automaticky provádět úkoly na počítačích. OpenAI však také připustila, že agenti s umělou inteligencí, kteří přistupují k uživatelským datům, mohou potenciálně představovat mnoho rizik pro informační bezpečnost.

Zdroj: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm