AI v kybernetické bezpečnosti: jak AI pomáhá útočníkům i obráncům

AI v kybernetické bezpečnosti působí na obou stranách barikády. Útočníkům pomáhá psát přesvědčivější podvodné e-maily, napodobit hlas ředitele nebo rychleji zmapovat cíl. Obráncům zase umožňuje odhalit neobvyklé chování v síti, třídit tisíce výstrah a rychleji reagovat na incidenty. A vzniká i třetí oblast: bezpečnost samotných AI nástrojů, které firmy zavádějí. V tomto článku projdeme všechny tři pohledy obecně a srozumitelně a ukážeme, jaké kroky dávají smysl pro české firmy.

Jak AI mění kyberútoky

Umělá inteligence nevymyslela nové druhy útoků z ničeho. Hlavně zlevňuje a urychluje ty, které už známe, a zvyšuje jejich přesvědčivost.

AI phishing

Dříve se podvodné e-maily často prozradily špatnou češtinou, divnými formulacemi nebo obecným oslovením. S generativní AI může útočník během chvíle připravit text bez chyb, přizpůsobený konkrétní firmě, oddělení nebo člověku, a to v libovolném jazyce. Phishing tak vypadá jako běžná pracovní komunikace: faktura od dodavatele, žádost kolegy o sdílení dokumentu nebo upozornění na přihlášení.

Deepfake hlas a video

AI umí z krátké nahrávky napodobit hlas konkrétního člověka. Typický scénář je telefonát „ředitele“, který spěchá a žádá urgentní platbu nebo změnu čísla účtu. Podobně lze vytvořit falešné video. Jak takový obsah rozpoznat, popisuje článek jak poznat deepfake, praktické obranné postupy shrnuje AI podvody: jak se bránit.

Automatizovaný průzkum cíle

Než útočník zaútočí, sbírá informace: kdo ve firmě pracuje, jaké používá systémy, kdo schvaluje platby. AI dokáže veřejně dostupné informace rychle projít, shrnout a připravit z nich podklady pro cílený útok. Proto je dobré zvážit, co firma a zaměstnanci zveřejňují.

AI detekce hrozeb a obrana

Na straně obrany je AI užitečná hlavně tam, kde je dat příliš mnoho na ruční kontrolu.

Detekce anomálií

Bezpečnostní nástroje se učí, jak vypadá běžný provoz: kdo se kdy přihlašuje, odkud, jaká data obvykle stahuje. Když se objeví něco neobvyklého, třeba přihlášení v noci z jiné země nebo náhlé stahování velkého množství souborů, systém upozorní. Výhodou je, že dokáže zachytit i útoky, pro které zatím neexistuje známý „podpis“.

Pomoc bezpečnostním týmům (SOC)

Bezpečnostní dohledová centra, označovaná jako SOC, denně řeší obrovské množství výstrah, z nichž většina je neškodná. AI asistenti pomáhají výstrahy shrnout, propojit související události, navrhnout pravděpodobnou příčinu a připravit podklady pro analytika. Člověk tak tráví méně času rutinou a víc rozhodováním.

Třídění a prioritizace

Při incidentu rozhoduje rychlost. AI může pomoct určit, které události jsou nejzávažnější, které systémy jsou zasažené a co řešit nejdřív. Finální rozhodnutí, například odpojení serveru nebo zablokování účtu, by ale měl schválit člověk.

Filtrování e-mailů a podvodů

Moderní ochrana e-mailu používá strojové učení k rozpoznání podezřelých zpráv podle obsahu, odesílatele i chování odkazů. Nic není stoprocentní, proto zůstává klíčové i školení lidí.

Bezpečnost samotné AI: prompt injection a úniky dat

S tím, jak firmy zavádějí chatboty, interní asistenty a AI agenty, vzniká nová skupina rizik.

• Prompt injection. Útočník schová pokyny do textu, který AI zpracovává, například do webové stránky, e-mailu nebo dokumentu. Model je pak může vykonat, jako by přišly od uživatele, a třeba prozradit data nebo provést nechtěnou akci. Riziko roste u agentů, kteří mají přístup k nástrojům a systémům.
• Únik dat. Zaměstnanec vloží do veřejného chatbota smlouvu, zdrojový kód nebo osobní údaje. Podle nastavení služby se data mohou ukládat nebo zpracovávat mimo firmu.
• Příliš široká oprávnění. AI asistent napojený na všechny firemní dokumenty může zpřístupnit informace lidem, kteří by je jinak neviděli.
• Nekontrolované výstupy. Kód nebo konfigurace vygenerované AI mohou obsahovat bezpečnostní chyby.

Ochrana AI nástrojů přitom stojí na stejných principech jako ochrana jiných systémů: znát, co se ve firmě používá, omezit přístupy, oddělit důvěryhodné pokyny od obsahu z cizích zdrojů, zaznamenávat, co AI dělá, a pravidelně to kontrolovat. Velkým problémem bývá takzvaná stínová AI, tedy nástroje, které si zaměstnanci zavedou sami bez vědomí IT. Zákaz obvykle nefunguje, lepší je nabídnout schválenou alternativu a jasná pravidla.

Širší přehled rizik najdete v článku rizika umělé inteligence. Pokud firma potřebuje, aby citlivá data vůbec neopouštěla její prostředí, může zvážit AI server pro firmy s lokálními modely.

Kyberbezpečnost firmy a regulace v Česku

V Česku je ústředním orgánem pro kybernetickou bezpečnost NÚKIB (Národní úřad pro kybernetickou a informační bezpečnost). Vydává varování, doporučení a metodiky, ze kterých mohou čerpat i menší firmy.

Evropská směrnice NIS2 rozšiřuje okruh organizací, které musí kybernetickou bezpečnost řešit formálně, a týká se tak mnohem většího počtu firem než dřívější úprava. Zda a jak se na vás vztahuje, je vhodné ověřit v oficiálních materiálech NÚKIB nebo s odborníkem. Na používání AI dopadá také evropský AI Act a GDPR. Jak se k regulaci AI staví jiné země a mezinárodní organizace, popisuje článek regulace umělé inteligence ve světě.

Jak využít AI v kybernetické bezpečnosti a zároveň se chránit: kroky pro firmy

1. Základy na prvním místě. Aktualizace, zálohy, vícefaktorové ověření a řízení přístupů jsou důležitější než jakýkoli AI nástroj.
2. Ověřování plateb jiným kanálem. Žádost o platbu nebo změnu účtu vždy potvrďte zavoláním na známé číslo, ne odpovědí na e-mail.
3. Pravidla pro AI nástroje. Určete, které nástroje se smí používat a s jakými daty.
4. Minimální oprávnění pro AI. Asistenti a agenti by měli mít přístup jen k tomu, co nutně potřebují, a citlivé akce by měl potvrzovat člověk.
5. Školení zaměstnanců. Lidé musí vědět, jak vypadá moderní phishing a deepfake a jak bezpečně pracovat s AI.
6. Využití AI v obraně s rozmyslem. Nasazujte ji tam, kde šetří čas analytikům, ale s lidskou kontrolou.
7. Plán pro incident. Kdo co dělá, koho informovat a jak obnovit provoz.

Závěr

AI v kybernetické bezpečnosti je dvousečná zbraň. Útočníkům zlevňuje přesvědčivé podvody, obráncům pomáhá zvládat záplavu dat a rychleji reagovat. A firmy, které AI zavádějí, musí chránit i samotné nástroje před prompt injection a únikem dat. Nejlepší obranou zůstává kombinace pevných základů, rozumných pravidel a informovaných lidí.

Chcete, aby vaši zaměstnanci pracovali s AI bezpečně a znali pravidla? Podívejte se na školení AI Act, které zahrnuje i bezpečnou práci s AI, nebo si domluvte AI konzultaci a proberte, jak AI ve firmě zavést bez zbytečných rizik.