Co je jailbreak AI a prompt injection a jak chránit firemní chatboty

Co je jailbreak AI? Jde o pokus obejít bezpečnostní pravidla jazykového modelu a přimět ho, aby udělal něco, co mu jeho tvůrci zakázali – například vygeneroval škodlivý obsah nebo prozradil interní instrukce. Blízce příbuzným pojmem je prompt injection, kdy útočník vloží skryté pokyny do textu, který AI zpracovává. Pro běžného uživatele chatu je to spíš kuriozita, pro firmu, která napojí chatbota na zákaznická data, e-mail nebo interní systémy, je to skutečné bezpečnostní riziko. V tomto článku vysvětlíme oba pojmy, ukážeme, proč na nich záleží, a projdeme hlavní způsoby obrany. Konkrétní útočné postupy záměrně neuvádíme.

Co je jailbreak AI a odkud se pojem vzal

Slovo jailbreak pochází ze světa mobilních telefonů, kde označovalo odstranění omezení výrobce. U jazykových modelů funguje podobně: model má od tvůrců nastavená pravidla, co smí a nesmí dělat, a jailbreak se je snaží „vylomit“.

Proč je to vůbec možné? Jazykový model nemá pravidla zapsaná jako pevný program. Naučil se je během tréninku a dostává je jako text v instrukcích. Uživatel s modelem komunikuje také textem – a model nemá dokonalý způsob, jak rozlišit, které pokyny jsou legitimní. Šikovně formulovaný požadavek proto může model zmást. Výrobci modely průběžně zlepšují, ale jde o neustálý souboj: s každou novou obranou se objevují nové pokusy ji obejít.

Jako příklad se často uvádí technika označovaná jako Skeleton Key, kterou veřejně popsal Microsoft v roce 2024. Pro firmy z ní plyne hlavně jedno poučení: i modely velkých dodavatelů s propracovanými bezpečnostními pravidly nejsou neprolomitelné.

Prompt injection: jailbreak, který přichází zvenčí

Zatímco jailbreak obvykle provádí přímo uživatel v konverzaci, prompt injection je zákeřnější. Škodlivý pokyn se do AI dostane nepřímo – ukrytý v dokumentu, na webové stránce, v e-mailu nebo v poli formuláře, které AI čte jako podklad.

Představte si AI asistenta, který shrnuje příchozí e-maily a umí odpovídat nebo přeposílat zprávy. Pokud jeden z e-mailů obsahuje skrytý text vydávající se za pokyn, model ho může omylem vykonat. Podobně chatbot na webu, který prohledává dokumenty nebo stránky, může narazit na obsah připravený útočníkem.

Prompt injection se proto řadí mezi nejvážnější rizika aplikací postavených na jazykových modelech a bezpečnostní komunita jako OWASP ho uvádí mezi hlavními hrozbami pro tyto aplikace. Základní rozdíl si lze zapamatovat jednoduše:

• jailbreak – uživatel se snaží přemluvit model, aby porušil vlastní pravidla,
• prompt injection – někdo třetí podstrčí modelu instrukce skryté v datech, která zpracovává.

Proč na jailbreaku a zneužití chatbotů záleží firmám

Dokud chatbot jen odpovídá na obecné dotazy, je škoda obvykle omezená – nejhorší výsledek bývá trapná nebo nevhodná odpověď, která poškodí pověst firmy. Situace se mění ve chvíli, kdy AI dostane přístup k datům a nástrojům. To je dnes stále běžnější: firemní chatboti čtou dokumentaci, CRM a objednávky, AI agenti posílají e-maily, zakládají úkoly nebo volají další systémy.

Možné dopady zneužití:

• únik dat – chatbot prozradí informace o jiných zákaznících, interní dokumenty nebo své skryté instrukce,
• nechtěné akce – agent pošle e-mail, změní záznam nebo provede operaci, kterou nikdo neschválil,
• škodlivý obsah pod hlavičkou firmy – urážlivé odpovědi, nepravdivé sliby, falešné slevy,
• reputační a právní následky – zvlášť pokud dojde k porušení GDPR.

Širší pohled na roli AI v ochraně i ohrožení firemních systémů nabízí článek AI v kybernetické bezpečnosti. Přehled dalších rizik najdete v článku rizika umělé inteligence.

Bezpečnost jazykových modelů: jak se bránit

Žádné jedno opatření problém nevyřeší. Funguje kombinace několika vrstev, podobně jako u jiné kybernetické bezpečnosti.

Nejnižší nutná oprávnění

Nejdůležitější pravidlo: AI by měla mít přístup jen k tomu, co nutně potřebuje. Chatbot pro dotazy na otevírací dobu nepotřebuje přístup k databázi zákazníků. Agent, který připravuje návrhy odpovědí, nemusí mít právo je sám odesílat. Když se model nechá zmást, škoda zůstane omezená tím, k čemu má přístup.

Filtrování vstupů a výstupů

Vstupy od uživatelů i data z externích zdrojů je vhodné kontrolovat a označovat jako nedůvěryhodná. Stejně tak výstupy: před zobrazením nebo odesláním lze odpovědi kontrolovat na citlivé údaje, nevhodný obsah nebo neobvyklé příkazy. Mnozí poskytovatelé nabízejí vestavěné bezpečnostní filtry, které je dobré zapnout a doplnit vlastními pravidly.

Lidské schválení citlivých akcí

Cokoli, co má reálný dopad – odeslání e-mailu zákazníkovi, změna objednávky, platba, smazání dat – by mělo projít schválením člověka. Zpomalí to proces jen nepatrně a zabrání nejhorším scénářům.

Oddělení instrukcí a dat

Systém by měl jasně rozlišovat mezi pokyny od provozovatele a obsahem, který model zpracovává. Úplně to nejde, ale dobrá architektura aplikace riziko výrazně snižuje.

Testování a red teaming

Před spuštěním a pak pravidelně je vhodné systém cíleně testovat – zkoušet, zda ho lze přimět k nežádoucímu chování. Tomuto přístupu se říká red teaming. Provádět by ho měli pověření lidé s jasným zadáním, ideálně v testovacím prostředí.

Monitorování a plán reakce

Zaznamenávejte, co chatbot dělá, sledujte neobvyklé vzorce a mějte připravený postup, jak systém rychle omezit nebo vypnout, když se něco pokazí.

Kontrolní otázky před spuštěním chatbota

Než firma pustí AI asistenta k zákazníkům nebo k interním datům, vyplatí se projít několik otázek:

1. K jakým datům a systémům má AI přístup a potřebuje je opravdu všechny?
2. Jaké akce může provést sama a které musí schválit člověk?
3. Co se stane, když chatbot prozradí své instrukce? Neobsahují hesla, klíče nebo citlivé informace?
4. Odkud čte obsah – jen z firemních dokumentů, nebo i z webu a e-mailů od cizích lidí?
5. Kdo sleduje provoz a kdo může systém v případě potíží okamžitě vypnout?

Pokud na některou otázku neznáte odpověď, je to signál k doladění dřív, než na slabinu narazí někdo jiný.

Co z toho plyne pro běžné uživatele

I bez vlastního chatbota stojí za to pamatovat na dvě věci. Za prvé, AI asistenti, kteří čtou vaše e-maily nebo procházejí web za vás, mohou narazit na podstrčené pokyny – proto je dobré nedávat jim víc oprávnění, než potřebují, a kontrolovat jejich akce. Za druhé, do chatu nevkládejte citlivé údaje, které by v případě úniku mohly ublížit vám nebo vaší firmě. Více v článku AI a ochrana soukromí.

Závěr

Co je jailbreak AI? Pokus obejít pravidla jazykového modelu. Prompt injection je jeho nebezpečnější příbuzný, který přichází skrytý v datech. Pro firmy z toho plyne jasné poučení: čím víc přístupů a pravomocí AI dostane, tím důležitější je zabezpečení – nejnižší oprávnění, kontrola vstupů a výstupů, lidské schválení akcí a pravidelné testování.

Pokud AI aplikace sami vyvíjíte a chcete je stavět bezpečně, podívejte se na kurz AI developer. Plánujete chatbota nebo AI agenta napojeného na firemní data a chcete probrat rizika předem? Domluvte si AI konzultaci.