Co jsou halucinace AI a proč si jazykové modely vymýšlejí

Co jsou halucinace AI? Tímto pojmem se označují situace, kdy jazykový model, například ChatGPT, Claude nebo Gemini, sebevědomě odpoví něco, co není pravda. Vymyslí si citaci, odkaz na neexistující článek, chybné číslo nebo paragraf, který v zákoně nikdy nebyl. Odpověď přitom zní plynule, logicky a přesvědčivě, a proto se chyba snadno přehlédne. V tomto článku vysvětlíme, proč si AI vymýšlí, v jakých situacích se to stává nejčastěji a jak halucinace omezit i odhalit dřív, než skončí v e-mailu zákazníkovi nebo v reportu pro vedení.

Co jsou halucinace AI a proč vznikají

Abychom pochopili, proč AI halucinuje, je dobré vědět, jak velké jazykové modely zjednodušeně fungují. Model se během tréninku učil na obrovském množství textů, jak na sebe slova a věty navazují. Když mu položíte otázku, nehledá odpověď v databázi ověřených faktů. Postupně skládá text, který na základě naučených vzorců vypadá jako nejpravděpodobnější pokračování. Podrobněji princip popisuje článek co je umělá inteligence.

Z toho plyne několik důvodů, proč halucinace jazykových modelů vznikají:

• Model optimalizuje plynulost, ne pravdivost. Věta, která zní jako odborná odpověď, je pro model „správná“, i když obsahuje vymyšlený údaj.
• Mezery ve znalostech. O málo známých tématech, místních firmách nebo velmi nových událostech má model málo informací. Místo přiznání nejistoty často doplní něco, co do kontextu zapadá.
• Datum, ke kterému model „ví“ svět. Znalosti modelu končí určitým datem. Pokud se ptáte na aktuální ceny, legislativu nebo novinky a model nemá přístup k vyhledávání, může odpovídat podle zastaralých nebo domyšlených informací.
• Snaha vyhovět zadání. Když v pokynu napíšete „uveď pět zdrojů“, model se pokusí pět zdrojů dodat, i když skutečně zná jen dva.
• Nejasné nebo zavádějící otázky. Otázka, která už obsahuje chybný předpoklad („Proč zákon XY zakazuje…?“), model často svede k tomu, aby chybný předpoklad potvrdil.

Důležité je, že AI nelže úmyslně. Nemá záměr klamat, jen neumí spolehlivě rozlišit, co ví a co si domýšlí.

Typické situace, kdy si AI vymýšlí

Halucinace se neobjevují náhodně. Některé typy úloh jsou výrazně rizikovější než jiné. Z praxe se opakují tyto situace:

Vymyšlené zdroje a citace

Asi nejznámější příklad. Požádáte o odborné zdroje k tématu a dostanete seznam článků s autory, názvy i roky vydání. Část z nich ale neexistuje, nebo existuje, jen s jiným autorem či obsahem. Totéž platí pro citáty známých osobností, které nikdy neřekly, a pro odkazy na webové stránky, které vedou do prázdna.

Chybná čísla a výpočty

Jazykový model není kalkulačka. Pokud nemá k dispozici nástroj pro výpočty, může se splést při sčítání, převodu jednotek nebo procentech. Ještě častější jsou vymyšlené statistiky: věta typu „podle průzkumu používá AI tolik a tolik procent českých firem“ s přesným číslem zní věrohodně, ale bez dohledatelného zdroje jde jen o pravděpodobně znějící číslo.

Právo, daně a předpisy

Otázky na konkrétní paragrafy, lhůty, sazby DPH nebo povinnosti podle zákona jsou ošidné. Model může smíchat českou a zahraniční úpravu, uvést zrušené znění nebo si vymyslet číslo paragrafu. U takových odpovědí je ověření v oficiálním zdroji nutností. Proto se při právní práci vyplatí nástroj, který pracuje nad skutečnými předpisy a u každého tvrzení uvádí zdroj, jako AI agent pro právní rešerše.

Konkrétní lidé, firmy a produkty

Když se zeptáte na menší českou firmu, regionální osobnost nebo detailní parametry produktu, model často spojí útržky obecných informací a doplní zbytek. Výsledkem může být vymyšlená historie firmy, nesprávná funkce produktu nebo chybný životopis.

Shrnutí dlouhých dokumentů

I při práci s nahraným dokumentem může model do shrnutí přidat informaci, která v textu není, nebo naopak vynechat podstatnou výhradu. Riziko roste s délkou dokumentu a s tím, jak obecně je úkol zadaný.

Návody k aplikacím a technické postupy

Zeptáte se, kde v aplikaci najdete určité nastavení, a model vám popíše cestu přes nabídky, které v aktuální verzi neexistují. Aplikace se mění rychleji, než se aktualizují znalosti modelu, a model navíc snadno smíchá postup z jiného programu nebo starší verze. Podobně u programování: AI občas použije funkci nebo knihovnu, která vypadá věrohodně, ale ve skutečnosti neexistuje.

Ukázka z praxe: jak halucinace vypadá a jak ji zachytit

Vezměme si modelovou situaci. Personalistka v menší české firmě píše interní směrnici o home office a zeptá se chatovacího asistenta: „Jaké povinnosti má zaměstnavatel při práci z domova podle zákoníku práce? Uveď paragrafy.“

Odpověď působí profesionálně: několik odstavců, čísla paragrafů, dokonce zmínka o výši náhrady nákladů. Kde je problém?

• Čísla paragrafů mohou být správná, posunutá, nebo vymyšlená. Model je skládá podle toho, jak podobné texty obvykle vypadají.
• Částky a pravidla se v čase mění. Model mohl použít starší úpravu nebo ji zaměnit se slovenskou či německou.
• Odpověď neříká, k jakému datu platí.

Lepší postup vypadá takto:

1. Personalistka si znění zákona otevře v oficiální sbírce předpisů a příslušnou část vloží do konverzace.
2. Napíše: „Na základě vloženého textu shrň povinnosti zaměstnavatele. U každé povinnosti uveď, ze které části textu vychází. Pokud něco v textu není, napiš to.“
3. Výsledné shrnutí porovná s originálem a nejasné body konzultuje s právníkem nebo účetní.

Model teď nepracuje „z paměti“, ale s dodaným textem, a každé tvrzení se dá rychle dohledat. To je podstata většiny ochran proti halucinacím.

Chyby ChatGPT a dalších nástrojů: co dělají uživatelé špatně

Halucinace nejsou jen chybou nástroje. Často je zesílí způsob, jakým s ním pracujeme. Nejčastější chyby uživatelů:

• Kopírování bez čtení. Text vypadá hotově, a tak putuje rovnou do e-mailu nebo prezentace.
• Ptaní se na věci, které si nelze ověřit. Pokud o tématu nic nevíte a nemáte kde odpověď zkontrolovat, nemůžete poznat, zda je pravdivá.
• Tlak na konkrétní odpověď. Formulace „určitě to víš, řekni přesné číslo“ model tlačí k tomu, aby nějaké číslo vyprodukoval.
• Dlouhé konverzace o mnoha tématech. V dlouhém vlákně se model snáz zamotá do dřívějších informací. Na nový úkol je lepší otevřít novou konverzaci.
• Záměna vyhledávače a jazykového modelu. Asistent bez přístupu k internetu není vyhledávač. Na aktuální informace použijte režim s vyhledáváním nebo ověřte údaje sami.

Kontrolní seznam pro jednotlivce a pro firmy

Pro jednotlivce (stačí si ho zapamatovat):

• Je v odpovědi číslo, jméno, datum nebo citace? Ověřte ji.
• Jde o zdraví, peníze nebo právo? Berte odpověď jako výchozí orientaci, rozhodnutí nechte na odborníkovi.
• Funguje odkaz a říká zdroj opravdu to, co AI tvrdí?

Pro firmy (vyplatí se mít sepsané):

• Jasné pravidlo, které výstupy AI musí před odesláním zkontrolovat člověk (texty pro zákazníky, smlouvy, čísla v reportech).
• Seznam schválených nástrojů a pravidla pro práci s citlivými daty, aby se do veřejných služeb nedostaly osobní údaje nebo interní dokumenty. Souvislosti popisuje článek zodpovědná AI ve firmě.
• Firemní asistenti, kteří odpovídají nad ověřenou znalostní bází místo obecných znalostí. Příkladem je AI agent pro znalostní bázi, který u odpovědí uvádí, z jakého interního dokumentu čerpá.
• Krátké školení zaměstnanců o tom, kde AI chybuje a jak výstupy ověřovat.

Jak omezit halucinace AI v praxi

Úplně se jim vyhnout nelze, ale dobrými návyky můžete jejich výskyt výrazně snížit. Většina technik souvisí s tím, jak AI zadáváte úkoly.

Dejte modelu podklady (grounding). Nejúčinnější způsob je nenechat model odpovídat „z hlavy“. Vložte do konverzace dokument, smlouvu, ceník nebo text webu a výslovně napište, že má odpovídat pouze na základě dodaných podkladů. Pokud tam odpověď není, ať to řekne. Na stejném principu fungují i firemní chatboti, kteří odpovídají nad interní znalostní bází.

Povolte nejistotu. Do pokynu přidejte větu typu „Pokud si nejsi jistý nebo informaci nemáš, napiš to otevřeně, nic si nedomýšlej.“ Model pak častěji přizná, že odpověď nezná.

Žádejte zdroje, ale ověřujte je. U nástrojů s vyhledáváním na internetu požádejte o odkazy na konkrétní stránky. Ty pak skutečně otevřete. Bez vyhledávání berte seznam zdrojů jen jako tip, co hledat, ne jako hotovou citaci.

Rozdělte složitý úkol na kroky. Místo jednoho obřího zadání postupujte po částech: nejdřív vytáhnout fakta z dokumentu, pak je shrnout, nakonec napsat text. U každého kroku je kontrola snazší.

Zadávejte jasně a bez chybných předpokladů. Čím konkrétnější je kontext, cílová skupina a požadovaný formát, tím méně prostoru zbývá na domýšlení. Jak psát dobré pokyny krok za krokem, ukazuje online kurz psaní promptů.

Na výpočty používejte vhodné nástroje. Pro čísla nechte model pracovat s tabulkou, použít vestavěnou analýzu dat nebo výpočet zkontrolujte sami.

Jak ověřit odpověď AI a halucinace odhalit

I s dobrými pokyny platí základní pravidlo: za výsledek odpovídá člověk, ne nástroj. Následující kontrolní postup se hodí zejména u textů, které půjdou ven z firmy.

1. Označte si tvrzení, na kterých záleží. Čísla, data, jména, citace, paragrafy, ceny a technické parametry.
2. Ověřte je v nezávislém zdroji. Oficiální web instituce, zákon na portálu se sbírkou předpisů, dokumentace výrobce, původní studie.
3. Hledejte varovné signály. Příliš kulatá nebo příliš přesná čísla bez zdroje, odkazy, které nefungují, neobvykle obecné formulace u konkrétní otázky nebo odpověď, která přesně potvrzuje váš předpoklad.
4. Zeptejte se jinak. Položte stejnou otázku jinými slovy nebo v nové konverzaci. Pokud se odpovědi zásadně liší, je to signál nejistoty.
5. Nechte model zkontrolovat sám sebe – opatrně. Požadavek „projdi odpověď a označ tvrzení, která nelze ověřit“ někdy pomůže najít slabá místa, ale nenahrazuje ověření v externím zdroji.
6. U důležitých výstupů přidejte druhý pár očí. Kolega nebo odborník na danou oblast odhalí chyby, které autor přehlédne.

Halucinace jazykových modelů: kdy jsou riziko a kdy ne

Ne každá halucinace je problém. Při brainstormingu, hledání nápadů na název produktu nebo psaní konceptu, který stejně celý přepíšete, nevadí, když model přidá něco nepřesného. Riziko roste tam, kde se výstup bere jako fakt: v odborných textech, smlouvách, zdravotních a právních informacích, finančních reportech nebo odpovědích zákazníkům.

Praktické pravidlo zní: čím větší dopad by chyba měla, tím pečlivější kontrola je potřeba. A čím méně o tématu sami víte, tím opatrněji byste měli odpovědi AI přebírat.

Halucinace se netýkají jen textu. Generátory obrázků občas vytvoří nápis s nesmyslnými písmeny nebo nepřirozeně zkroucenou ruku, nástroje pro přepis řeči občas doplní slova, která nikdo neřekl. Princip je stejný: model doplňuje to, co vypadá pravděpodobně. Pokud vás zajímá, jak AI rozpoznat v textech, které čtete, pokračujte článkem jak poznat text napsaný AI.

Závěr

Halucinace nejsou chyba, kterou by výrobci jednoduše „opravili“, ale vlastnost současných jazykových modelů. Kdo ví, co jsou halucinace AI a proč vznikají, dokáže s nimi počítat: dodá modelu podklady, povolí mu přiznat nejistotu, ověřuje fakta a důležité výstupy kontroluje. Pak je AI užitečný pomocník, ne zdroj trapných chyb.

Pokud s AI teprve začínáte a chcete se naučit používat ji správně od základu, podívejte se na kurz umělé inteligence pro začátečníky. Přehled dalších možností najdete v nabídce kurzů umělé inteligence.