Zaujatost umělé inteligence: odkud se bere a jak ji omezit

Zaujatost umělé inteligence (v angličtině AI bias) znamená, že systém AI soustavně zvýhodňuje nebo znevýhodňuje určité skupiny lidí, aniž by k tomu měl věcný důvod. Nejde o to, že by stroj měl vlastní názory. Model se učí ze světa, jak ho zachycují data, a z rozhodnutí lidí, kteří ho navrhli a používají. Pokud jsou v datech nebo v procesu nerovnosti, AI je převezme a často je i zesílí. V článku vysvětlíme, odkud se předsudky AI berou, kde jsou nejnebezpečnější a jak je mohou firmy prakticky testovat a omezovat.

Co je zaujatost umělé inteligence a proč na ní záleží

Algoritmus sám o sobě není ani férový, ani nespravedlivý. Hledá v datech vzorce a ty pak používá při rozhodování nebo generování obsahu. Problém nastává, když vzorce odrážejí minulé nerovnosti, chybějící data nebo nevhodně zvolený cíl. Výsledkem může být diskriminace algoritmů, která na první pohled vypadá objektivně, protože „rozhodl počítač“.

Na zaujatosti záleží ze tří důvodů:

• Dopad na lidi. Pokud AI pomáhá rozhodovat o práci, úvěru, pojištění nebo přístupu ke službám, chybný vzorec může poškodit skutečné lidi.
• Rozsah. Člověk s předsudkem ovlivní desítky rozhodnutí, automatizovaný systém tisíce. Chyba se násobí.
• Neviditelnost. Zaujatost se v modelu často skrývá. Nikdo ji tam nenapsal úmyslně, a proto si jí nikdo nevšimne, dokud ji někdo cíleně nehledá.

Zaujatost patří mezi rizika, která podrobněji rozebírá článek rizika umělé inteligence. Zde se zaměříme přímo na to, jak vzniká a jak s ní pracovat.

Odkud se bere zaujatost umělé inteligence

Předsudky AI nevznikají v jednom místě. Mohou se do systému dostat v kterékoli fázi jeho života.

1. Data

Nejčastějším zdrojem jsou trénovací data. Typické problémy:

• Historická nerovnost. Pokud firma v minulosti na určité pozice přijímala hlavně jeden typ lidí, model naučený na těchto rozhodnutích bude tento vzorec opakovat.
• Nevyvážené zastoupení. Když je některá skupina v datech zastoupena málo, model se o ní naučí méně a dělá u ní víc chyb.
• Zástupné proměnné. I když z dat odstraníte pohlaví nebo věk, model si je může „domyslet“ z jiných údajů, například z typu zájmů, přerušení kariéry nebo bydliště.

2. Popisky (labelling)

Mnoho modelů se učí z dat, která někdo ručně označil: tento životopis je vhodný, tento komentář je urážlivý, tato transakce je podezřelá. Lidé, kteří popisky vytvářejí, mají vlastní pohled a kulturní kontext. Nejasné zadání nebo spěch vedou k nekonzistentním popiskům a model se pak naučí i jejich nesrovnalosti.

3. Návrh systému

Zaujatost může vzniknout i v rozhodnutích vývojářů:

• Volba cíle. Pokud model optimalizuje jen jedno číslo, například „kolik lidí z minulých přijatých vydrželo ve firmě“, převezme všechny vlivy, které toto číslo ovlivňovaly.
• Výběr vstupů. Které údaje model vidí a které ne, zásadně mění výsledek.
• Testování jen na průměru. Systém může mít celkově dobrou přesnost, ale u menší skupiny selhávat.

4. Používání

I dobře navržený model může působit nespravedlivě, když se použije jinde, než pro co vznikl. Patří sem také jev, kdy lidé začnou doporučením AI slepě věřit a přestanou je kontrolovat. Jak AI ovlivňuje lidský úsudek, popisuje článek vliv AI na myšlení.

Kde jsou předsudky AI nejcitlivější

Zaujatost vadí všude, ale nejvíc tam, kde AI ovlivňuje důležitá rozhodnutí o lidech. AI Act proto řadí mezi vysoce rizikové systémy mimo jiné:

• Nábor a řízení zaměstnanců – třídění životopisů, hodnocení uchazečů, rozhodování o povýšení. Více v článku AI v HR a náboru.
• Hodnocení úvěruschopnosti – posuzování, zda člověk dostane úvěr a za jakých podmínek. Souvislosti najdete v článku AI v bankovnictví.

Pro vysoce rizikové systémy klade AI Act požadavky mimo jiné na kvalitu a reprezentativnost dat, dokumentaci, transparentnost a lidský dohled. Přehled zákona nabízí článek co je AI Act. Tento text není právní poradenství, konkrétní povinnosti je vhodné ověřit s odborníkem.

Méně viditelná, ale častá je zaujatost v generativní AI. Jazykové a obrazové modely mohou při zadání „vygeneruj fotku ředitele“ nebo „napiš inzerát na zdravotní sestru“ opakovat stereotypy. Pro marketing, HR komunikaci nebo vzdělávací materiály je proto dobré výstupy kontrolovat.

Jak testovat zaujatost umělé inteligence ve firmě

Firmy, které AI nasazují, nemusí být výzkumnými laboratořemi. Několik praktických kroků ale zvládne každý tým.

1. Popište účel a dotčené lidi. O kom systém rozhoduje? Které skupiny by mohly být znevýhodněny? Tato otázka by měla padnout ještě před nasazením.
2. Prověřte data. Odkud pocházejí, koho zachycují a koho ne? Jsou v nich historická rozhodnutí, která mohla být nespravedlivá?
3. Měřte výsledky po skupinách. Nestačí celková přesnost. Porovnejte, jak systém funguje pro různé skupiny, například podle věku nebo regionu, pokud to dovolují pravidla ochrany osobních údajů.
4. Zkoušejte párové testy. Vytvořte dvě téměř stejné žádosti, které se liší jen jedním údajem, a sledujte, zda se výsledek změní. U generativní AI můžete stejný úkol zadat v různých variantách a porovnat výstupy.
5. Zapojte různé pohledy. Testování by neměl dělat jen autor systému. Pomůže kolega z jiného oddělení, HR nebo právník.
6. Výsledky zdokumentujte. Zapište si, co jste testovali, co jste zjistili a jaká opatření jste přijali. Dokumentace se hodí při interní kontrole i při jednání s dodavatelem.

Pokud AI systém nakupujete od dodavatele, ptejte se ho, jak zaujatost testoval, na jakých datech byl model trénován a jaké nástroje pro kontrolu nabízí.

Jak zaujatost omezit: férová AI v praxi

Když testy ukážou problém, existuje několik cest, jak ho zmírnit:

• Doplnit nebo vyvážit data. Přidat chybějící případy nebo upravit poměr zastoupení skupin.
• Odstranit problematické vstupy a hlídat jejich zástupce.
• Upravit cíl modelu, aby neodměňoval vzorce, které nechcete opakovat.
• Ponechat poslední slovo člověku. U citlivých rozhodnutí má AI připravit podklad, ne rozhodnout. Lidský dohled je účinný jen tehdy, když má člověk čas, informace a pravomoc výsledek změnit.
• Umožnit námitky. Lidé, o kterých systém rozhoduje, by měli mít cestu, jak se ozvat.
• Sledovat systém v provozu. Data se mění a zaujatost se může objevit i později. Pravidelná kontrola je nutná.

Tyto kroky zapadají do širšího rámce, který popisuje článek zodpovědná AI ve firmě. Férovost úzce souvisí také s ochranou dat: více v článku AI a ochrana soukromí.

Závěr

Zaujatost umělé inteligence není chyba jednoho řádku kódu, ale důsledek dat, popisků, návrhu a způsobu používání. Úplně ji odstranit nejde, dá se ale měřit, omezovat a hlídat. Firmy, které AI používají v náboru, financích nebo jinde, kde rozhoduje o lidech, by to měly brát jako běžnou součást zavádění AI.

Chcete, aby váš tým rozuměl pravidlům AI Act a uměl AI používat zodpovědně? Podívejte se na školení AI Act. Pokud řešíte konkrétní nasazení, domluvte si AI konzultaci.