Finanční sektor patří mezi odvětví, která již dnes intenzivně využívají moderní technologie a v posledních letech také systémy umělé inteligence (AI). Tyto technologie zásadním způsobem mění způsob poskytování finančních služeb, a to od automatizovaného posuzování bonity klientů přes predikci pojistných rizik až po zefektivnění procesů v oblasti compliance a prevence podvodů.
Je však nutné zvážit, že rozhodnutí přijatá na základě umělé inteligence mohou mít přímý dopad na přístup jednotlivců k základním službám, jako jsou hypotéky, spotřebitelské úvěry či životní pojištění. Tato rozhodnutí mohou ovlivnit hospodářskou situaci jednotlivce či celé rodiny na mnoho let dopředu. Evropský zákonodárce proto věnoval regulaci AI ve finančním sektoru mimořádnou pozornost v rámci Aktu o umělé inteligenci (Akt o AI), který představuje první komplexní právní rámec pro využívání umělé inteligence, a to napříč všemi hospodářskými odvětvími. Pro finanční instituce, ať již jde o banky, pojišťovny nebo dynamicky rostoucí fintech společnosti, je však jeho dopad obzvlášť významný.
Vysoce rizikové systémy v oblasti financí
Akt o AI vychází z principu rizikově orientovaného přístupu. Zatímco některé systémy AI jsou považovány za minimálně rizikové a podléhají pouze základním pravidlům transparentnosti, jiné jsou zařazeny mezi tzv. vysoce rizikové systémy AI. Kritériem je zejména míra zásahu do práv, svobod a hospodářských zájmů jednotlivců.
Podle Aktu o AI spadají mezi vysoce rizikové systémy také algoritmy využívané ve finančním sektoru, a to zejména:
- systémy pro hodnocení úvěruschopnosti, které určují, zda klient získá úvěr, v jaké výši a s jakými podmínkami a
- systémy pro stanovení cen a odhadu rizik v pojišťovnictví, jež kalkulují pojistné sazby či vyhodnocují pravděpodobnost pojistné události.
Zařazení těchto aplikací mezi vysoce rizikové je zjevně důvodné, jelikož se jedná o technologie, které jsou již dnes masově implementovány do bankovních a pojišťovacích procesů a zásadně ovlivňují životní situace jednotlivců.
Povinnosti finančních institucí při využívání AI
Finanční instituce, které nasazují systémy umělé inteligence klasifikované jako vysoce rizikové, musejí splnit soubor právních povinností stanovených přímo Aktem o AI. Tyto povinnosti směřují k zajištění bezpečnosti, transparentnosti a spravedlnosti rozhodovacích procesů.
Instituce jsou mj. povinny vést systém řízení rizik. Tedy průběžně identifikovat, hodnotit a minimalizovat rizika spojená s provozem AI systémů. To zahrnuje jak technická rizika (např. chybné fungování algoritmu), tak rizika společenská (diskriminace, nepřiměřený zásah do práv spotřebitelů).
Kritickou oblastí je dále práce s daty. Akt o AI totiž vyžaduje, aby data používaná pro trénink a provoz systémů byla přesná, aktuální, reprezentativní a nezaujatá. Cílem je zamezit tomu, aby rozhodování bylo zatíženo předsudky nebo reprodukovalo existující diskriminační vzorce.
Spotřebitelé musí být zároveň jasně informováni, že jejich žádost či osobní údaje posuzuje systém AI. Transparentnost se vztahuje i na vysvětlení hlavních parametrů rozhodování a způsobu využití dat.
Nařízení dále výslovně vyžaduje, aby rozhodnutí učiněná AI nebyla definitivní bez možnosti lidského zásahu. Typickým příkladem je přezkum odmítnutí žádosti o úvěr, který musí být proveden kompetentním pracovníkem. Akt o AI zároveň ukládá povinnost uchovávat záznamy o fungování systému, včetně protokolů automatického rozhodování. Tato evidence umožňuje ex post dohled a případné prokázání souladu se zákonnými požadavky.
Zakázané praktiky
Akt o AI rovněž obsahuje výčet některých zakázaných praktik, které považuje za neslučitelné s právním řádem EU. V kontextu finančních služeb lze uvést zejména:
Social scoring – vytváření sociálních nebo behaviorálních skóre, která určují přístup k finančním službám na základě životního stylu nebo společenského postavení. Tento typ hodnocení je v rámci EU výslovně zakázán.
Zneužití zranitelnosti – cílené nabízení rizikových produktů ekonomicky oslabeným či zadluženým osobám, čímž se jejich situace dále zhoršuje.
Sankce
Evropský zákonodárce zvolil přísný sankční režim, který má zajistit skutečnou vymahatelnost pravidel. Porušení zákazů může vést k pokutám až ve výši 35 milionů EUR nebo 7 % celosvětového ročního obratu společnosti, podle toho, která částka je vyšší. Výše sankcí reflektuje závažnost dopadu, který mohou nesprávně nastavené nebo zneužité AI systémy mít na spotřebitele i na stabilitu finančního trhu.
Závěr
Akt o umělé inteligenci představuje pro finanční sektor zásadní milník. Zavádí totiž komplexní rámec, jehož cílem je propojit technologické inovace s ochranou práv spotřebitelů a zajištěním důvěryhodnosti finančního trhu. Banky, pojišťovny i fintech společnosti budou muset přehodnotit své interní procesy, zavést nové mechanismy správy dat, zajistit odpovídající lidský dohled a vytvořit robustní systémy pro dokumentaci rozhodování.
