Zdravotnictví je jednou z oblastí, kde může být umělá inteligence (AI) velice přínosná, ale zároveň představuje jedno z právně nejsložitějších prostředí pro její nasazení. Systémy AI již v současnosti nachází uplatnění např. v podobě predikce vývoje onemocnění nebo automatizace administrativních procesů. Na druhé straně se však jedná o oblast, kde jakékoli chybné rozhodnutí může vést k vážnému porušení základních práv pacientů, včetně újmy na zdraví nebo dokonce ohrožení života. I proto evropský Akt o umělé inteligenci (Akt o AI) věnuje zdravotnictví mimořádnou pozornost.
Vysoce rizikové systémy
Akt o AI zavádí mj. čtyřstupňový systém kategorizace systémů AI podle míry rizika, které představují pro základní práva a bezpečnost jednotlivců (více jsme se tomuto tématu věnovali zde). Pro oblast zdravotnictví je relevantní především druhá nejvyšší úroveň, tzv. vysoce rizikové systémy, a částečně i nejvyšší úroveň, a to nepřijatelné riziko.
Mezi zakázané praktiky, které jsou v rámci Aktu o AI výslovně vyloučeny, patří například tzv. social scoring, tedy systémy hodnocení jednotlivců, které by mohly vést k diskriminaci např. při rozhodování o přístupu ke zdravotní péči. Podobně je zakázáno využívat AI k manipulaci se zranitelnými skupinami obyvatel, jako jsou senioři nebo pacienti v tísni třeba tím, že by jim algoritmus doporučil levnější, ale méně účinnou léčbu na základě jejich věku nebo sociální situace. Tyto praktiky jsou nejen eticky nepřijatelné, ale od účinnosti Aktu o AI také v rozporu s právní regulací.
Naprostá většina zdravotnických aplikací umělé inteligence však spadá do již zmíněné kategorie vysoce rizikových systémů. Patří sem zejména:
- zdravotnické prostředky využívající AI, které podléhají Nařízení o zdravotnických prostředcích (MDR) a Nařízení o diagnostických zdravotnických prostředcích in vitro (IVDR),
- systémy AI určené k použití za účelem posuzování rizik a stanovování cen ve vztahu k fyzickým osobám v případě životního a zdravotního pojištění,
- systémy AI určené k použití za účelem hodnocení a klasifikace tísňových volání,
- systémy AI určené k použití za účelem hodnocení a klasifikace vysílání lékařské pomoci,
- systémy třídění pacientů v krizových situacích a
- systémy AI určené k použití veřejnými orgány za účelem hodnocení nároků fyzických osob na služby v oblasti zdravotní péče.
Pro vývojáře AI ve zdravotnictví pak vzniká situace, kdy jejich software je zároveň zdravotnickým prostředkem podle shora uvedených nařízení, a zároveň vysoce rizikovým systémem AI podle Aktu o AI, což v praxi znamená nutnost dvojí certifikace.
Povinnosti uživatelů a zavádějících subjektů
Na vývoj, zavádění a provoz vysoce rizikových systémů AI se vztahuje řada povinností, které mají zajistit, že budou transparentní, bezpečné a použitelné pouze za podmínek, které zajišťují ochranu lidských práv a důstojnosti pacienta. Mezi nejdůležitější povinnosti, které nemocnice, kliniky nebo startupy vyvíjející zdravotnický software musí splnit patří především následující.
Transparentnost
Každé rozhodnutí, které AI učiní, musí být dohledatelné a vysvětlitelné. Pokud algoritmus např. doporučí konkrétní léčebný postup, musí být možné zpětně určit, jaké vstupní údaje byly použity, jak byl výstup vygenerován a proč právě tento výstup byl zvolen. V kontextu zdravotnictví, kde jde často o důležité rozhodování, je schopnost poskytnout stopu zcela klíčová nejen pro důvěru pacientů nebo audit, ale i pro případný spor.
Lidský dohled a gramotnost
AI nesmí samostatně rozhodovat o léčbě, a proto vždy musí existovat mechanismus pro lidský dohled. Odpovědnost za rozhodnutí zůstává na zdravotnickém pracovníkovi. Lékař má tedy nejen právo, ale i povinnost ověřit doporučení AI, a pokud se od něj odchýlí, musí to být schopen odborně zdůvodnit. Nasazení AI nijak neoslabuje jeho profesní odpovědnost postupovat s náležitou odbornou péčí.
Zdravotnický personál, který systém AI používá, musí být rovněž náležitě proškolen tak, aby rozuměl základům fungování daného systému, dokázali posoudit relevanci výstupů a včas rozpoznali případné chyby.
Vedení záznamů
Každý vysoce rizikový systém AI musí umožnit automatické uchovávání záznamů jako jsou vstupní data nebo referenční databáze. Ty musejí být uchovávány, aby umožnily zpětnou kontrolu správnosti výstupů, stejně tak jako pomoct stanovit odpovědnost v případě pochybení.
Systém řízení rizik
Systém řízení rizik je chápán jako nepřetržitý opakující se proces plánovaný a prováděný v rámci celého životního cyklu vysoce rizikového systému AI, který vyžaduje pravidelný systematický přezkum a aktualizaci. Zahrnuje především odhad a vyhodnocení rizik, která mohou vzniknout a přijetí vhodných a cílených opatření.
Kvalita a bezpečnost vstupních dat
Systém AI může správně rozhodovat pouze na základě relevantních a kvalitních dat. Ve zdravotnictví, kde i drobná odchylka ve vstupních údajích může vést ke špatné diagnóze, je proto nezbytné zajistit nejen správnost a aktuálnost dat, ale i jejich bezpečné zpracování. Data pro vysoce rizikové systémy AI proto musí být dostatečné reprezentativní a v maximální možné míře bez chyb a úplná, a zároveň musí v nezbytném rozsahu zohledňovat také prvky, které jsou specifické pro konkrétní prostředí, ve kterém má být daný systém využíván.
GDPR a zdravotní údaje
Zpracování dat je základním pilířem všech systémů AI, ve zdravotnictví však naráží na přísné limity vyplývající z obecného nařízení o ochraně osobních údajů (GDPR). Zdravotní údaje jsou zde definovány jako tzv. zvláštní kategorie osobních údajů, jejichž zpracování je obecně zakázáno, pokud neexistuje konkrétní právní důvod.
V oblasti zdravotnictví se bude nejčastěji jednat o:
- Výslovný souhlas pacienta – výhodou je právní jistota, nevýhodou pak značná náročnost zejména při zpracování rozsáhlých datových sad pro trénování modelů. Pacient zároveň musí být plně informován o účelu zpracování jeho dat a má právo svůj souhlas kdykoli odvolat.
- Zpracování nezbytné pro poskytování zdravotní péče či léčby,
- Zpracování z důvodu veřejného zájmu v oblasti veřejného zdraví.
Pro vývoj systémů AI, které nezpracovávají zvláštní kategorie údajů, může být alternativou tzv. oprávněný zájem správce. Tento titul však podléhá tříkrokovému testu proporcionality, kdy správce musí prokázat, že jeho zájem zpracování je nezbytné, legitimní a nepřevažuje práva a svobody pacientů.
Systém AI, který zpracovává zdravotní údaje ve velkém rozsahu, vyžaduje také provedení tzv. DPIA – posouzení vlivu na ochranu osobních údajů. To má za cíl identifikovat rizika pro práva pacientů a nastavit opatření pro jejich minimalizaci.
Odpovědnost za škodu
Zbývající otázkou je, kdo nese odpovědnost v případě, že systém AI pochybí a dojde ke vzniku škody. Současná právní úprava vychází z předpokladu, že AI je nástroj, nikoliv autonomní subjekt práva. Konečné rozhodnutí a odpovědnost za něj tak nese vždy člověk, ať už jde o lékaře, nemocnici nebo vývojáře softwaru.
Vývojář daného systému AI může jakožto poskytovatel odpovídat za vadu výrobku dle občanského zákoníku. Pokud škodu způsobí chyba algoritmu nebo nedostatečné testování, jde odpovědnost primárně za ním.
Nemocnice či zdravotnické zařízení odpovídá jako tzv. zavádějící subjekt a je povinna zajistit, že bude systém používán v souladu s právními předpisy a návodem výrobce. Pokud dojde k porušení některé ze shora uvedených povinností, jako je povinnost lidského dohledu nebo vedení záznamů, může nést (spolu)odpovědnost.
Také lékař zůstává i nadále subjektem profesní odpovědnosti a AI nemůže nahradit jeho úsudek. Proto v případě, že slepě převezme nesprávné doporučení algoritmu, může být odpovědný za porušení odborné péče.
Závěr
Nasazení systémů umělé inteligence ve zdravotnictví přináší bezpochyby značné příležitosti pro zkvalitnění péče, zvýšení efektivity i zlepšení dostupnosti zdravotních služeb. Zároveň však znamená mimořádnou regulační a právní výzvu. Akt o AI výslovně uznává citlivost této oblasti a klade na poskytovatele i uživatele systémů AI ve zdravotnictví přísné požadavky týkající se transparentnosti, dohledu, kvality dat i odpovědnosti.
Zdravotnické instituce, technologické firmy i jednotliví zdravotníci tak budou muset přistupovat k využívání AI s maximální obezřetností nikoliv jako k samostatně rozhodujícímu nástroji, ale jako k podpůrnému prostředku, jehož výstupy musí být vždy zasazeny do širšího klinického i právního kontextu. Odpovědnost za zdraví a život pacienta zůstává na lidské straně a s ní i povinnost rozhodovat v souladu s nejvyšší odbornou péčí a právními předpisy.
