Umělá inteligence ve zdravotnictví: kdo ponese odpovědnost v případě škody?

Systémy umělé inteligence vstupují do našich životů čím dál častěji. Neminuly pochopitelně ani oblast medicíny, kde již dnes mohou fungovat jako podpůrný nástroj pro rozhodování o diagnóze a léčbě (psali jsme například zde). Jenže ruku v ruce s tím, jak se budou systémy umělé inteligence rozvíjet a rozšiřovat, si budeme muset odpovědět i na některé otázky, které jejich užívání nastoluje. Jednou z nich je odpovědnost. Pokud systém umělé inteligence, potažmo zařízení, které jím disponuje, způsobí škodu, kdo za ni bude odpovídat a jakým způsobem se budou takové případy řešit? To jsou otázky, které si položili odborníci na červnové konferenci s názvem Právní a etické aspekty umělé inteligence ve zdravotnictví, kterou pořádala Akademie medicínského práva.

„Výchozí otázka je, jestli chceme lékaře, kteří budou léčit pacienty za pomoci počítačů, nebo počítače, které budou léčit pacienty za pomoci lékařů. Odpověď na tuto otázku vám dá nápovědu, jak se dívat i na otázku odpovědnosti. Jde o to, kdo přijímá rozhodnutí v medicínském prostředí o stanovení diagnózy a léčebného postupu. Kdo rozhodnutí přijme, by měl mít i odpovědnost,“ uvádí advokát Stanislav Mikeš, který se zabývá novými technologiemi.

Jaký dnes vlastně máme k této problematice právní rámec? „V rámci usnesení Evropského parlamentu týkajícího se doporučení komisi o nastavení občansko-právní odpovědnosti s ohledem na robotiku se říká, že stávající systém občansko-právní odpovědnosti asi není ideální a měli bychom v rámci EU vytvořit jiná pravidla. Úplně s tím nesouhlasím – v řadě případů jsou oblasti, o kterých je třeba uvažovat, ale nemyslím si, že by byl stávající systém odpovědnosti úplně nedostatečný. Už i s ohledem na to, že roboty a umělou inteligenci užíváme relativně dlouho, a doposud jsme si vystačili se stávajícími pravidly,“ domnívá se docent Tomáš Doležal, advokát se specializací na zdravotnické právo a náhradu škody za zdraví.

Co se týče situace v České republice, zákon o zdravotnických prostředcích říká, že zdravotnickým prostředkem je mimo jiné programové vybavení. „Je otázkou, zda sem patří i umělá inteligence. Pak se nemusíme tolik bavit o vymýšlení nové regulace – zákon má poměrně přesné postupy, jak provádět certifikaci,“ poukazuje Stanislav Mikeš. I velmi sofistikovaní roboti ve zdravotnictví tak jsou dnes považováni za zdravotnické prostředky, podle čehož k nim také přistupujeme.

Mohlo by vás zajímat

Útok na umělé oplodnění opět ve hře. Poslankyně Chalánková oprášila návrh, který sedm let spal

Podle lékařského náměstka FN Hradec Králové Miroslava Měšťana není sporu o tom, že i systémy umělé inteligence budou spadat do kategorie zdravotnických prostředků. „Výrobci budou muset být schopni garantovat dopředu odhadovatelné chování technologie, provést klinická hodnocení a všechna opatření, která k tomu patří,“ podtrhává Měšťan.

Přesto si však může umělá inteligence v některých případech žádat speciální přístup. „Co může vyžadovat jinou regulaci, jsou vysoce autonomní roboti, kteří si budou vytvářet rozhodnutí sami a budou je také uskutečňovat. I v této věci tu ale máme velmi dobré příklady z jiných oblastí, jak to řešit. Máme tu možnosti fondů, úlevy v rámci prokazování, otáčení důkazního břemene nebo objektivní odpovědnost s tím, že povinnost kompenzace je přenesena na někoho jiného. Je přitom politická, ne právní otázka, u koho odpovědnost skončí,“ konstatuje Tomáš Doležal.

Podle předsedy senátu Nejvyššího soudu Petra Vojtka by ale měl odpovědnost za případné pochybení ze strany umělé inteligence nést primárně ten, kdo ji použil. „Samozřejmě je tam i otázka ohledně tvůrce programu či zařízení, ale primárně by měl odpovídat ten, kdo umělou inteligenci použil při své činnosti – s případným postihem proti tomu, kdo mu dodal špatně fungující věc,“ uvádí Petr Vojtek.

Zavinění je u autonomních systémů těžko prokazatelné

Jaké instituty odpovědnosti připadají do úvahy? „Subjektivní odpovědnost je problematická, protože u programů nelze hovořit o zavinění. Napadá mne proto institut odpovědnosti za radu či informaci, kdy je otázkou, zda by bylo možno konstruovat, že se softwarová firma staví do pozice odborníka poskytujícího zdravotnickou radu. Dále je tu institut odpovědnosti za provozní činnost či za provoz zvlášť nebezpečný. Ustanovení občanského zákoníku říkají, že provozem může být jiné zařízení, a je otázkou, zda by zde nešlo uvažovat o klasifikaci systému umělé inteligence jako o zařízení spadající pod tato ustanovení,“ domnívá se Mikeš.

Ten ovšem také poukazuje na to, že dnes původci softwaru často odpovědnost vylučují na maximální možnou míru možnou zákonem. „Nemělo by být cílem hledat hůl na tvůrce softwarů a nutit jim odpovědnostní ustanovení, na druhou stranu se na systémy budou lékaři spoléhat, a je proto třeba se o odpovědnosti bavit,“ dodává Stanislav Mikeš.

Při debatě o odpovědnosti je také třeba rozlišit, zda jde o autonomní technologii či ne. „Autonomní technologie není transparentní. Je typická tím, že se postupně učí a upravuje svůj kód, a to způsobem, který není pro člověka vnímatelný. Hovoří se o vysvětlitelnosti algoritmu. Pokud se v důsledku fungování autonomní technologie stane něco problémového a dojde k újmě, nejsme z hlediska právního při zkoumání toho, kdo to způsobil, nebo v horším případě zavinil, kód schopni prohlédnout a něco z něj zjistit,“ přibližuje vedoucí Ústavu práva a technologií na Masarykově univerzitě docent Radim Polčák.

Podle něj je dnes model využívaný i při poskytování zdravotní péče postavený na zavinění, kdy jde s výjimkou extrémů, při nichž chce někdo záměrně ublížit, hlavně o nedbalost. Zde se pak zkoumá vědomost či nevědomost a míra nedbalosti. „Jenže v momentě, kdy nasadíte autonomní systém, je jakýkoliv prvek zavinění kvůli nízké míře transparentnosti velmi těžko prokazatelný. I při pohledu zpátky navíc nejsou časté případy, kdy by soudy rozhodovaly odpovědností za újmu způsobenou vadou softwaru. Přestože tyto újmy reálně nastávají, nemáme v Evropě případy, které by se povedlo úspěšně odžalovat, a to právě proto, že se velmi těžko prokazovala míra zavinění. Přitom to byly transparentní algoritmy,“ popisuje Polčák.

Návrhy, že by se škoda způsobená autonomním systémem dala řešit na úrovni odpovědnosti za vadu výrobku, tak podle Polčáka nejsou správnou cestou – dosud se totiž v judikatuře nestalo, že by vada spočívala ve vadě softwaru. Vedle toho ale existuje model no-fault liability, ve kterém nezkoumáme zavinění. V České republice přitom máme institut nazývaný škoda způsobená provozem, což se vztahuje například na auta, kdy v první vlně odpovídá za škodu provozovatel auta, škoda se platí z pojistky a zavinění se nezkoumá.

„To je ale v medicíně extrémně problematický model, protože v momentě, kdy se nedaří pacienta vyléčit nebo se mu v souvislosti s léčbou něco problematického přihodí, měli bychom absolutní odpovědnost na straně zdravotnického zařízení, což je něco absolutně nemyslitelného. Pro případy, kdy se budou používat autonomní technologie při poskytování zdravotnické péče, bychom tak měli uvažovat o kombinaci modelu totální odpovědnosti, který je v současné době postavený na zavinění, a modelu no-fault liability,“ načrtává Polčák.

Právo by nemělo anticipovat vývoj autonomních technologií

Problematikou se zabýval i Evropský parlament a Evropská komise (i když nešlo specificky o autonomní technologie ve zdravotnictví), a v tuto chvíli se adekvátním řešením zdá to, co u zdravotnických technologií funguje už dnes – tedy procesy compliance spočívající v certifikaci či auditech postupů a technologií v kombinaci s průběžným dohledem a pojištěním.

„Pokud někdo drží prst na budoucnosti autonomních technologií, ať už ve zdravotnictví nebo kdekoliv jinde, jsou to zajišťovny, tedy firmy, které počítají pojistné modely a následně je prodávají pojišťovnám. Ve zdravotnictví je typické, že jsou technologie velmi investičně náročné, a pokud do takové technologie investujete, musí to být nějakým způsobem zajištěno. Alfou a omegou budoucnosti autonomních technologií tak bude, zda se nám podaří regulatorní prostředí nastavit tak, aby bylo dostatečně bezpečné, ale také aby cena pojistky nepředstavovala překážku investic. Snažíme se tedy dostat z režimu možné odpovědnosti, která se špatně počítá a bez pojistného modelu je pojistka velmi drahá, do režimu compliance. Tam totiž víme, kolik nás certifikace a preventivní mechanizmy budou stát,“ dodává Radim Polčák.

Nedávno tak vyšel v úředním věstníku akt o kybernetické bezpečnosti, který model certifikace předpokládá – jedná se o evropskou certifikaci se schématem schvalovaným komisí a laboratořemi v jednotlivých státech, které ji budou provádět. „Filozofie certifikace je ale otázkou. Můžeme totiž certifikovat jednotlivá zařízení, jenže pak provedete softwarový update a najednou se zařízení může chovat úplně jinak. Budeme se tedy asi muset naučit dělat certifikaci auditním způsobem a průběžně. V souvislosti s aférou Huawei se také budeme muset začít dívat nejen na to, jak technologie vypadá, ale také, kdo ji poskytuje a jaká jsou rizika,“ načrtává Polčák.

Ačkoliv je ale na místě debatovat o problematice, kterou s sebou přinášejí nové technologie, specificky umělá inteligence a autonomní systémy, nemělo by podle docenta Polčáka právo anticipovat další vývoj, nýbrž by na něj mělo reagovat – musíme totiž vědět, co se snažíme regulovat. „Nemá smysl hovořit o mega super regulaci autonomních technologií, je třeba jít tam, kde už problémy jsou, a řešit je formou drobného legislativního experimentu,“ uzavírá Radim Polčák.

Michaela Koubová