Ki felel, ha a mesterséges intelligencia téved az egészségügyben?

Katona Gergely, a Szegedi Tudományegyetem doktorandusza, a Mesterséges Intelligencia Etika Fórum szakértője és mentőtiszt közel harminc éve dolgozik az Országos Mentőszolgálatnál, és egészségügyi projektmenedzserként is részt vett informatikai fejlesztésekben.

„A végső diagnózist az orvos mondja meg, és ő is felelős érte.”

A mesterséges intelligencia az egészségügyben már jelen van, de a betegbiztonság csak emberi felügyelet mellett tartható fenn.

Katona Gergely, a Szegedi Tudományegyetem doktorandusza és a Mesterséges Intelligencia Etika Fórum szakértője mentőtisztként és projektmenedzserként közelről látja, hogyan jelenik meg a technológia a napi ellátásban. Az érdeklődés az egészségügyi informatikai projektekből indult, és a mesterséges intelligencia elterjedésével erősödött fel az a kérdés, hogyan lehet a betegek és az ellátók javára használni. A kezdeti lelkesedés után a fókusz a betegbiztonságra helyeződött, mert a mesterséges intelligencia sok helyen segít, de vannak területek, ahol oda kell figyelni a korlátokra. A képfelismerő rendszerek például a röntgendiagnosztikában már jól teljesítenek, egy svéd tanulmányban több mint százezer nő bevonásával a mesterséges intelligencia jobban jelezte a melldaganat előfordulását, mint két radiológus orvos együtt. Ez azonban szigorúan meghatározott feladatban és orvosi felügyelet mellett érvényes, a végső diagnózist továbbra is az orvos mondja meg.

Az automatikus torzítás akkor jelentkezik, amikor a szakember felügyelet nélkül elfogadja a mesterséges intelligencia javaslatát.

A leggyakoribb veszély az emberi természetből fakad, amikor a rendszer által adott javaslatot minden ellenőrzés nélkül elfogadják. Ezt nevezik automatikus torzításnak, és különösen akkor erősödik, ha a mesterséges intelligencia egy ideje már pontosnak bizonyul. A másik probléma a tanítóadatokból ered, mert a nem reprezentatív vagy régi adatokból dolgozó modell bizonyos csoportokra rosszabb előrejelzést adhat. Egy amerikai vizsgálatban a mesterséges intelligencia a biztosítási adatok alapján a fekete bőrű pácienseket hátrébb sorolta a szociális ellátási igényeknél, amíg az adatokat nem javították. Az orvosok és a mentőtisztek tapasztalata szerint a technikai fejlődés gyakran megelőzi az edukációt, ezért egyesek előmozdítják a használatot, mások tartanak tőle. A generációs különbségek is látszanak, a fiatalabbak könnyebben alkalmazzák a nagy nyelvi modelleket, míg az idősebbek gyakran azt állítják, hogy nem használják, miközben a háttérben mégis dolgoznak velük.

A felelősség kérdésében a főszabály szerint az intézmény állja a kártérítést, de a végső diagnózist az orvos hozza meg.

Ha a mesterséges intelligencia javaslatából kár keletkezik, több szempontot kell vizsgálni: tudott-e róla az orvos, volt-e lehetősége leállítani a folyamatot, és volt-e ideje átnézni a predikciót. Az orvos ugyanolyan felelős, sőt a legfőbb felelős, mert a végső döntést ő mondja ki. A hibák kiszűrésében a rutin és a szaktudás segít, ha a rendszer nem sorol súlyos kategóriába egy állapotot, de az orvos romlást lát, akkor a beteget meg kell vizsgálni és az AI-jelzést felfüggeszteni. A programozás során is lehet csökkenteni a kockázatot, ha tesztkörnyezetben az orvos és a mesterséges intelligencia külön-külön ad diagnózist, majd szakértői csoport hasonlítja össze az eredményeket. Két nagy nyelvi modell egymás ellenőrzése nem helyettesíti az emberi hurkot, a human in the loop elv szerint a felügyeletnek mindig jelen kell lennie. Az intézetek már kezdenek saját AI-szabályzatokat írni, de a folyamat még akadozik, ezért nem engedélyezett modellbe nem szabad páciensadatot feltölteni.

Az árnyékhasználat két fő kockázatot jelent az egészségügyben: az adatvédelmet és a hibás javaslatból eredő kárt.

Sok dolgozó azt állítja, hogy nem használ mesterséges intelligenciát, közben mégis feltölt zárójelentést, laborleletet névvel és TAJ-számmal. A saját adat feltöltése már kockázat, a páciens adatának kezelése viszont súlyos probléma, mert ezek rendkívül sérülékeny információk. Ha a nem felügyelt modell jó javaslatot ad, szerencse, ha kevésbé jót, akkor egészségkárosodás következhet. A kórházakban és magánintézményekben már megjelennek a saját nagy nyelvi modellek, de a képzés hiánya miatt sokan mégis a gyorsabb, külső rendszereket választják. A megoldás nem a teljes tiltás, mert az árnyékhasználatot száz százalékban nem lehet kiküszöbölni, hanem a komoly, gyakorlati edukáció mind a dolgozók, mind a lakosság számára. Nem elég a jelenléti ív aláírása, fel kell hívni a figyelmet a veszélyekre és arra is, mire lehet biztonságosan használni a mesterséges intelligenciát. A betegbiztonság és a technológia előnyei között szoros egyensúlyt kell tartani, különben a jó szándékú segítőeszköz károkozóvá válhat.

• Mi az automatikus torzítás a mesterséges intelligencia egészségügyi használatában?
  Az automatikus torzítás akkor jelentkezik, amikor az orvos vagy az ellátó felügyelet nélkül elfogadja a rendszer javaslatát, mert az eddig pontosnak tűnt, és nem ellenőrzi a kimenetet a saját szaktudásával.
• Ki a felelős, ha a mesterséges intelligencia rossz diagnózist javasol?
  A főszabály szerint az intézmény állja a kártérítést, de a végső diagnózist az orvos mondja meg, ezért ő is felelős, különösen ha volt ideje és lehetősége átnézni a javaslatot.
• Miért veszélyes az árnyék AI az egészségügyben?
  Mert páciensadatot, zárójelentést vagy laborleletet lehet feltölteni nem engedélyezett modellbe, ami adatvédelmi problémát és hibás javaslat esetén egészségkárosodást is okozhat.

Hasonló tartalmak:

Fekete doboz mögött a döntés felelőssége az emberé
Munkahelyi mesterséges intelligencia: adatot visz a ChatGPT

Mesterséges intelligencia az egészségügyben: mire jó, és mi történik, ha téved?
AMA advances framework for clinical AI liability