"Někteří pacienti mohou dostávat výrazně méně podpůrné rady jen na základě toho, jak model vnímá jejich rasu," uvedla Marzyeh Ghassemiová z Massachusettského technologického institutu.
Rozšířené používání AI v nemocnicích a lékařských ordinacích má sice ulevit přetíženým zdravotním systémům, ale výzkum amerických badatelů a studie vědců z London School of Economics varují, že technologie posilují již existující vzorce nedostatečné péče.
Například modely GPT-4 od Open AI, Llama 3 od firmy Meta nebo Palmyra-Med od společnosti Writer doporučovaly ženám méně intenzivní léčbu a někdy i domácí samoléčbu. Podobně Google Gemma, používaný britskými sociálními službami, podceňoval problémy žen ve srovnání s muži.
Výzkum rovněž ukázal, že pacienti s horší jazykovou vybaveností nebo neformálním vyjadřováním měli o sedm až devět procent vyšší pravděpodobnost, že jim AI poradí nevyhledávat lékařskou pomoc. Znevýhodněni v anglosaských zemích tak mohou být lidé, pro něž není angličtina mateřským jazykem nebo kteří nejsou zvyklí komunikovat digitálně.
Firmy jako OpenAI či Google podle listu tvrdí, že problematiku berou vážně a investují do odstraňování předsudků. OpenAI uvedla, že řada studií hodnotila starší verzi GPT-4 a že se mezitím zvýšila přesnost modelu. Google oznámil, že vyvíjí techniky na očištění dat od předsudků a ochranu před diskriminací. Experti doporučují trénovat modely na vyváženějších a reprezentativnějších zdravotních datech, nikoli na obecných internetových zdrojích.
Britské univerzity vytvořily ve spolupráci se státním zdravotním systémem NHS model Foresight, který je trénovaný na anonymizovaných datech 57 milionů pacientů. Cílem je předvídat rizika hospitalizací nebo srdečních onemocnění. Projekt ale pozastavila britská dozorová instituce kvůli stížnostem na ochranu dat.
Nebezpečné zkreslení může pramenit z povahy tréninkových dat i z takzvaných halucinací AI, kdy modely generují nepravdivé nebo zavádějící informace, aby dostály zadání.
Microsoft nedávno oznámil, že jeho nový nástroj založený na AI překonává lidské lékaře v diagnóze složitých případů. Systém Microsoft AI Diagnostic Orchestrator správně identifikoval 85,5 procenta komplikovaných případů popsaných v časopise New England Journal of Medicine (NEJM), zatímco lidským lékařům se to bez konzultací s literaturou nebo kolegy podařilo jen zhruba ve 20 procentech. Odborníci podle FT upozorňují, že technologie není připravena pro nasazení v klinické praxi a výsledky dosud neprošly recenzním řízením.
