Színes bőrűekkel szemben lett előítéletes egy egészségügyi algoritmus, és mivel a kutatók szerint minden nagyobb egészségügyi rendszer ezt használta, így nem tudják megmondani, hogy hány embert is érintett a probléma.
A kutatók által meg nem nevezett algoritmus és készítőiről annyit lehet tudni, hogy egészségügyi központok mellett biztosítók is használták, azaz nem csak a háziorvosnál vagy a kórházban, de még biztosításkötéskör is belefuthattak az emberek a gépi rasszizmusba.
Az algoritmust az egészségügyi szolgáltatók használták a magas kockázatú ellátások ellenőrzésére. Ez úgy nézett ki, hogy azonnal megjelölte azokat a pácienseket, akiknek komplex ellátásra volt szüksége, és jelzett az orvosoknak és a személyzetnek, hogy rájuk jobban oda kell figyelni. Az algoritmus elsődleges feladata az volt, hogy megjósolja, melyik páciensek lesznek azok, akiknek az állapotán a több vizsgálat, vagy az orvosi konzultáció segít, és kik azok, akiknek nem olyan az állapota, hogy extra orvosi figyelmet, vagy plusz vizsgálatokat igényeljen. Vagyis az elsődleges szempont a spórolás volt, és hogy az egészségügyi dolgozók jobban tudjanak gazdálkodni az idejükkel, de azt is nézte, hogy kire mennyit költöttek a közelmúltban.
De az derült ki, hogy azonos tünetekkel rendelkező fehér emberek nagyobb eséllyel jutottak több vizsgálathoz és jobb ellátáshoz, mint a feketék. A nagy különbség még a kutatókat is meglepte, hiszen jelenleg a színes bőrűek 17,7 százaléka kapott több figyelmet, míg ha ez az előítélet nem lett volna a rendszerben, akkor 46,5 százalékuk kaphatott volna jobb ellátást.
A kutatók szerint egyértelműen fontos az egészségügyben a költséghatékonyság, ugyanakkor ha eleve elfogult a rendszer, akkor az az algoritmusban is torzítást eredményez.
Az elfogultság történelmi és szociális okokra vezethető vissza. Mikor több vizsgálatot és költségesebb, esetleg hosszabb kezelést ajánlanak az orvosok, akkor a betegnek szabadságot kell kivenni a munkahelyén, hogy ezeken megjelenjen. Mivel eleve a munkahelyükön is sok színes bőrű embert ér megkülönböztetés, vagy mélyszegénységben élnek, így nem eshetnek ki napokig a munkából, ezért előfordul, hogy elutasítják, vagy nem jelennek meg a kezelésen vagy a vizsgálatokon. Ha a rendszer azt látta, hogy az adott emberre eddig nem költöttek sokat, akkor azt úgy érzékelte, hogy feltételezhetően ő nem is annyira beteg, azaz nincs szüksége extra vizsgálatokra. A rendszer azt feltételezte, hogy azok a páciensek, akik a legtöbb figyelmet kapják, azoknak szükségük is van a sok figyelemre.
Ehhez képest a kutatók azt vették észre az adatok elemzése során, hogy egy színes bőrű embernek sokkal súlyosabb tüneteket kellett produkálnia, hogy a rendszer úgy értékelje, hogy extra vizsgálatokra és orvosi konzultációra van szüksége.
A kutatók már számtalanszor jelezték, hogy elfogult adatsorokból csak elfogult algoritmust lehet összehozni, de a jó hír az, hogy ezen lehet változtatni.
Az előítélet megszüntethető. Nem újabb adatokkal, nem egy újabb és drágább neurális hálóval, de szimplán azzal, hogy megváltoztatjuk, mit kell megjósolnia az algoritmusnak
- mondta Ziad Obermeyer a Berkeley Egyetem adjunktusa, a kutatás egyik munkatársa. Szerintük ugyanis azzal, hogy csak a meghatározott költségek egy részére összpontosítanak, például, hogy hányszor kell az adott kezeléshez a kórházba látogatni, máris csökkenteni lehet az előítéleteket.
A legjobb megoldás pedig az lenne, ha elsődlegesen nem a költségeket becsülné meg az algoritmus, hanem hogy mi lesz a plusz vizsgálatoknak és konzultációknak az egészségügyi hatása.