Az arcfelismerő rendszerek pontosságát erősen befolyásolja a háttérben futó mesterséges intelligencia mintakészlete, ez derült ki az MIT Media Lab kutatóinak vizsgálatából. Ezek a rendszerek már olyan fejlettek, hogy a látott személy nemét is meg tudják állapítani.
Ha fehér férfi van a képen, az esetek 99 százalékában pontosak.
Minél sötétebb a gép által felismerni kívánt ember bőre, annál több a hiba. Az arcfelismerők a sötétebb bőrű férfiaknál az esetek 12 százalékában nem találták el az illető nemét, míg a sötét bőrű nőknél 35 százalék volt a hibaarány - derítette ki Joy Boulamwini, aki 1270 személy arcát táplálta be a Microsoft, az IBM és a kínai Megvii rendszereibe.
Boulamwini szó szerint a saját bőrén tapasztalta meg az arcfelismerő rendszerek hibáját: sem korábban a Georgia Tech egyetemen, sem ezt követően az MIT-n nem ismerte fel az arcát a rendszer. Akkor vált igazán bizarrá a dolog, amikor egy fehér műanyag maszkot az arca elé tett, és az rögtön észlelte az algoritmus.
A mesterséges intelligencia rosszabbul teljesít, ha több fehér férfi arcképe van a mintakészlítében, mint amennyi sötét bőrű egyén, és amint ezt a New York Times megállapította, a probléma valós: egy széles körben alkalmazott arcfelismerő rendszer adatbázisában az arcképek 75 százaléka férfi, és 80 százaléka fehér bőrű.
A tanulmány arra szándékozott rámutatni, hogy a bőrszínhez köthető pontatlanságok miatt megkérdőjelezhető a mesterséges intelligencia megbízhatósága. Nemcsak azokban a szélsőséges és botrányos esetekben, mint amikor a Google Képek gorillaként kategorizálta az egyik szoftverfejlesztő fekete bőrű barátait. (Ezt a problémát a Google a "gorilla" kategória teljes tiltásával oldotta meg, egy huszárvágással.)
Ma már azzal is kísérleteznek cégek, hogy a munkaerő keresését részben algoritmusokkal automatizálják, és a téves felismerés miatt hátrányos helyzetbe kerülhetnek bizonyos csoportok. A rendőrség is alkalmaz ilyen rendszereket, és egyetemi kutatók kimutatták, hogy emiatt gyakrabban igazoltatják a sötét bőrűeket.