Egy ausztrál kutatás arra kereste a választ, hogy mennyire megbízhatóak azok az alkalmazások, amikben a felhasználó beírja a tüneteit, az alkalmazás meg megmondja, hogy milyen betegség állhat azok hátterében.
Nem meglepő módon a vizsgált alkalmazások nagyjából csak az esetek harmadánál adtak megbízható eredményt.
Olyan alkalmazásokat teszteltek, amik nagyon népszerűek nemcsak Ausztráliában, de az egész világon. Volt köztük olyan, amit a Drugs.com, a Mayo klinika vagy a WebMD fejlesztett. A többségük elérhető és letölthető a Google Play áruházból és az Apple Store-ból is, de például a Johns Hopkins kórház applikációját a kórház weboldaláról lehet letölteni. Az appok többsége azt ígérte, abban is segít, hogy a felhasználó tisztában legyen azzal, mennyire sürgős ellátást igényelnek a tünetei.
A teszthez 48 különböző betegprofilt használtak, ebből 30-at már egy korábbi kutatásnál is ellőttek. Ezekben a profilokban az elképzelt betegek között volt, akinek a tünetei sürgős beavatkozásra, például szívrohamra utaltak, volt olyan, ami tüdőgyulladásra, de olyanok is, amik enyhébb, orvosi beavatkozást nem is feltétlenül igénylő megfázásra vagy izomgörcsre, és voltak köztük olyan betegségek is, amik leginkább Ausztráliában fordulnak elő, mint a queenslandi kullancsbetegség. A kutatók több mint ezer tesztet végeztek el, hogy kiderüljön, milyen diagnózist állítanak fel az appok, és azt is vizsgálták, mennyire helyesen ítélik meg az eset sürgősségét. Összesen 27 alkalmazást teszteltek.
Az appok átlagosan 36 százalékban találták el elsőre a betegséget, és 52 százalékuk tette az első három lehetséges betegség közé azt, ami valóban a tesztpáciens betegsége volt. Ez már jobb arány, de nem nehéz belátni, hogy ha egy sima megfázás esetén lehetséges betegségként feldob még két halálos kórt, az nem igazán jó diagnózis. Nem volt olyan applikáció, ami kiemelkedően jobb lett volna a többinél, volt azonban olyan, ami messze alulmúlta a konkurenseket: a legjobb is csak 61 százalékkal találta el elsőre a valós diagnózist, a legrosszabb pedig 12 százalékon teljesített.
A kutatás megerősítette a korábbi, 2015-ös eredményeket, vagyis azóta nem fejlődtek túl sokat ezek az alkalmazások, legalábbis nem lettek sokkal pontosabbak. A kutatást vezető Michella Hill szerint ezek az alkalmazások jobb esetben csak nem megbízhatóak, rosszabb esetben azonban kifejezetten veszélyesek is lehetnek.
Azt figyelték meg, hogy a jobb eredményeket azok az applikációk produkálták, amiknek a munkáját mesterséges intelligencia is segítette, de ezek sem voltak kiemelkedően jók, az esetek felében állítottak fel pontos diagnózist.
Mikor azt kellett meghatározni, hogy sürgős-e az eset, azt valamivel magabiztosabban ítélték meg, igaz, sokkal több esetre mondták azt, hogy sürgős beavatkozást igényel, mint amennyi valójában veszélyes volt.
A kutatók szerint az ilyen applikációkat fenntartásokkal kell kezelni, mert nem ismerik a kórelőzményeket vagy az összes tünetet, és a felhasználóik könnyen eshetnek abba a hibába, hogy nem veszik komolyan az olyan tünetegyütteseket, amik egyébként súlyosabb problémára utalhatnak.