A macskák és egerek megfigyelése után nem meglepő, hogy az emberek csoportjainak megfigyelésére is létezik megoldás (méghozzá olyan is, amit nem a hatóságok és a kémek használnak elsősorban). A Carnegie Mellon munkatársai biztonsági kamerák és speciális képelemző algoritmusok segítségével alkottak meg egy olyan rendszert, amit saját bevallásuk szerint Harry Potter kalandjai ihlettek.

A varázslótanonc egyik legjobb kütyüje volt a Tekergők térképe nevű papírlap, ami megmutatta, ki hol járkál épp a varázslóiskola folyosóin. A való élet szakembereinek rendszere, amit egy betegotthon kameráinak felvételein próbáltak ki, 88 százalékos és egy méteres pontossággal tudta megmondani, merre járnak a megfigyelt emberek. Érdekesség, hogy a laborkörülmények között végrehajtott tesztek során ennél jóval gyengébben teljesített a program.

A betegotthon a szakemberek szerint azért is jó választás volt a betegotthon, mert kamerák már amúgy is voltak, ráadásul a rendszernek számos, az életszerűséget növelő problémával kell megküzdeniük, mint például a berendezési tárgyak helyének folyamatosan változása, ajtók, a kamerák által nem belátható vakfoltok, illetve teljesen szabadon mozgó megfigyeltek. Ráadásul egy betegotthonban még segít is egy ilyen rendszer, hiszen nagyon fontos, hogy az ápolók adott esetben minél hamarabb megtalálják a kezelteket.

A rendszer alapját az arcfelismerő és színkövető algoritmusok adják. A gyakorlatban elég könnyű a viselt ruha színe alapján követni az embereket, azonban a színek más-más árnyalatot kapnak a különböző megvilágítási körülmények között. A használt algoritmusok azonban arra is képesek, hogy egy sötét folyosóról a világos szobába lépő, piros pólós alanyt is kövessenek. Alapesetben természetesen az arcfelismerés lenne a legbiztosabb azonosítási módszer, de az eredmények alapján a követett emberek csak az idő 10 százalékában fordulnak annyira a kamerák felé hogy az arcfelismerő rutinok értékelhető képet kapjanak, így a két módszert összegyúrva jött ki a végső megoldás.

A Carnegie Mellon projektje egyelőre tesztelés alatt van, a szakemberek egy betegotthon 2005-ben felvett videóiból kivágott, hat perces felvételt használtak az eljárások továbbfejlesztésére. A valós próba még nagyon messze van, de ha egyszer elkészül a rendszer, betegotthonok helyett börtönökben és kaszinókban jelenik majd meg elsősorban, de a köztéri kamerák képeinek elemzése is egyszerűbbé válik.