Nem is gondolnánk, mennyire széles skálán hasznosíthatók ezek az adatok - például járványok terjedésének modellezéséhez, személyes egészségügyi szükségletek megállapításához, időbeosztás hatékonyabbá tételéhez, közösségi hálózatok frissítéséhez, személyre szabott hirdetések kidolgozásához, vagy éppen a folyamatos életnaplózáshoz (lifelogging) szolgálhatnak nélkülözhetetlen kiindulási pontként. Az új típusú életnaplózás idővel ugyanúgy elterjedhet, mint a kimenő elektronikus levelek figyelemmel kísérése.

Ebben az irányban jelenthet komoly előrelépést a Dartmouth College (Hanover, New Hampshire) kutatóinak új szoftvere. A SoundSense a mobiltelefon mikrofonját használva követi és próbálja értelmezni a tulajdonos aktivitását. Hangokat gyűjt össze, majd csoportosít automatikusan különböző kategóriákba.

Ellentétben hasonló rendeltetésű elődeivel, ismeretlen, szokatlan zajok felismerésére is képes. Ha valamit gyakran hall, sűrűn ismétlődik, és kellő ideig eltart, magas értéket ad neki, s megkérdezi a felhasználót, hogy fontos-e. Amennyiben a válasz pozitív, felajánlja a címkézési opciót. Eseményeket osztályoz, melyek alapján különböző teendőkre figyelmeztetheti a felhasználót.

Hangmonitorozás

A kutatók azért döntöttek a hangmonitorozás mellett, mert az összes mobiltelefonban van mikrofon, és mert a gyorsulásmérők csak korlátozott mennyiségű információt szolgáltatnak. Arra is törekedtek, hogy a program ne foglaljon el sok helyet, és a lehető legkisebb mértékben (vagy egyáltalán ne) növelje a készülék fogyasztását. Kettős célt értek el: a hang alapú tevékenységek nyomonkövetése, érzékelése egyrészt nem kifejezetten energiaigényes, másrészt a végeredmény felettébb informatív. Auditív jegyek alapján nagyon sok aktivitás megkülönböztethető egymástól, ráadásul szociális aspektussal gazdagítja a kontextuális érzékelést.

A programot úgy tervezték, hogy privacy szempontokat figyelembe véve, az információt feldolgozási célból se távolítsák el a készülékről. Nem tárol nyers audioklipeket, használója egy-egy hang ignorálására is utasíthatja.

A tesztek során a SoundSense pontosan meghatározta, hogy a felhasználó mikor és hol tartózkodott (kávéházban, sétált az utcán, fogat mosott, biciklizett, autót vezetett stb.). Bankautomata és ventilátor zajait szintén azonosította.

"Az első lépés egy olyan rendszer felé, mely menet közben is képes tanulni, megtanulni a fogyasztó viselkedését" - nyilatkozta Tanzeem Choudhurry, a projekt egyik vezetője. - "Ha egy szoftver felismer valamely személy életéhez kapcsolódó hangokat, arra is felhasználható, hogy azonos preferenciákkal rendelkező más személyek után kutakodjon."

Új hangok felismerése, a felismerési folyamat megtanulása kulcsfontosságú tényező az első konkrét, a mindennapokban is működő alkalmazásokhoz.