Index Vakbarát Hírportál

Megdőlt az adatrendezés sebességrekordja

2012. május 23., szerda 15:14

Világrekordot döntött a Microsoft kutatóközpontjának programozócsoportja az adatrendezés általános tesztprogramjának számító MinuteSort teszten. Az új csúcs egy perc alatt egy 1401 gigabájtos adatbázis sorba rendezése, emellett eltörpül az előző rekordtartó, a Yahoo programozócsapatának teljesítménye, ami mindössze 500 gigabájt volt. Ráadásul a microsoftos csapat kisebb hardveres hátteret használt fel, mint az előd a 2009-es rekorddöntésnél: 1400 hálózatba kötött számítógép helyett csupán 250-et, 5600 adattároló lemez helyett csak 1033-at.

Persze a hardver fejlődése és az alkatrészek gyorsulása kompenzálja valamennyire hogy kevesebb géppel dolgoztak, vagyis kevésbé tudták párhuzamos részfeladatokra bontani az adatrendezést.

Az adatbázisok valamilyen szempont szerinti sorba rendezése az egyik leggyakrabban ismétlődő feladat a számítástechnikában, egy-egy gyorsabb, vagy kisebb erőforrásigényű algoritmus jelentős teljesítménynövekedést jelenthet az adatbázisok kezelésében. A Microsoft megoldásának titka a mérnökeik által kifejlesztett Flat Datacenter Storage adattároló architektúra lehet, amit az iparban standardként használt Apache Hadoop helyett vetettek be. Sok részletet nem árultak el róla, csak egy olyan hasonlattal írták le az újítását, hogy az FDS egy olyan vállalatra hasonlít, ahol nincs senkinek felettese, hanem mindenki mindenkivel kommunikál.

A programozók újításait várhatóan először a Bing keresőbe építi be a Microsoft, hogy az gyorsabb legyen, és hatékonyabban használja ki az erőforrásait.

Rovatok