Google MapReduce ustanawia światowy rekord szybkości sortowania danych

Jak wiadomo, inżynierowie i naukowcy pracujący w Google nie są wielkimi miłośnikami konwencjonalnych baz danych ani konwencjonalnego podejścia do infrastruktury serwerowej. Teraz zespoły z Mountain View uzyskały bezpośrednie potwierdzenie skuteczności swojego podejścia – dzięki technologii MapReduce udało im się posortować dane szybciej, niż byłoby to możliwe przy użyciu jakiejkolwiek klasycznej, relacyjnej bazy danych.

W lipcu br. jeden z klastrów Yahoo! Hadoop, składający się z 910 węzłów potrzebował na posortowanie jednego terabajta danych 209 sekund. Teraz 1000 serwerów Google'a, z uruchomionym równolegle oprogramowaniem Map Reduce, zdołało posortować jeden terabajt w 68 sekund. Co więcej, Google zdecydowało się na przetestowanie możliwości MapReduce do posortowania jednego petabajta danych – ilości danych, która według firmy z Mountain View jest dwunastokrotnie większa niż zarchiwizowana przez Bibliotekę Kongresu USA zawartość sieci WWW na maj 2008 roku.

Do tego wyczynu wykorzystano 4000 serwerów – niewielki odsetek ogólnej liczby maszyn, jakimi dysponuje wyszukiwarkowy potentat. Jak poinformował Grzegorz Czajkowski, członek zespołu infrastruktury Google'a, z tą ilością danych MapReduce poradził sobie w 362 minuty. Dodał przy tym, że przeciętnie Google przetwarza jakieś 20 petabajtów danych dziennie. Dla porównania, największe publicznie znane hurtownie danych, takie jak np. Teradata, gromadzą co najwyżej kilkanaście petabajtów, z których dziennie przetwarzają niewielką ich część.

Eksperci wskazują, że przedstawienie wyników testów zbiegło się w czasie z kolejną krytyką MapReduce autorstwa profesora Davida DeWitta. DeWitt, który przeszedł w tym roku do Microsoftu by pracować nad SQL Serverem, jest znanym obrońcą klasycznych, relacyjnych systemów baz danych. Wydaje się, że zabieg okazał się skuteczny – podczas konferencji PASS 2008, która odbyła się w miniony piątek, DeWitt zrezygnował z wypowiadania się na temat niedostatków technologii Google'a.

Źródło: Computerworld.com

Podoba Ci się ten tekst? Powiedz o tym innym na Fb: lub na G+:

publikuj:

wydrukuj

skomentuj »

Komentarze

Aby dodać komentarz, musisz podać swój nick, treść komentarza oraz poprawnie przepisać oba słowa z obrazka (słowa muszą być rozdzielone spacją).
W treści komentarza można używać języka formatowania BBcode.