Digg porzuca MySQL na rzecz Cassandry, nierelacyjnego magazynu danych

Zdaniem członków ruchu NoSQL, klasyczne, scentralizowane SQL-owe bazy danych nie nadają się do współczesnych aplikacji webowych, obliczonych na jednoczesny dostęp tysięcy a nawet milionów użytkowników. „Dają ci zbyt wiele, zmuszają do dopasowywania danych do struktury systemu zarządzania” – powiedział Jon Travis, inżynier z należącej do VMware firmy SpringSource. Alternatywą mają być rozproszone magazyny danych, przetrzymujące je w parach klucz/wartość.

Nierelacyjne systemy przechowywania danych (terminu „baza danych” członkowie ruchu NoSQL nie lubią ze względu na jego powiązanie z RDBMS-ami) oferują niezrównaną szybkość i elastyczność. Najszybsze z nich, takie jak Hypertable, dzierżą rekordy w przetwarzaniu informacji – do 20 petabajtów na dobę.

Dodatkowo systemy takie łatwo się rozbudowuje. Nie trzeba dzielić ich na fragmenty, aby uruchamiać całość na rozproszonym klastrze. W Google system BigTable obsługuje około sześciu petabajtów danych rozrzuconych na kilku tysiącach serwerów.

Wykorzystana przez Digga Cassandra została uwolniona przez Facebooka w 2008 roku i trafiła pod skrzydła Fundacji Apache. Dzisiaj korzystają z niej m.in. takie serwisy jak Facebook i Twitter, stanowi też podstawę cloudcomputingowej oferty firmy RackSpace. Rozbudowa jest prosta, dodaje się po prostu kolejny węzeł do systemu. Rozwiązanie jest bardzo szybkie, według członków ruchu NoSQL Cassandra pozwala na zapisanie 50 GB danych w 0,12 sekundy – 2,5 tysiąca razy szybciej niż MySQL 5. Po części za szybkość tą odpowiada porzucenie tradycyjnych wymogów spójności, znanych z formuły ACID (atomicity, consistency, isolation, durability). Cassandra przyjmuje w to miejsce podejście określone jako „eventually consistent”, które nad spójność magazynu danych przedkłada jego dostępność.

Wybór Cassandry poprzedziły długie poszukiwania wśród dostępnych opensource'owych NoSQL-owych magazynów danych. Dziecko Facebooka wybrano ze względu na jego kolumnową orientację, która pozwala na przechowywanie w miarę ustrukturyzowanych danych. Testy rozpoczęły się we wrześniu 2009 roku, kiedy to Cassandra zastąpiła MySQL-a w jednym z kluczowych komponentów Digga.

Deweloperzy Digga nie tylko jednak potrafią brać – do kodu źródłowego projektu oddali wiele poprawek, które zwiększają m.in. szybkość upakowania (compaction) i cache'owania na poziomie wierszy.

Źródło: heise.de, about.digg.com