Twitter udostępnia narzędzie do przenoszenia danych z MySQL do Hadoopa

Twitter poinformował o planach uwolnienia kodu źródłowego narzędzia wykorzystywanego przez inżynierów tego mikrobloga do przenoszenia danych z bazy MySQL do rozproszonego systemu plików Hadoop. Oprogramowanie to nosi wdzięczną nazwę Crane (żuraw).

Twitter wykorzystuje Hadoopa przy analizie danych zebranych ze swojej usługi mikroblogowej. Poprzez niego dostarcza też danych, wykorzystywanych później przez narzędzia umieszczone w serwisie webowym, m.in. wyszukiwarkę.

Podczas konferencji Hadoop Summit, Kevin Wiel, pracujący w Twitterze w dziale analiz, wyjaśnił że jego firma przenosi dane do Hadoopa na dwa sposoby. Pierwszym jest kolekcjonowanie danych za pomocą narzędzia Scribe, opracowanego przez Facebooka, które każdego dnia dostarcza do Hadoop File System (HDFS) po siedem terabajtów nieustrukturyzowanych danych. Drugim jest wykorzystanie właśnie Crane, przenoszącego dane tabelaryczne.

Większość danych tabelarycznych gigant mikroblogowy przechowuje w bazie MySQL, resztę natomiast w nie-SQL-owym magazynie danych Cassandra, oraz we Flocku, opracowanym na potrzeby Twittera, „społecznym grafie” przechowywania danych.

Crane został opracowany w celu przenoszenia danych z MySQL do HDFS, HBase, Flock, Google Analytics, Facebook Insights jak również pomiędzy między poszczególnymi instancjami MySQL-a. „Potrzebujemy elastycznego narzędzia do przenoszenia danych więc zbudowaliśmy Crane, który jest jest konfigurowanym narzędziem, działającym zgodnie z zasadą ETL (extract, transform, load)” – powiedział Wiel.

Źródło: TheRegister.co.uk, ITworld.com

Podoba Ci się ten tekst? Powiedz o tym innym na Fb: lub na G+:

publikuj:

wydrukuj

skomentuj »

Polecamy

Reklama

Komentarze

Aby dodać komentarz, musisz podać swój nick, treść komentarza oraz poprawnie przepisać oba słowa z obrazka (słowa muszą być rozdzielone spacją).
W treści komentarza można używać języka formatowania BBcode.