Compuware wykorzystało swoje narzędzie testowe CloudSleuth – 30 węzłów umieszczonych w najważniejszych miejscach Ziemi – by testowały odpowiedzi usług działających w chmurze co 15 minut. W ciągu roku badań, trwających od sierpnia 2010 do lipca 2011, przeprowadzono 515 tysięcy testów, z których każdy polegał na wczytaniu testowego „sklepu internetowego”, składającego się z dwóch stron, zawierających grafikę i opisy towarów.

W testach wzięły udział chmury dostarczane przez Amazona, Rackspace, Microsoft, Google, GoGrid, SoftLayer i wiele innych. Najwydajniejsze okazało się centrum danych Microsoftu w Chicago, hostujące chmurę Windows Azure. Jej czas ukończenia testów wyniósł 6072 milisekund. Google App Engine zdołało ukończyć test w 6450 milisekund, chmury RackSpace'a w Teksasie i Amazonu w Północnej Wirginii osiągnęły wynik rzędu 7200 ms, najgorzej zaś spisało się kalifornijskie centrum danych Amazonu, z wynikiem 8110 ms.

Compuware przyznaje, że zakres testu był ograniczony. „Wykorzystanie witryny internetowej jako pierwszej docelowej aplikacji powinno być postrzegane jako pierwszy krok w stronę zrozumienia kwestii dostępności, responsywności i spójności dostawców usług w chmurze. Przyznajemy, że test jest monochromatyczny, szczególnie w świetle bogactwa usług oferowanych przez dostawców chmur), ale wybór podyktowany był spostrzeżeniem, że większość współczesnych aplikacji polega na protokołach internetowych jako swoim mechanizmie transportowym. Pozwala nam to na stworzenie małe i prostej aplikacji, która wciąż może dać dobry wgląd w wydajność dostawców. Co więcej, może ona być równie łatwo zaimplementowana na chmurach IaaS i PaaS” – wyjaśnia firma w swoim komunikacie.

Dlatego jej eksperci podkreślają, że różnice na poziomie 2 sekund pomiędzy wynikami świadczyć mogą o znaczących różnicach w wydajności poszczególnych chmur. Jednak nie każdy chce przyjąć wagę tych wyników. Krytycy – wśród których wielu jest dostawców chmur, które nie uzyskały rewelacyjnych wyników, podkreślają, że dużą rolę odgrywa lokalizacja węzłów przeprowadzających testy, co więcej, publicznie udostępnione wyniki testów Compuware nie pokazują wielu danych, które mogłyby być istotne dla klienta, np. takich jak obsługa transakcji z wykorzystaniem kart kredytowych. Testy takie były przeprowadzane, ale za ich wyniki trzeba Compuware zapłacić.

Testująca firma broni się tym, że starała się przeprowadzić testy w sposób możliwie neutralny, nie wykorzystując silnych stron żadnego z dostawców, nie korzystając z ich możliwości wykorzystania CDN-ów i innych metod przyspieszenia dostarczania stron. Dodatkowo, „dane dostępne na CloudSleuth.net miałyby pozwolić zainteresowanym klientom na sprawdzenie, jak wyglądają szybkości ładowania się stron np. z New Jersey czy Argentyny i obejrzenie rankingu dostawców dla ich lokalizacji” – twierdzi Ryan Bateman z Compuware.

Wynik na pewno zostanie wykorzystany przez Microsoft w nie mniejszym stopniu, niż wyniki testów bezpieczeństwa NSS Labs były wykorzystane w promowaniu Internet Explorera. Dla klientów dostawców chmur i tak ostatecznie jednak liczy się dziś nade wszystko cena – a w tej ani Windows Azure, ani Google App Engine nie są szczególnie konkurencyjne.

źródło: arstechnica.com