Dziennikarze Virtualization Review przeprowadzili test trzech produktów: Citrix XenServer, Microsoft Hyper-V i VMware ESX. Interesujące są nie tylko wyniki samych testów, ale w ogóle fakt ich opublikowania. Jeden z zapisów licencji oprogramowania VMware mówi wprost, że producent nie pozwala na publikowanie wyników niezależnych testów, dopóki nie zaaprobuje metodologii badań.
Gdyby wszyscy niezależni testerzy przestrzegali tych reguł, pokonanie w testach VMware graniczyłoby z cudem. Warto jednak zaznaczyć, że producent na przestrzeni ostatnich lat nieco złagodził swoje stanowisko odnośnie benchmarków. Jeszcze w 2006 roku firma zabraniała niezależnym testerom publikacji wyników badań. Jednak Virtualization Review ustalił własne reguły gry i dokładnie przyjrzał się produktom trzech czołowych graczy. Autorzy badań, aby bardziej je uwiarygodnić zaangażowali Stuarta Yarosta. To wykwalifikowany inżynier systemowy z 22-letnim doświadczeniem w branży oprogramowania, obecnie pełniący funkcję wiceprezesa ds. aplikacji w ASQ Software Division.
Mistrz na kolanach?
Testy przyniosły bardzo ciekawe rozstrzygnięcia, nie zawsze korzystne dla VMware. Po pierwsze bardzo pozytywne wyniki uzyskał Hyper-V. Okazało się aplikacja już dziś może być bardzo poważnym graczem na rynku wirtualizacji. Również rezultaty osiągnięte przez XenServer robią wrażenie. Czy te produkty są już na tyle dobre, aby przekonać klientów do zmiany używanego powszechnie VMware ESX? To zależy od środowiska. W przypadku środowisk wieloprocesorowych, mocno obciążonych pamięcią to może być dobry wybór i XenServer jest w stanie zastąpić ESX Server. Natomiast inaczej przedstawia się sytuacja w środowisku mniej obciążonym, a także takim, gdzie aplikacje intensywnie korzystają z urządzeń I/O. Tutaj więcej argumentów przemawia za produktem VMware.
Co ciekawe, ESX musiał uznać wyższość swoich konkurentów w testach, gdzie dochodziło do bardzo dużych obciążeń maszyn wirtualnych. Produkt VMware znacznie lepiej sprawował się przy mniejszych obciążeniach, choć, jak zaznaczają autorzy badań, różnice pomiędzy produktami były prawie niezauważalne. Należy zaznaczyć, że ESX osiągnął najlepsze rezultaty w trzech spośród czterech kategorii.
Dobre i złe benchmarki
Jak się łatwo domyślić dane opublikowane przez Virtualization Review nie zachwyciły menedżerów z VMware, którzy ostro zaatakowali na firmowym blogu dziennikarzy. „To wielki krok wstecz w benchmarkach, mierzących wydajność wirtualizacji” – krytykują wyniki testów przedstawiciele VMware. Ale na tym nie kończą się krytyczne uwagi. „Nie jesteśmy przeciwnikami benchmarków, ale jesteśmy przeciwko złym benchmarkom” – czytamy na blogu firmowym VMware.
Lista zarzutów kierowanych pod adresem Virtualization Review jest bardzo długa. W jednym z badań ESX potrzebował 50 sekund więcej niż Hyper-V na uruchomienie serwera bazodanowego SQL. Zdaniem VMware w badaniu zastosowano zbyt duże, wręcz nienaturalne, obciążenia procesora, pamięci, a także operacji dyskowych. W takich warunkach czas odpowiedzi SQL może rzeczywiście być wolniejszy, ale z drugiej strony metodologia badań nijak mająca się do rzeczywistości wypacza wyniki. Poza tym firma radzi, żeby korzystać ze sprawdzonych benchmarków, posługujących się parametrami TPC, SPECweb and SPECjbb, bowiem czasy amatorskich badań, robionych ad hoc już minęły.
Jak zareagowali inni producenci? Citrix przeszedł wobec badań raczej obojętnie. A Microsoft zamieścił na swoim blogu link do strony opisującej wyniki testu.
