Ethernet był od dawna dominującą technologią w sieciach LAN, jednak niewystarczająca przepustowość i brak pewnych mechanizmów obsługi transmisji danych sprawiły, że w serwerowniach znalazły miejsce również takie technologie, jak Fibre Channel czy InfiniBand. Standard 10 Gigabit Ethernet (10 GbE) zmienił tę sytuację, umożliwiając stworzenie w serwerowni jednej sieci do obsługi wszystkich rodzajów komunikacji.
Ethernet o przepustowości 1 Gbit/s jest wystarczający dla większości aplikacji działających w sieciach LAN, ale jest to zbyt mało, jeśli chodzi o łączenie serwerów z pamięci masowymi (SAN i NAS) oraz serwerów z serwerami. W tym celu powszechnie stosuje się technologie Fibre Channel oraz InfiniBand. Fibre Channel umożliwia transfer z maksymalną szybkością 8 Gbit/s, natomiast najpopularniejsze interfejsy InfiniBand obsługują 10 Gbit/s, ale są też dostępne porty w przełącznikach i serwerach oferujące przepustowość 30 Gbit/s.
Na popularyzację technologii 10 GbE miały wpływ dwa czynniki:
- konkurencyjne koszty i wydajność;
- potrzeba uproszczenia sieci w centrach danych.
Koszty i wydajność
Wprawdzie sieci 10 GbE nie mogą się równać z najszybszymi wersjami InfiniBand, ale taka przepustowość jest wystarczająca na potrzeby większości serwerowni. Mimo konkurencyjnej wydajności, 10 GbE nie zdobywa jednak szybko popularności.
Opracowany przez IEEE standard, czyli 10 GbE, pojawił się w finalnej wersji w 2002 roku, ale wysokie ceny urządzeń spowolniły początkową popularyzację tej technologii. Gdy ceny spadły, sprzedaż kart sieciowych i przełączników 10 GbE przyspieszyła. W sierpniu 2008 firma badawcza Dell’Oro opublikowała raport informujący, że sprzedaż portów 10 GbE w przełącznikach po raz pierwszy przekroczyła 250 tysięcy.
Trzeba pamiętać, że przepustowość połączeń nie jest jedynym decydującym czynnikiem. Wydajnie działająca sieć SAN wymaga bardzo krótkich opóźnień w komunikacji pomiędzy serwerami i macierzami. Większość przełączników LAN została zaprojektowana z myślą o sieciach LAN, co pierwotnie oznaczało, że musiały odebrać całą ramkę, zanim mogły przesłać ją dalej.
Producenci przełączników rozwiązali ten problem, wprowadzając do przełączników technologie szybszego przesyłania ramek. Przełączniki przeznaczone do serwerowni charakteryzują się niższymi opóźnieniami, ponieważ rozpoczynają nadawanie ramki już w momencie, gdy odbiorą jej nagłówek informujący o docelowej lokalizacji. Dzięki temu przełączniki Ethernet mogą konkurować z przełącznikami InfiniBand.
Mniejsze obciążenie procesorów i opóźnienia
Obciążenie procesorów w serwerach jest krytycznym czynnikiem decydującym o wydajności. W większości komputerów procesor odpowiada za kopiowanie danych i przetwarzanie protokołów niezbędnych do obsługi ruchu sieciowego. Wraz ze wzrostem szybkości przesyłania danych wzrasta obciążenie procesorów. Przy przepustowości 10 Gbit/s obciążenie procesorów jest nie do przyjęcia.
Dlatego producenci kart sieciowych 10 GbE wbudowali w nie trzy rozwiązania mające rozwiązać ten problem:
- TCP/IP offload engine (TOE) – dedykowany procesor do obsługi stosu protokołów TCP/IP. Zastosowanie TOE powoduje przeniesienie przetwarzania protokołów z głównego procesora (CPU) do karty sieciowej. Dzięki temu znacznie spada obciążenie głównego procesora. Ponadto zmniejszają się opóźnienia, ponieważ procesory kart sieciowych są zoptymalizowane pod kątem szybkiego przetwarzania ramek.
- Remote Direct Memory Access (RDMA) – jest to efektywny mechanizm usprawniający komunikację typu serwer-serwer. Redukuje opóźnienia i obciążenia procesora głównego poprzez przenoszenie danych aplikacji bezpośrednio z pamięci RAM do karty sieciowej. Pojedynczy, wspomagany sprzętowo proces kopiowania eliminuje standardowe kroki polegające na kopiowanie danych z pamięci do procesora i z procesora do sterownika urządzenia, a dopiero z stamtąd do karty sieciowej.
- iWARP (Internet Wide Area RDMA Protocol) – protokół opracowany przez IETF, umożliwia aplikacjom na jednym serwerze bezpośredni odczyt i zapis do aplikacji działającej na innym serwerze bez angażowania w ten proces systemów operacyjnych serwerów.
Korzystanie z TOE i RDMA wymaga zmian w systemie operacyjnym (w systemie musi być wyłączone przetwarzanie protokołów). Microsoft opracował TCP Chimney Offload do obsługi TOE oraz RDMA. Rozwiązanie to jest dostępne w Windows Server 2003, Vista oraz Windows Server 2008. Z kolei OpenFabrics Alliance przygotowuje wsparcie dla TOE i RDMA w Linuksie.
Uproszczenie sieci w serwerowni
Zastąpienie Fibre Channel oraz InfiniBand jedną, wspólną siecią Ethernet przynosi redukcję kosztów i zwiększa elastyczność. Fibre Channel oraz InfiniBand to specjalizowane technologie do łączenia serwerów z pamięciami masowymi. Poza tym nie da się ich stosować poza centrami danych.
Pojedyncza sieć 10 GbE i przełączniki ethernetowe mogą obsługiwać sieć LAN, komunikację między serwerami, sieć SAN oraz sieć WAN. Działy IT obsługujące serwerownię dobrze znają technologie Ethernet i IP, więc zastąpienie kilku sieci jedną siecią upraszcza szkolenia i obniża koszty wsparcia technicznego.
Fibre Channel i InfiniBand wymagają dedykowanego okablowania. Natomiast 10 GbE wykorzystuje standardową skrętkę lub światłowody. Dodatkowo, pojedynczy przełącznik ethernetowy zużywa mniej energii i generuje mniej ciepła niż dwa oddzielne przełączniki.
Technologia VLAN umożliwia szybką separację i alokację zasobów, wraz ze zmieniającym się profilem ruchu sieciowego. Sieci LAN i SAN oraz komunikacja między serwerami mogą zostać przyporządkowane do indywidualnych VLAN’ów, ale korzystać z tych samych połączeń fizycznych lub za pomocą tych samych VLAN’ów zostać rozdzielone na oddzielne łącza, gdy wzrośnie ilość ruchu.
Fibre Channel over Ethernet oraz iSCSI
Fibre Channel over Ethernet (FCoE) został opracowany przez grupę producentów sprzętu, żeby umożliwić klientom dalsze korzystanie z technologii Fibre Channel, w którą wcześniej zainwestowali, a jednocześnie czerpać korzyści z zarządzania pojedynczą siecią. Pakiety Fibre Channel są przesyłane w ramkach Ethernet zamiast wykorzystania interfejsów, okablowania i przełączników Fibre Channel.
Podobnie jest w przypadku iSCSI. Z tą różnicą, że dyski podłączone poprzez iSCSI serwer widzi jako bezpośrednio podłączone dyski SCSI. Standardowe komendy SCSI są przesyłane z wykorzystaniem protokołu TCP/IP poprzez sieć Ethernet.
Niedoskonałości Ethernetu
Najpoważniejszym problemem z Ethernetem jest fakt, że protokół ten nie gwarantuje dostarczenia pakietów w sytuacji, gdy przełącznik lub urządzenie końcowe jest chwilowo przeciążone pakietami przychodzącymi. Organizacje IEEE oraz Internet Engineering Task Force (IETF) pracują obecnie nad protokołami, które poprawią wydajność sieci i wyeliminują sytuacje, w których dochodzi do utraty pakietów. Wyniki tych prac mają decydujące znaczenie dla wydajności protokołów Fibre Channel over Ethernet (FcoE) oraz Internet SCSI (iSCSI).
Prace mają na celu stworzenie mechanizmów:
- Quality of Service (możliwość nadawania priorytetów),
- kontroli przeciążenia,
- ulepszonego wyboru trasy.
Zbiór protokołów mających oferować te funkcjonalności jest nazywany Converged Enhanced Ethernet lub Lossless Ethernet.
Kontrola ruchu i nadawanie priorytetów
Główną przewagą 10 GbE nad konkurencyjnymi technologiami jest możliwość zastąpienia jedną wspólną siecią 10 GbE odrębnych sieci SAN, komunikacji między serwerami i sieci LAN. Wprawdzie połączenia o przepustowości 10 Gbit/s mogą oferować wystarczającą przepustowość do obsługi tych trzech rodzajów komunikacji, ale nagły wzrost ruchu może doprowadzić do przeciążenia przełącznika lub urządzenia końcowego.
Wydajność sieci SAN jest bardzo wrażliwa na opóźnienia. Z kolei wolniejszy dostęp do pamięci masowej SAN ma wpływ na działanie serwerów i aplikacji. Opóźnienia wpływają negatywnie również na komunikację między serwerami, natomiast najmniej wrażliwa na opóźnienia jest sieć LAN. Dlatego potrzebny jest mechanizm, który umożliwi nadanie różnych priorytetów, żeby uprzywilejować ruch najbardziej wrażliwy na opóźnienia.
Istniejące protokoły Ethernet nie oferują takich możliwości. Urządzenie odbiorcze może wysłać komunikat 802.3x PAUSE, żeby zatrzymać komunikację przychodzącą, ale to powoduje zatrzymanie wszystkich pakietów.
W 1990 roku opracowano protokół 802.1p, którym miał służyć do klasyfikacji pakietów na osiem kategorii o różnym priorytecie. Niestety nie zawiera on mechanizmu umożliwiającego zatrzymanie przesyłania pakietów należących do wybranej kategorii. Dlatego IEEE pracuje nad protokołem 802.1Qbb Priority-based Flow Control (PFC), aby umożliwić zatrzymywanie pakietów z niższym priorytetem i kontynuowanie odbierania pakietów z wyższym priorytetem.
Poza tym potrzebny jest mechanizm alokacji przepustowości łączy. 802.1Qaz Enhanced Transmission Selection (ETS) umożliwia połączenie jednego lub kilku priorytetów 802.1p w grupę mającą wspólny priorytet. Zakłada się, że wszystkie priorytety w obrębie grupy wymagają takiego samego poziomu usług. Następnie każda grupa priorytetów otrzymuje procentową wartość przepustowości łącza. Poza tym jest jedna specjalna grupa priorytetów, która nie ma żadnych limitów (może zająć nawet całe łącze) i ma pierwszeństwo przed innymi grupami. W okresach, gdy grupy o wyższym priorytecie nie wykorzystują w całości przydzielonej im przepustowości, mogą z niej korzystać grupy o niższych priorytetach.
Kontrola przeciążenia
Protokoły 802.1Qbb oraz 802.1Qaz same z siebie nie rozwiązują problemu utraty pakietów. Mogą zatrzymać ruch o niższym priorytecie, ale nie zapobiegają przeciążeniom, kiedy przełącznik lub urządzenie końcowe jest zasypane pakietami o wysokim priorytecie napływającymi z różnych łączy. Dlatego potrzebny jest mechanizm umożliwiający urządzeniom odbierającym wysłanie informacji do nadawcy, żeby spowolnił tempo nadawania.
W tym celu stworzono protokół IEEE 802.1Qau. Kiedy urządzenie odbiorcze wykryje, że jest blisko punktu, w którym zacznie odrzucać nadchodzące pakiety, wysyła komunikat do wszystkich nadawców, od których aktualnie odbiera dane. Nadawcy zmniejszają tempo nadawania. Następnie, gdy przeciążenie się skończy, węzeł wysyła komunikat, że transmisja znów może odbywać się z pełną wydajnością.
Poprawiony mechanizm wybierania tras
Protokół Spanning Tree został opracowany już kilkanaście lat temu. Definiuje on sposób automatycznego wyłączania łączy w celu wyeliminowania pętli – przełączniki wymieniają się specjalnymi komunikatami w celu wybrania głównego przełącznika. Następnie każdy przełącznik określa swoją najkrótszą trasę do przełącznika głównego. Jeśli jakiś przełącznik zostanie dodany lub usunięty lub nastąpi awaria łącza, pozostałe przełączniki nawiążą komunikację w celu skonfigurowania nowych tras.
Spanning Tree spełnia swoje zadanie, ale ma też ograniczenia. Komunikacja między urządzeniami musi się odbywać poprzez główny przełącznik, nawet jeśli istnieją między nimi krótsze połączenia. Nie ma możliwości przesyłania ruchu kilkoma łączami o takim samym koszcie. Poza tym proces wybierania nowego przełącznika głównego i konfigurowania nowych tras trwa stosunkowo długo, a w tym czasie cały ruch sieciowy musi być wstrzymany.
Rozwiązanie oferowane przez Spanning Tree zostało rozszerzone, żeby umożliwić tworzenie zbiorów tras dla poszczególnych sieci VLAN oraz poszczególnych segmentów sieci, ale to wciąż nie zapewnia w każdej sytuacji wyboru optymalnej trasy oraz nie pozwala na wykorzystanie kilku ścieżek w celu równoważenia ruchu.
Ograniczone moce obliczeniowe i pamięć operacyjna w starych przełącznika wymagały, żeby obliczenia związane z wyborem głównego przełącznika i konfiguracją tras były stosunkowo proste. Procesory i pamięć w obecnych przełącznikach pozwalają na stosowanie bardziej złożonych protokołów wyboru tras. Organizacje IETF oraz IEEE pracują wspólnie na protokołami IEEE 802.1aq oraz Transparent Interconnection of Lots of Links (TRILL). Celem jest stosowanie protokołu routingu stanu łączy w celu określenie najbardziej efektywnej trasy, bardzo szybkie reagowanie na zmiany w sieci i umożliwienie wykorzystania wielu tras w celu rozdzielenia różnych rodzajów komunikacji sieciowej.
