Geneza projektu
Centrum komputerowe Dużej Mocy, którego zadaniem jest udostępnianie wielkich mocy obliczeniowych środowisku naukowemu z całej Polski, stanęło przed wyzwaniem stworzenia centralnego systemu przechowywania danych o dużej pojemności.
Centrum komputerowe jest jednym z wiodących polskich centrów obliczeń wysokiej wydajności (HPC). Odgrywa ono ważną rolę w rozległym projekcie związanym z Programem Obliczeń Wielkich Wyzwań Nauki i Techniki (POWIEW). Cały projekt obejmuje instalację i eksploatację wiodącej infrastruktury obliczeniowej pomiędzy trzema miastami w kraju. Systemy do obliczeń wielkoskalowych udostępniane są na potrzeby podmiotów naukowych na zasadach otwartego dostępu do infrastruktury oraz zasobów oprogramowania.
Centrum komputerowe posiadało środowisko obliczeniowe i magazynowe składające się z produktów czołowych producentów między innymi systemów: IBM Blue Gene/P, IBM Power 775, NetApp FAS, które służyły częścią swojej mocy obliczeniowej dla zaspokojenia potrzeb projektu. Gdy infrastrukturze obliczeniowej zaczynało brakować miejsca do przechowywanych plików zespół inżynierów zdecydował się na wdrożenie centralnego systemu przechowywania dla zbiorów tymczasowych (tworzonych przez klastry HPC), jak i długo terminowego przechowywania danych (katalogi domowe użytkowników).
Cel projektu
Centrum komputerowe potrzebowało skutecznego high-end-owego rozwiązania z sekwencyjną przepustowością danych na poziomie co najmniej 6 GB/s, ze skalowalną pojemnością i wysoką gęstością upakowania danych (ze względu na niewielką przestrzeń fizyczną, którą dysponuje Centrum). Dodatkowo oczekiwano, aby cała przestrzeń dyskowa była dostępna jako jeden duży zasób, współdzielony pomiędzy wieloma systemami komputerowymi.
Rozwiązanie
Zaproponowany przez nas projekt centralnego systemu przechowywania składał się z: platformy serwerowej Dell, macierzy dyskowych NetApp, wysokowydajnej sieci SAN Brocade oraz klastrowego systemu plików IBM. System posiadał 2,1 PB przestrzeni dyskowej, w skład której wchodziło 720 dysków SAS, 4 serwery oraz sieć SAN. Wszystkie urządzenia zajmowały jedynie w 48RU (Rack Unit) przestrzeni fizycznej. Całość „surowej” przestrzeni z macierzy dyskowych została scalona w jeden system plików o łącznej pojemności 1,7 PB. Dostęp „kliencki” do tak utworzonego klastrowego systemu plików zapewniony został dzięki protokołowi NFS oraz interfejsom 40Gb/s InfiniBand. Aby komunikacja pomiędzy warstwą klastrowego systemu plików, a warstwą macierzową nie okazała się „wąskim gardłem” rozwiązania, zbudowana została dedykowana, wysokowydajna sieć SAN oparta o technologię 16Gb/s FC. Dla zapewnienia bezpieczeństwa i integralności danych przestrzeni dyskowej, zastosowano technologię RAID 6 uodparniającą system na jednoczesną awarię dwóch dysków w obrębie pojedynczej grupy dyskowej.
Rezultaty
Stworzony centralny system przechowywania danych został zbudowany w taki sposób, aby spełniać bieżące zapotrzebowania oraz umożliwiać szybką i bezproblemową rozbudowę o poszczególne komponenty (macierze, półki dyskowe, węzły klastra systemu plików) w miarę ciągle rosnących potrzeb. W dynamicznie rozwijającym się środowisku naukowym jest to bardzo ważna cecha każdego z rozwiązań, na którą kładziony jest szczególny nacisk.
Zastosowanie klastrowego systemu plików umożliwiło stworzenie ciągłej, wysokowydajnej, współdzielonej przestrzeni dyskowej, odpornej na jednoczesną awarię 3 z 4 węzłów dostępowych, z zachowaniem ciągłego dostępu do danych. Przeprowadzone, wraz z przedstawicielami Klienta, testy systemu wykazały wydajność na poziomie 9GB/s przy sekwencyjnym zapisie danych oraz wydajność na poziomie 8GB/s przy sekwencyjnym odczycie danych z systemu plików. W związku z przedstawionymi powyżej wynikami, jedno z głównych założeń projektu (wydajność systemu nie mniejsza niż 6GB/s), zostało spełnione z nawiązką zapewniającą dodatkowy zapas wydajności.
Dzięki zastosowaniu technologii wykorzystywanych już wcześniej w środowisku centrum komputerowego, stworzony został system, którego sposób zarządzania był znany przedstawicielom działu utrzymania systemów, a to spotkało się z dużą aprobatą po stronie Klienta.
Technologie
-
Macierze dyskowe: NetApp E5460
-
Serwery: Dell R620
-
Przełączniki SAN: Brocade 5300
-
System operacyjny: Red Hat Enterprise Linux Server 6.3
-
Klastrowy system plików: IBM General Parallel File System (GPFS) 3.5