Background Image Page Home

Realizacje

  • Narodowy Instytut Audiowizualny
  • Nowoczesna sala koncertowo-kinowa i szybki dostęp do potężnych archiwów polskiej kultury to największe atrakcje, które skrywa nowa siedziba Narodowego Instytut Audiowizualnego. Pod koniec maja budynek w cieniu służewskich bloków otworzył się na publiczność.

    Duży, czerwony kubik, przyklejony do budynku od razu sygnalizuje, że w środku znajduje się coś wyjątkowego. Czerwona bryła to przedsionek do nowej siedziby Narodowego Instytutu Audiowizualnego przy Wałbrzyskiej. Instytucja ta, funkcjonująca także pod prostszą i sympatyczniejszą nazwą NInA, zajmowała się dotychczas archiwizacją dzieł polskiej kultury – głównie filmów, spektakli i muzyki – oraz jej udostępnianiem w formie wydawnictw (wystarczy tu wspomnieć serię najlepszych polskich dokumentów) i w internecie (to m.in. portale ninateka.pl i dwutygodnik.com). Z misji, do której została powołana, NInA oczywiście nie zrezygnuje, ale dzięki przestronnej siedzibie może ją rozszerzyć.

    Sercem Instytutu pozostaną ukryte w piwnicach archiwa cyfrowe – serwerownie z macierzami o pojemności 5 petabajtów. To ilość odpowiadająca około 5 mln płyt DVD. – Dla porównania, całe archiwa telewizji publicznej zajęłyby ok. 1,5 petabajtów – wyliczał podczas spotkanie z dziennikarzami dyrektor NInA Michał Merczyński.

    Aby zapewnić bezpieczeństwo zgromadzonym danym serwery zostały umieszczone w dwóch odseparowanych od siebie pomieszczeniach. Zasoby te udostępniane są wszystkim piętro wyżej w sali z 16 stanowiskami komputerowymi.

    – Umożliwimy obejrzenie filmów czy spektakli, których z różnych względów, zazwyczaj formalno-prawnych, nie można udostępnić w internecie. Archiwum zawiera ok. 10 tysięcy pozycji i będzie codziennie aktualizowane – zapowiedział Filip Kwiatek, kierownik działu archiwum. Ta część będzie otwarta dla pasjonatów filmu, teatru, ale także starych programów telewizyjnych czy audycji radiowych codziennie z wyjątkiem niedziel, w tym przez dwa dni do wieczora.

  • ICM UW
  • Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego (ICM) zostało założone w 1993 roku na Uniwersytecie Warszawa, Polska. Misją ICM jest wspieranie szerokiego zakresu obszarów badawczych, których powodzenie zależy od rozwoju nauk obliczeniowych. Obejmuje to nauki biomedyczne, fizykę, chemię, teoretyczną biologię, technologię materiałową, naukę o ziemi, astronomię, i modelowanie procesów nieliniowych w wielkoskalowych systemach. ICM zapewnia zarówno infrastrukturę obliczeniową wysokich wydajności oraz wsparcie dla polskich środowisk naukowo badawczych, będąc w tym samym czasie częścią Europejskiej Siatki Infrastrukturalnej i posiadając Partnerstwo w Zaawansowanych Procesach Obliczeniowych w Europie (PRACE).

    Uniwersytet Warszawski założony w 1816 roku (www.uw.edu.pl) kształci ponad 53500 studentów i zatrudnia ponad 6300 pracowników. Posiada 20 wydziałów i 30 innych jednostek kształcenia. Dodatkowo jako uczelnia wyższa znajduje się na liście wśród 4% najlepszych uniwersytetów na Świecie.

    CM jest jednym z wiodących polskich centrów obliczeń wysokiej wydajności (HPC). Wraz z ośrodkami HPC w Krakowie i Poznaniu ICM odgrywa ważną rolę w projekcie nazwanym „HPC Program Obliczeń Wielkich Wyzwań nauki i techniki” (POWIEW). Współfinansowany przez Unię Europejską pod patronatem Ministerstwa Nauk i Szkolnictwa Wyższego projekt rozpoczął się w 2011 roku. Obejmuje on instalację i eksploatację wiodącej infrastruktury obliczeniowe pomiędzy trzema miastami, która jest otwarta dla wszystkich badaczy i wspiera większość aplikacji inżynierskich.

    W dwudziestym roku działalności ICM posiada środowisko obliczeniowe i magazynowe składające się z produktów sześciu czołowych vendor-ów według ICT, takich jak NetApp i IBM. Systemy IBM Blue Gene/P i IBM Power 775 służą częścią swojej mocy obliczeniowej infrastrukturze POWIEW. Gdy przypisanym zasobom magazynowym brakowało miejsca dla przechowywanych plików zespół inżynierów zdecydował się na wdrożenie centralnego systemu przechowywania dla zbiorów tymczasowych tworzonych przy pomocy HPC jak i długo terminowego przechowywania danych takich jak katalogi domowe.

    „Potrzebowaliśmy skutecznego high-end-owego rozwiązania z sekwencyjną przepustowością danych na poziomie co najmniej 6 GB/s, ze skalowalną pojemnością i wysoką gęstością, ponieważ przestrzeni w Centrum Danych nie jest dużo”, mówi Arkadiusz Niegowski, starszy inżynier systemowy w ICM, który również zdefiniował obecne wymagania. „Jak zwykle z organizacjami rządowymi bywa, przeprowadziliśmy przetarg publiczny, tak by, najlepsza cena w połączeniu z wysoką gęstością określiły zwycięskie rozwiązanie”.

    Zwycięzcą została spółka ADT Group Sp. z o.o. wyłoniona spośród pięciu ofert. ADT Group została wybrana jako zespół z najlepszym rozwiązaniem, między innymi z powodu największej gęstości upakowania danych. Zaproponowany system NetApp E5460 mieści 2,1 PB pojemności RAW na 720 dyskach SAS mieszczących się jedynie w 12 półkach dyskowych. Stąd też zasoby dyskowe mieszczące się w centrum przetwarzania danych zajmują jedynie powierzchnię 1,2 metra kwadratowego. Implementacja rozwiązania przebiegła wzorcowo. Firma ADT Group skonfigurowała i dostroiła system tak by spełniał wszelkie wymagania. Po przeprowadzeniu wszystkich testów wydajnościowych, macierz NetApp E5460 została włączona do środowiska produkcyjnego. W kolejnej fazie projektu wykonana została integracja macierzy E5460 z zaawansowanym środowiskiem złożonym z podzespołów zakupionych od innych producentów. „Efektywne okablowanie, projekt stworzenia systemu partycji NFS oraz GPFS, zdefiniowanie grup użytkowników, serwerów oraz ścieżek do eksportu danych – mieliśmy wiele do zrobienia”, mówi dr Maciej Filocha, manager projektu i koordynator systemu HPC w ICM. „Środowisko jest bardzo wymagające, lecz elastyczność macierzy NetApp E5460 jest w pełni wystarczająca”.

    Wysoka wydajność, maksymalny stopień zabezpieczenia
    Macierz NetApp E5460 spełnia wysokie wymagania odnośnie wydajności i pojemności bez poświęcania łatwości zarządzania oraz sprawności. ICM może w łatwy sposób monitorować oraz zarządzać urządzeniem za pomocą oprogramowania NetApp SANtricity. Zespół wdrożeniowy wybrał zabezpieczenie grup dyskowych w postaci RAID 6 na wypadek jednoczesnej awarii dwóch dysków w każdej z grup. Co ważne możliwe jest zwiększenie przepustowości przesyłu danych do 9 GB/s dla zapisów i do 12 GB/s dla odczytów.

    Starszy inżynier systemowy Arkadiusz Niegowski jest bardzo zadowolony z wdrożonego systemu: „Rozwiązanie storage-owe działa bez jakichkolwiek problemów. W pełni wystarczające jest by sprawdzić stan systemu tylko raz na tydzień. W ciągu dziewięciomiesięcznego okresu w którym macierz jest używana uszkodzeniu uległ jednie pojedynczy dysk twardy. Ze względu na wysokie wykorzystanie macierzy w porównaniu z innymi rozwiązaniami dostępnymi na rynku jest to bardzo dobry wynik.”. Ponadto odbudowa systemu zajmuje do ośmiu razy mniej czasu w porównaniu z innymi, tradycyjnymi rozwiązaniami RAID. Jest to możliwe dzięki technologii Dynamic Disk Pools stworzonej przez firmę NetApp.

    Stworzone z myślą o przyszłej rozbudowie
    Rozwiązanie macierzowe jest stworzone tak by spełniać wymagania dla szybko zmieniających się wartości zapotrzebowania zasobów dla tymczasowych plików tworzonych przez zróżnicowane oprogramowanie obliczające. ICM przewiduje duży wzrost zapotrzebowania zasobów w przeciągu kilku miesięcy, spowodowany zakończeniem tworzenia i wdrażania infrastruktury projektu POWIEW. Wyzwanie to w łatwy sposób można zaadresować przez dodanie większej ilości półek dyskowych. Skalowalność wdrożonego systemu jest na poziomie pozwalającym nie obawiać się o zbyt duży wzrost ilości generowanych danych.

    Korzyści biznesowe.
    Nauka, handel i rozwiązania publiczne z „Big Data”.

    Wydajność, dostępność i niezawodność liczą się najbardziej w świecie środowisk HPC. Niektóre z procesów potrafią być przetwarzane przez cały miesiąc, a rozmiary plików wahają się poprzez 20 GB, 70 TB do nawet większych. Zespół ICM musi starannie planować udostępnianie zasobów infrastruktury POWIEW i innych zasobów HPC dla środowisk naukowych. W najczarniejszym wypadku, jeżeli macierz zawiedzie, ICM będzie nadal operować bez opóźnień przez kolejne dwie godziny. Jednakże niezawodność wdrożonego rozwiązania składowania danych pomaga utrzymać wysoką wydajność całego systemu w tym samym czasie dostarczając bardzo popularne usługi takie jak na przykład numeryczna prognoza pogody dla Europy. Co każde 6 godzin ICM publikuje nowe atmosferyczne przewidywania pogodowe dla Centralnej Europy oraz morza Bałtyckiego. Serwis ten jest udostępniany nieodpłatnie i cieszy się szerokim uznaniem w świecie sportu, biznesu oraz żeglugi morskiej. Ponadto kilka istniejących farm wiatrowych znajdujących się na terenie polski używa danych uzyskanych z prognoz generowanych przez ICM dla codziennego przewidywania wydajności produkcji energii elektrycznej.

    „Nasza infrastruktura musi posiadać wysoką wydajność jako, że jej głównym celem jest zapewnione dostarczanie usług dla naszej społeczności. W rzeczywistości jest to kwestia reputacji, a potwierdzona niezawodność macierzy E5460 dodaje jej wartości. Zamiast spędzać czas ma zadania związane z zarządzaniem, możemy wspierać użytkowników tak by czerpali jak najwięcej z naszych zasobów, od poziomu „entry” do „high-end” HPC. To jest to co liczy się najbardziej i pomaga nam realizować misję ICM,” podsumowuje dr Filocha.