Kardell@weblog

Pojęcie przetwarzania rozproszonego jest dość szerokie, ale dla lepszego zrozumienia zaczniemy właśnie od niego, aby później móc swobodnie dotrzeć do zagadnień bardziej zaawansowanych.

No więc przetwarzanie rozproszone (ang. distributed processing) to wykonywanie określonych zadań użytkownika z wykorzystaniem współdzielonych zasobów połączonych siecią komputerową.
Chodzi tu m.in. o potężną ilość danych jaka znajduje się w sieci a przede wszystkim w bazach danych wielu instytucji naukowych i nie tylko.
Problem w tym, że to są właśnie dane, dlatego uprzednio muszą zostać przetworzone, aby część z nich stała się dla nas istotnymi informacjami.
Danych jest po prostu zbyt ogromna ilość i coś lub ktoś musi je przetworzyć, wyselekcjonować z tej masy to co może stanowić dla naukowca, dla nas interesującą nas wiedzę.
W dzisiejszym świecie czynią to zazwyczaj superkomputery, duża ilość komputerów połączona w klastry lub ogromna ilość komputerów personalnych połączonych siecią Internet.
I tutaj przechodzimy do pojęcia zwanego obliczeniami rozproszonymi.

Obliczenia rozproszone (ang. distributed computing) to takie obliczenia, które umożliwiają współdzielenie zasobów obliczeniowych, które są często geograficznie rozproszone. W obliczeniach rozproszonych zadanie obliczeniowe poddane zostaje dekompozycji np. na programy, procesy, procesory.
Szczególną popularnością wśród użytkowników Internetu cieszą się projekty, w których użytkownicy udostępniają odpłatnie bądź nieodpłatnie moc obliczeniową swoich komputerów firmom prywatnym, instytucjom naukowym, rządowym lub osobom prywatnym. Obliczenia te opierają się na modelu klient-serwer. Użytkownik instaluje oprogramowanie (klienta), który pobiera dane (np. zadany przedział liczb, zbiór cząsteczek, itp.) z serwera w celu ich przetworzenia. Po przetworzeniu pobranych danych klient przesyła serwerowi wyniki przeprowadzonych obliczeń, a następnie pobiera od serwera kolejne dane do przetworzenia.

No i jeśli chodzi o projekty, to obecnie istnieje platforma BOINC, która obsługuje, skupia zdecydowaną większość najpopularniejszych projektów.
BOINC jest skrótem od Berkeley Open Infrastructure for Network Computing, co po polsku oznacza “Otwarta Infrastruktura Przetwarzania Rozproszonego Uniwersytetu Berkeley”.
Ta platforma wywodzi się z bardzo zasłużonego dla wielu dziedzin nauki Uniwersytetu Berkeley w Kalifornii.
Pierwotnie Berkeley było inicjatorem projektu SETI@home, który na podstawie analizy sygnałów radiowych z kosmosu wyszukuje prawdopodobieństwa wystąpienia sygnału(informacji) pochodzącej od obcych cywilizacji, zamieszkujących inne układy planetarne naszej galaktyki.
I od tego m.in. zaczęła się kilka lat temu moja przygoda z przetwarzaniem rozproszonym.
Znałem wtedy również projekt Grid(medycyna, biologia), ale do jego obsługi służył inny program, a razem z aplikacją SETI bardzo obciażały komputer.

Więc dla lepszego rozpowszechnienia się tej globalnej szczytnej działalności na rzecz ogólnoświatowej nauki, naukowcy z Berkeley stworzyli pod koniec 2002 roku platformę (program, aplikację dla kilku systemów operacyjnych), który od tamtej pory skupia sobą wiele powstających wtedy i obecnie projektów. Jest to kolejny przejaw Wolnej Kultury, gdzie nie liczy się interes jednostek, natomiast wspólne działanie dla dobra nauki, a co za tym idzie również dobra ludzkości.
Oprogramowanie to udostępnione jest na Pomniejszej Publicznej Licencji GNU, co oznacza, że aplikacja BOINC posiada otwarty kod, natomiast kody poszczególnych aplikacji projektowych łaczących się z platformą już nie (jest to spowodowane głównie względami bezpieczeństwa).
Sama platforma BOINC może być rozwijana przez każdego zaprzyjaźnionego programistę, czy developera.

W przeszłości projekty działały zupełnie samodzielnie i koniecznym było instalowanie osobnych programów obsługujacych te różnorodne projekty, co stanowiło dużą trudność i niepotrzebne obciążanie komputerów.

Obecnie mamy jeden program, platformę i możemy dedykować niewykorzystaną moc procesora naszego komputera dla projektów, jakie Nam odpowiadają, z jakimi My się utożsamiamy, że tak to pozwolę sobie nazwać. Liczba tych projektów stale rośnie z racji dużej uniwersalności platformy.

Ja osobiście utożsamiam się z wieloma, gdyż zdaję sobię sprawę z faktu, iż w dzisiejszych czasach naukowcom wręcz wykładniczo rosną ilości danych w bazach danych (instytutów, uniwersytetów i wszelakich innych instytucji badawczych).
Nie każdy z nich ma dostęp do superkomputerów lub procesorowych klastrów, czas natomiast ucieka, a wielu naukowców nadal nie zna odpowiedzi na nurtujące ich i nas pytania, często w dziedzinach, które dla samej ludzkości nie cierpią zwłoki (mowa tu przede wszystkim o projektach z dziedziny medycyny i biologii).

Jest to inicjatywa dobrowolna, aczkolwiek szczytna.
Jeśli weźmiesz w niej udział staniesz się jednym z około 600 tyś. aktywnych działaczy(aktywnych, ponieważ nieaktywnych jest kilka milionów), wolontariuszy z całego świata.

Obecnie tak jak i w przeszłości ta wielka liczba uczestników organizuje się w grupy (tzw. teamy). Charakter tych zgrupowań jest różnorodny, tworzą je ludzie pracujących w różnych firmach, a dedykujących moc przeliczeniową swoich komputerów (np. Sun Microsystems, Intel, Microsoft, EraGSM, PlusGSM itd.), są to przedstawiciele różnych wyższych uczelni (uniwersytety, politechniki etc.) – w większość są to studenci, teamy reprezentujące miasta, województwa (SETI@Nowa Sól), czy też tworzą się na podstawie jednego projektu, dla którego członkowie szczególnie lub całkowicie poświęcają swe komputery (np. Seti Team 2000).

Wymienione tutaj zespoły związane są w szczególności z SETI, bo tych też znam najwięcej, z racji, że z projektu SETI@home się wywodzę i monitorowałem sytuację na bieżąco przez kilka lat.

Wraz z wejściem nowej platformy czasy się zmieniły i część z zespołów przemianowała się, jak np. wysoko w rankingu stojący międzynarodowy SETI Synergy na BOINC Synergy – ten zespół jest teraz zespołem międzyprojektowym podobnie jak mój BOINC@Poland.

Zespół, do którego należę, służy całej gamie projektów, na dzień dzisiejszy jesteśmy zarejestrowani w 20. Oczywiście każdy z naszych członków indywidualnie ustala, w którym projekcie chce brać czynny udział.
Część z projektów już skończyła się, lub kończy swą działalność z racji spełnienia swej roli, natomiast na bieżąco powstają nowe, którym BOINC@Poland na pewno nie będzie obcy.

Każdy z teamów, czy też indywidualni użytkownicy biorą udział w bardzo rozbudowanych statystykach i rankingach na specjalnie do tego celu powołanym serwerze BOINCstats.
Co ciekawe spolszczenia na BOINCstats dokonał założyciel naszego teamu – Mchl
Tutaj każdy uczestnik może obserwować postępy swojego kraju, teamu i swoje własne, dokonywać porównań i przeglądać zaawansowane rankingi i statystyki.
Dodatkowo może umieszczać baner z własnymi osiągnięciami, gdziekolwiek zechce, czy na forum w podpisie, czy też na własnej stronie, jak to przykładowo widać u mnie na weblogu.

Projekty, które wyszczególnię poniżej są inicjatywami pochodzącymi z wielu krajów świata.
Nawet Węgry doczekały się własnego, Polska jeszcze niestety nie
Dlatego na forum B@P powstała inicjatywa utworzenia
stowarzyszenia Polski Projekt BOINC, który postawił sobie za cel rozpowszechnianie wiedzy o istniejącej platformie BOINC w Polsce, zdobywanie wspracia ze strony instytucji naukowych, które mogłyby być potencjalnymi inicjatorami polskich projektów naukowych opartych o tą platformę, jednoczesne uświadamianie naszych rodaków i rodaczek, aby każdy z nich miał możliwość wzięcia w tym udziału i czerpać satysfakcję ze wsparania światowej, jak i ojczystej nauki.

Teraz przedstawię listę najpopularniejszych projektów, w których jeśli chcesz, jako wolontariusz możesz wziąć udział, więcej infomacji znajdziecie pod linkami

1. BBC Climate Change Experiment – projekt podobny tematycznie do Climateprediction.net, związany z badaniami klimatu.

2. BURP – jest próbą wykorzystania infrastruktury BOINC do zadań nie związanych z nauką, lecz z grafiką komputerową. Umożliwi on jego użytkownikom renderowanie ich własnych trójwymiarowych grafik przy wykorzystaniu komputerów innych użytkowników.

3. Climateprediction.net – projekt mający na celu określenie jakie uproszczenia można wprowadzić w komputerowym modelowaniu klimatu.

4. Einstein@home – bardzo interesujący projekt, mający na celu badanie fal grawitacyjnych. Zgodnie z teoria wysuniętą przez A. Einsteina zmiany w polu grawitacyjnym powodują zmiany w zakrzywieniu czasoprzestrzeni.

5. The Lattice Project – jest projektem prowadzonym przez Uniwersytet stanu Maryland. Oprócz architektury BOINC wykorzystuje także architekturę GRID (przetwarzanie rozproszone z wykorzystaniem klastrów superkomputerów). Co więcej, projekt ten w założeniu ma być platformą dla wielu innych projektów przetwarzania rozproszonego. W uproszczeniu można więc przyjąć, że projekt Lattice ma na calu połączenie architektur BOINC i GRID w jedno spójne środowisko.

6. Leiden Classical – projekt jest związany z modelowaniem zachowania się cząsteczek wody. Aplikacja modeluje 100 pikosekund “z życia” grupy cząsteczek. Celem jest zgroamdzenie danych statystycznych.

7. LHC@home – projekt wspomagający konstrukcję Wielkiego Zderzacza Hadronów (Large Hadron Collider – LHC) w laboratorium CERN pod Genewą.

8. MalariaControl.net – Szwajcarski Instytut Badań Nad Chorobami Tropikalnymi opracował komputerowy model epidemiologoczny rozprzestrzeniania się zarodźca malarycznego (Plasmodium falciparum). Dzięki wynikom symulacji, będzie można lepiej zaplanować akcje ograniczające zachorowalność na malarię.

9. Î?Fluids – projekt Î?Fluids zajmuje się symulacją zachowania się płynów w warunkach mikrograwitacji oraz w mikrokanałach. Celem projektu jest zaprojektowanie lepszych systemów napędowych dla sztucznych satelitów, oraz poszerzenie wieszy o przepływie płynów w układach MEMS.

10. Orbit@home – na Uniersytecie stanu Waszyngton powstaje projekt, którego celem jest wykrywanie i śledzenie okołoziemskich obiektów kosmicznych (NEOs – Near Earth Objects) oraz obliczanie prawdopodobieństwa ich ewentualnego zderzenia z Ziemią.

11. Pirates@home – w odróżnieniu od pozostałych projektów BOINC, ten nie służy konkretnym obliczeniom związanym z badaniami naukowymi, lecz jest poletkiem doświadczalnym, na którym rozwijana jest architektura BOINC.

12. Predictor@home – projekt jest częścią eksperymentu mającego na celu przewidzenie struktury białka na podstawie sekwencji aminokwasów wchodzących w jego skład.

13. PrimeGrid – tworzony z początku przy użyciu bardzo ograniczonych środków (na domowym laptopie), a obecnie na nieco mocniejszym komputerze, projekt ukierunkowany na stworzenie serwera harmonogramów BOINC w języku PERL. Jest to zatem przedsięwzięcie skierowane bardziej w kierunku rozwoju architektury BOINC niż obliczeń naukowych.

14. QMC@home – Quantum Monte Carlo, projekt poświęcony badaniom teorii kwantowych, wszystkiego związanego z molekułami, z których składa się nasz świat.

15. Rosetta@home – zagadnienia związane z przewidywaniem struktury białek, są najwyraźniej bardzo wdzięcznym tematem dla projektów przetwarzania rozproszengo. Rosetta@home, to kolejny po Predictor@home i Folding@home projekt zajmujący się tymi zagadnieniami.

16. SETI@home – prawdopodobnie najbardziej znany i największy projekt przetwarzania rozproszonego w internecie. Jego pierwotna wersja zgromadziła ponad 5 mln uczestników z czego 500 000 aktywnych (czyli takich, którzy przez ostatnie 4 tygodnie nadesłali wyniki obliczeń) Komputery uczestników analizują dane z radioteleskopu w Arecibo (najwiekszy na świecie, widać go m.in. w filmie James Bond Golden Eye), w poszukiwaniu sygnałów mogących pochodzić od pozaziemskich cywilizacji.

17. SIMAP@home – SIMAP to prawdopodobnie największa na świecie baza danych, w której zgromadzono informacje o sekwencjach aminokwasów w białkach. Zawiera ona wszystkie opublikowane sekwencje i jest na bieżąco aktualizowana. Oparty o BOINC projekt przetwarzania rozproszonego ma za zadanie pomóc w porównywaniu sekwencji różnych białek. Jest to dosyć istotne, gdyż białka o zbliżonych sekwencjach, mają najprawdopodbniej wspólnego “przodka”, a co ważniejsze, często pełnią podobne funkcje.

18. SZTAKI Desktop Grid – powstały na Węgrzech projekt, zajmujący się zagadnieniami uogólnionych systemów dwójkowych (a w przyszłości zapewne innymi równie abstrakcyjnymi tematami).

19. The World Community Grid – jest działającą od dłuższego czasu platformą dla projektów przetwarzania rozproszonego, która w ostatnim czasie udestępniła swoje aplikacje także w wersjach dla klienta BOINC. W chwili obecnej na platformie działają dwa projekty: Human Proteome Folding Project oraz FightAIDS@Home.

20. XtremLab – projekt wyeksportował ostatni plik ze statystykami 18 października 2005
Francuski projekt który pojawił się na krótko i szybko zniknął z niewyjaśnionych przyczyn. Miał się zajmować oceną mocy obliczeniowej, możliwej do uzyskania przez projekt BOINC.

Więcej informacji o projektach znajdziecie Tutaj

A Tutaj przewodniki Krok po Kroku, jak łatwo stać się domowym naukowcem.

Zapraszam do udziału

^^

Data wpisu 16 Mar 2006 o godzinie 1:50 AM. Wpis należy do kategorii Ciekawe, Moja praca, Wolna Kultura, Wszystkie. Możesz śledzić odpowiedzi przez RSS 2.0. Możesz odpowiedzieć, lub nawiązać do wpisu.