HPC

High Performance Computing

CUDA Research Center na FJFI

Díky výsledkům skupiny MMG na katedře matematiky na FJFI ve výzkumu algoritmů na GPU získalo ČVUT v Praze od společnosti Nvidia statut CUDA Research Center.

Vědci z IBM představili 100GHz grafenový procesor

Vědcům z IBM se podařilo vytvořit procesor na bázi grafenu, který je schopný pracovat na frekvenci 100GHz. Využití v běžných počítačích zatím brání vysoká cena grafenu a to, že grafen je vhodný spíše pro analogové tranzistory a tedy pro zařízení určená pro zpracování signálu. Kdo ví ale, co se z toho může časem vyvinout. Podrobnější informace na stránkách Computerworldu.

Závěr

Vytvořený plugin umožňuje paralelně učit více neuronových sítí. Plugin pracuje tak, že MASTER uzel bere nenaučené sítě (ty je nutné připravit před vlastním procesem učení) a rozesílá je jednotlivým WORKER uzlům, které si o ně řeknou. Tímto postupem je zaručeno dynamické přidělování zátěže. Provedené testy pro učení 10 a 100 sítí ukazují, že dochází k paralelnímu urychlení cca 180% při výpočtu na 3 výpočetních uzlech (plně využity dva procesory). Což se blíží k optimální hodnotě 200%.

Paralelizace pomoci MPI

Pro úlohu je použita implementace standartu MPI OpenMPI verze 1.3.2. Ukázalo se, že nejvhodnější je dostupnou verzi zkompilovat samostatně a nespoléhat se na systémový OpenMPI balíček (použil jsem balíček pro OS OpenSUSE 11.1), který nespolupracoval podle představ.

Postup přidělování úloh MASTER

  1. MASTER rozešle všem uzlům učící data nutná pro učení sítě.
    1. Bcast délka dat
    2. Bcast vlastní data

Plugin ParallelStarter

Vytvořený software je rozšíření (plugin) do stávajícího softwarového balíku NNSU pro řešení úloh separace dat. Plugin umožňuje provádět proces učení neuronových sítí s přepínací jednotkou na více výpočetních uzlech. Pro komunikaci paralelně pracujících uzlů byl zvolen standart MPI (Message Passing Interface).

Nástroj NNSU

V Ústavu informatiky České akademie věd byl vytvořen softwarový balík souhrnně nazvaný NNSU. Tento software implementuje v jazyce C/C++ matematický model neuronové sítě s přepínacími jednotkami. Software je tvořen z pluginů. Každý plugin poskytuje nějakou část NNSU (neurony, proces učení,...).

Neuronové sítě

Umělé neuronové sítě jsou výsledkem snahy člověka napodobit chování biologických neuronových sítí. Jednou z nejsložitějších biologických neuronových sítí je nervová soustava člověka. Ta je tvořena velikým množstvím speciálních buněk - neuronů, které slouží k přenosu, uchování a zpracování informace. Jednotlivé neurony toho příliš nedokážou. K tomu, aby síť pracovala tak, jak ji známe, je nutné, aby neurony byly vzájemně propojené. V biologických neuronových sítích může být každý neuron propojen až s tisíci dalšími neurony. Takovéto systémy dokážou řešit i velmi komplikované úlohy.

Paralelizace procesu učení neuronových sítích s přepínacími jednotkami pomocí MPI

V této práci je popsána paralelizace procesu učení neuronových sítí typu NNSU. Autor pro paralelizaci zvolil algoritmus MASTER/WORKER, kdy jeden proces přiděluje ostatním neuronové sítě k naučení. Paralelizace je provedena pomocí standardu MPI.

Autor: Jaromír Müller
Rok: 2009

Bořiči mýtů demonstrují rozdíl CPU vs. GPU

Známá dvojice Bořičů mýtů (Mythbusters) názorně demonstruje rozdíl mezi CPU a GPU. Stojí za shlédnutí.

Vytvořen FJFI Team na Folding@home

Vytvořil jsem tým k projektu Folding@home zastupující naší fakultu.

Syndikovat obsah