Tomas Oberhuber's Homepage

Vědcům z IBM se podařilo vytvořit procesor na bázi grafenu, který je schopný pracovat na frekvenci 100GHz. Využití v běžných počítačích zatím brání vysoká cena grafenu a to, že grafen je vhodný spíše pro analogové tranzistory a tedy pro zařízení určená pro zpracování signálu. Kdo ví ale, co se z toho může časem vyvinout. Podrobnější informace na stránkách Computerworldu.

Vytvořený plugin umožňuje paralelně učit více neuronových sítí. Plugin pracuje tak, že MASTER uzel bere nenaučené sítě (ty je nutné připravit před vlastním procesem učení) a rozesílá je jednotlivým WORKER uzlům, které si o ně řeknou. Tímto postupem je zaručeno dynamické přidělování zátěže. Provedené testy pro učení 10 a 100 sítí ukazují, že dochází k paralelnímu urychlení cca 180% při výpočtu na 3 výpočetních uzlech (plně využity dva procesory). Což se blíží k optimální hodnotě 200%.

Pro úlohu je použita implementace standartu MPI OpenMPI verze 1.3.2. Ukázalo se, že nejvhodnější je dostupnou verzi zkompilovat samostatně a nespoléhat se na systémový OpenMPI balíček (použil jsem balíček pro OS OpenSUSE 11.1), který nespolupracoval podle představ.

Postup přidělování úloh MASTER

1. MASTER rozešle všem uzlům učící data nutná pro učení sítě.
   
   1. Bcast délka dat
   2. Bcast vlastní data

Vytvořený software je rozšíření (plugin) do stávajícího softwarového balíku NNSU pro řešení úloh separace dat. Plugin umožňuje provádět proces učení neuronových sítí s přepínací jednotkou na více výpočetních uzlech. Pro komunikaci paralelně pracujících uzlů byl zvolen standart MPI (Message Passing Interface).

V Ústavu informatiky České akademie věd byl vytvořen softwarový balík souhrnně nazvaný NNSU. Tento software implementuje v jazyce C/C++ matematický model neuronové sítě s přepínacími jednotkami. Software je tvořen z pluginů. Každý plugin poskytuje nějakou část NNSU (neurony, proces učení,...).

Umělé neuronové sítě jsou výsledkem snahy člověka napodobit chování biologických neuronových sítí. Jednou z nejsložitějších biologických neuronových sítí je nervová soustava člověka. Ta je tvořena velikým množstvím speciálních buněk - neuronů, které slouží k přenosu, uchování a zpracování informace. Jednotlivé neurony toho příliš nedokážou. K tomu, aby síť pracovala tak, jak ji známe, je nutné, aby neurony byly vzájemně propojené. V biologických neuronových sítích může být každý neuron propojen až s tisíci dalšími neurony. Takovéto systémy dokážou řešit i velmi komplikované úlohy.

V této práci je popsána paralelizace procesu učení neuronových sítí typu NNSU. Autor pro paralelizaci zvolil algoritmus MASTER/WORKER, kdy jeden proces přiděluje ostatním neuronové sítě k naučení. Paralelizace je provedena pomocí standardu MPI.

Autor: Jaromír Müller
Rok: 2009

Známá dvojice Bořičů mýtů (Mythbusters) názorně demonstruje rozdíl mezi CPU a GPU. Stojí za shlédnutí.

Vytvořil jsem tým k projektu Folding@home zastupující naší fakultu.