Innehåll
är en wiki, vilket innebär att många artiklar är skriven av flera författare. För att skapa denna artikel deltog 18 personer, några anonyma, i sin utgåva och förbättring över tid.Behöver du en maskin som måste göra hundratals miljarder flyttalsberäkningar per sekund? Behöver du en berättelse för att förklara hur din superdator i källaren sprände brytaren? Att bygga ett kluster (eller kluster) av högpresterande datorer är en utmaning som varje expert kan övervinna under en helg med lämplig budget. Ur en teknisk synvinkel är en modern multi-processor superdator ett nätverk av datorer som arbetar parallellt för att lösa ett problem. Genom att följa enkla steg för att montera utrustningen och installera nödvändig programvara kan du också ha en superdator.
stadier
-
Bestäm nödvändig utrustning och resurser. Du behöver en huvudnod, minst tolv andra identiska noder, en Ethernet-switch, en strömförsörjningsenhet och en hylla. Bestäm dina behov för el, kylning och utrymme. Du måste också bestämma vilken IP-adress du vill använda för dina privata nätverk, namnen på noderna, programvaran du vill installera och vilken teknik du vill använda för datorfunktioner (vi kommer tillbaka till det senare)- Även om hårdvaran kommer att kosta dig dyrt, är all programvara som presenteras i denna artikel gratis och de flesta är fri från rättigheter.
- Om du vill få en uppfattning om hur snabbt en superdator kan nå kan du använda det här verktyget: http://hpl-calculator.sourceforge.net/.
-
Installera noderna. Du måste montera noderna eller få förmonterade servrar.- Välj ett serverchassi med gott om plats, ett lämpligt kylsystem och energioptimering.
- Du kan också använda ett dussin gamla servrar, summan av dessa överskrider kraften hos enskilda enheter och du sparar mycket pengar. Alla processorer, nätverkskort och moderkort måste vara identiska för att hela systemet ska fungera smidigt. Naturligtvis bör du inte glömma RAM och lagring för var och en av noderna, såväl som åtminstone en hårddisk för huvudet.
-
Installera servrarna på hyllan. Börja längst ner om hyllans överdel inte är viktad. Du kommer också att behöva en vän som hjälper dig, servrarna kan vara tunga och det kommer att vara svårt att leda dem på hyllans räls. -
Installera Ethernet-omkopplaren ovanpå chassit. Ta dig ett ögonblick för att konfigurera det. Tillåt en jumbo-ramstorlek på 9000 byte, ställ in IP-adresserna till de statiska adresserna du valde i det första steget och inaktivera onödiga protokoll som SMTP snooping. -
Installera den aktuella enheten. Beroende på hur mycket ström noderna behöver, behöver du förmodligen en 220-voltsenhet. -
Konfigurera hårdvaran. När du har installerat allt kan du börja konfigurera hårdvaran. Linux är standardoperativsystemet för HPC-kluster, inte bara för att det är den bästa miljön för vetenskapliga beräkningar, utan också för att det är helt gratis att installera på hundratals eller tusentals noder. Föreställ dig det pris du betalar om du var tvungen att installera Windows på var och en av dessa noder.- Börja med att installera den senaste BIOS- och moderkortets firmware som ska vara densamma för alla moderkort.
- Installera din föredragna Linux-distribution på var och en av noderna och en distribution med ett grafiskt gränssnitt på huvudnoden. CentOS, OpenSuse, Scientific Linux, RedHat eller SLES används ofta.
- För denna artikel rekommenderar vi starkt Rocks Cluster. Förutom att installera alla verktyg som behövs för att kluster ska fungera korrekt använder Rocks en utmärkt metod för att snabbt "distribuera" många instanser av sig själv till noder med hjälp av PXE-start och Red Tea Tree Oil Quick Launch-proceduren.
-
Installera programvaran. Installera ett gränssnitt för överföring, resurshantering och andra nödvändiga bibliotek. Om du inte installerade Rocks i föregående steg måste du manuellt konfigurera all nödvändig programvara för att aktivera parallella beräkningsmekanismer.- Först behöver du ett bashanteringssystem, till exempel Torque Resource Manager, som låter dig dela och distribuera olika uppgifter över flera maskiner.
- Momentmoment med Maui Cluster Scheduler för att slutföra konfigurationen.
- Därefter måste du installera avsändargränssnittet som behövs för att processerna på olika maskiner ska dela samma data. Installera OpenMP, det är väldigt lätt att använda.
- Glöm inte multithreading-bibliotek och kompilatorer för att skapa parallella beräkningsprogram. Återigen är Rocks den bästa lösningen.
-
Anslut noderna i ett nätverk. Huvudnoden skickar uppgifterna som ska utföras till de andra datornoderna som kommer att returnera resultaten medan du skickar meddelanden till varandra. Ju snabbare det går, desto bättre.- Använd ett privat Ethernet-nätverk för att länka alla dessa noder till ett kluster.
- Huvudnoden kan också fungera som en NFS-, PXE-, DHCP-, TFTP- och NTP-server i det nätverk du skapar.
- Du måste skilja detta nätverk från offentliga nätverk för att säkerställa att paketen som servrarna byter inte stör de paket som byts ut över resten av nätverket.
-
Testa klustret. Det sista du behöver göra innan du släpper all din dators kraft är att testa dess prestanda. Highpack Lynpack (HPL) prestanda test är ett populärt val för att mäta datorns datorkluster. Du måste sammanställa den från dess källa med alla optimeringar som din kompilator erbjuder enligt den arkitektur du har valt.- Uppenbarligen måste du sammanställa den från källan som ger dig flest alternativ för att optimera din plattform. Om du till exempel använder AMD-processorer, kompilera den med Open64 genom att välja en -0 snabb optimeringsnivå.
- Jämför resultaten på TOP500.org för att se om din superdator kan tävla med de 500 mest kraftfulla superdatorerna i världen!
- För att nå riktigt snabba hastigheter i nätverket, ta reda på InfiniBand-gränssnitt. Var dock redo att bryta spargrisen.
- IPMI kan underlätta administrationen i stor skala genom att ge dig KVM-over-IP, en separat strömcykel och mer.
- Använd Ganglia för att spåra beräkningsbelastningar på noderna.
- Se till att din infrastruktur kan stödja lasten.