Nytt jern for luftforurensing og vær

Nytt jern for luftforurensing og vær

Meteorologisk institutt har anskaffet en Linux-basert tungregningsklynge for mer kapasitet og læring i forbindelse med fremtidige regnebehov.
-- Det som er spennende er å finne ut om dette er en teknologi vi kan bruke. De 80 prosessorene i klyngen tilsvarer 180 på Embla, sier Roar Skålin, dr.ing. og it-direktør på Meteorologisk institutt.

Embla er den store tungregnemaskinen på NTNU, en SGI Origin 3000, med 512 prosessorer. I tillegg til Embla har NTNU Gridur, en SGI Origin 3000 med 384 prosessorer.

NOTUR

Begge maskinene inngår i det nasjonale tungregnekonsortiet NOTUR som først og fremst omfatter universitetene i Bergen, Oslo, Tromsø og Trondheim. Gjennom NOTUR får Meteorologisk institutt regnekraft for både daglige værberegninger og forskning.

-- Det må være 8stabilt og safe8, var hovedargumentasjonen ved forrige anskaffelse av tungregnemaskiner, fortsetter Roar Skålin.

For fire år siden anbefalte en gruppe utenlandske fagfolk den løsningen for tungregning som nå benyttes av universitetene, med den tyngste regnekraften sentralisert i Trondheim.

Alternativet var et maskenett av datamaskiner som ble ansett for eksperimentelt. Ved neste anskaffelse som antagelig besluttes om et år, vil lærdommen fra Meteorologisk institutt, universitetene og den tekniske utviklingen veie tungt for valget.

Det er ikke utenkelig at det blir en tett sammenkobling av forskjellige typer maskiner med både store maskiner med symmetrisk multiprosessering og regneklynger.

Linux

Stikkordet for alt Meteorologisk institutt gjør på datamaskiner er Linux. Tjenestemaskiner med Linux har vært benyttet siden 1998. I 1999 ble de første kritiske applikasjonene tilpasset Linux.

Alle maskiner instituttet selv har anskaffet kjører Linux, bortsett fra noen som tar seg av kontoroppgaver og maskiner levert i forbindelse med kommunikasjonsoppgaver.

Derfor har Meteorologisk institutt kjøpt E1350, en regneklynge fra IBM med 41 maskiner, hver med to prosessorer. 80 av prosessorene benyttes for beregninger. De to siste for administrasjon. Klyngen kjører Red Hat Linux versjon 9.

Grovt sett er beregningskapasiteten på den nye maskinen dobbelt så kraftig per prosessor som Emblas. Prosessorene i klyngen er AMDs Opteron med 2 GHz klokkefrekvens.

-- Opteron har veldig bra ytelse i forhold til Xeon på grunn av 8Hypertransport8. Vi trenger ikke 64 bit for adressering. Vi kjører derfor 32 bit Linux. Modellene kan kompileres så beregningene skjer med 64 bit, påpeker Roar Skålin.

Hypertransport er sammenkoblingsteknologien til Opteron. Den er viktig fordi flaskehalsen i maskinen er hastigheten til bufre og minne. Disse har ikke så høy klokkefrekvens som prosessoren.

Ikke 64 bit

Grunnen til at det ikke er behov for 64 bit er at modellene fordeles på så mange prosessorer som mulig. Hver prosessor adresserer teoretisk sett 4 GB minne. Behovet for et adresseområde på mer enn 4 GB minsker derfor betraktelig.

-- Vi jobber med å utvikle, parallellisere og optimalisere modellene våre. Jeg har moro av å følge med. Jeg har derfor kompilert noen modeller på den nye klyngen, sier Roar Skålin.

Meteorologisk Institutt har anskaffet biblioteker som nøytraliserer prosessorenes arbeidsmåte. Avhenging av hvordan sifrene leses, betegnes prosessoren for 8Little Endian8 eller 8Big Endian8.

Hvis beregninger er utført av en prosessor med 8Big Endian8, eksempelvis IBM Power, og skal viderebearbeides av en prosessor med 8Little Endian8 som Intel Xeon, sørger bibliotekene for å snu sifferrekkefølgen før beregningene foretas.

En vesentlig effekt for resultatet er sammenkoblingsteknologien i klyngen siden maskinen må samkjøre resultatene sine for å få et homogent resultat. Valget for sammenkobling falt derfor på Myrinet på grunn av sin kjappe reaksjonstid (korte latens). Ved Gigabit Ethernet som alternativ venter prosessorene for mye på data fra hverandre.

Standard teknologi

Verdens største datamaskin, Earth Simulator, i Japan benyttes hovedsakelig for beregninger av atmosfære, hav og klima. Denne maskinen er omtrent femti ganger kraftigere enn Embla. Til gjengjeld er kostnadene formidable med en prislapp på 350 millioner dollar (2,45 milliarder kroner).

Blant verdens 500 største maskiner er det mange som jobber med beregninger av atmosfære, hav og klima.

Tungregnemaskiner basert på vektorprosessorer som Norges første Cray XMP, og store multiprosesseringsmaskiner som dagens SGI Origin 3000 er for kostbare for en rekke beregningsbehov.

-- Det er ikke sikkert at en løsning med 8Shared Memory8 er den beste. Det er utrolig viktig å bruke standardteknologi, påpeker Roar Skålin.

8Shared Memory8 benyttes av multiprosesseringsmaskiner hvor alle prosessorerne har lik tilgang til minnet. Standard teknologi er grovt sett teknologi som er utviklet i forbindelse med pc-utviklingen.

Derfor anskaffet Meterologisk institutt en liten regneklynge fra norske Scali i 2000 på ti maskiner med 20 prosessorer. Ideen var å ha den som reserve for Embla i Trondheim, og for beregning av luftkvalitet.

Teste effektivitet

For prosjektet beregning av luftkvalitet i de store byområdene i Norge har den gamle klyngen for liten kapasitet. Den har også for liten kapasitet til å være et reelt alternativ til Embla i Trondheim siden værmodellen da må kjøres i gammel versjon med for lav geografisk oppløsning, det vil si for lite data.

-- Været krever ikke mest regnekraft. Luftforurensningen og klimamodellen bruker mest kraft, forklarer Roar Skålin.

Behovet for økt regnekapasitet er begrunnelsen for anskaffelsen av klyngen. Derfor er modellene for bedre luftkvalitet (Bedre byluft), klimamodellen og værmodellen tilpasset den nye regneklyngen.

Det langsiktige perspektivet er å teste hvor effektiv en maskinklynge med Linux er på atmosfære-, hav- og klimamodellene. Teoretisk er en maskinklynge med Linux uslåelig fra et økonomisk synspunkt. Viser klyngen seg også å være effektiv på modellene, vil det påvirke anskaffelsen av kommende datamaskiner.

Grunnen til at klyngen er interessant er at modellene er parallellisert. Arbeidet med parallelliseringen ble gjort på tidligere datamaskiner som Bergens Intel Paragon og NTNUs Cray T3E. Disse maskinene ligner på dagens maskinklynger.

Konsekvensene er at hver maskin får sitt utsnitt av modellen å regne på. Sammen med Scalis gode programvare for meldingsutveksling MPI (Message Passing Interface) sys delberegningene sammen til et homogent resultat.