Blant verdens 500 kraftigste

Statoil har samlet beregningsmaskinene i Norge på ett sted.

Publisert Sist oppdatert

12. februar vedtok Statoil at oljen fra Skrugard og Havis skal ilandføres på Veidnes utenfor Honningsvåg i Finnmark. Kostnadene er beregnet til 80 milliarder kroner.

I den forbindelse er kostnadene for de mest avanserte datamaskinene og oljeletingsapplikasjonene en brøkdel. Samtidig kan it-løsningene bidra til å finne ytterligere olje utover de 400 – 600 millioner fatene som er anslått.

- Vi tror området er dynket av olje og mener vi har los på funn som er bedre enn dem som er gjort hittil, sier Knut Harald Nygård, Statoils letedirektør for Skrugard ifølge Dagens Næringsliv.

Transporten av oljen skal skje i rør. Da blir spørsmålet om olje og gass skal separeres på det flytende produksjonsanlegget og sendes i forskjellige rørledninger, eller om det skal sendes i én rørledning som flerfasetransport. Dimensjonene på rørledningen skal først bestemmes senere avhengig av ytterligere funn.

Sendes den som flerfasetransport, benyttes Norges beste oppfinnelse siden 1980. Det er en fagjury som i samarbeid med Aftenposten har valgt flerfasetransport som den beste norske oppfinnelsen.

-- Flerfaseteknologien har senket nivået for break-even ved utbygging av felt i Nordsjøen, sa jurymedlem Johan H. Andresen i forbindelse med Aftenpostens kåring.

Å kunne simulere flyten av gass og olje over lange avstander slik at man har kunnet sende alle oljeekvivalentene i ett rørsystem, har spart den norske oljeindustrien for milliarder av kroner.

Flerfasetransport er utviklet på IFE (Institutt for energiteknikk) på Kjeller og på Sintef i Trondheim. Programvaren Olga som simulerer flerfase videreutvikles av IFE og SPT Schlumberger. Statoil bidro med tidlig finansiering.

Blant verdens kraftigste

Statoil har ikke for vane å fortelle hva de har av beregningsressurser for å bidra til bedre oljeutvinning. Men den nyeste regneressursen basert på datamaskiner fra Hewlett-Packard vil figurere på listen over verdens 500 kraftigste datamaskiner, hvis Statoil vil.

- Moderne oljeleting er vanskelig å gjøre uten tungregning, sier Knut Sebastian Tungland sjefsingeniør i Statoils it-avdeling.

Den forrige store tungregnemaskinen til Statoil, Hermes, har en ytelse på 35,29 TFLOPS. Maskinen er basert på Intel Xeon med 5664 beregningskjerner.

Et tungregnesenter med tre datarom er tilrettelagt for Statoils tungregnemaskiner. Hvert datarom vil ha plass til 40 monteringskabinetter som blir fordelt på to kjølerom fra Schneider APC. Foreløpig er det levert tre kjølerom.

Den nye maskinen snakker ikke Statoil om med hensyn til ytelse eller med navn, enda alle Statoils tungregnemaskiner tidligere har hatt navn. Store Ulv og Snow White er to tidligere tungregnemaskiner.

Ifølge strategiplanene fra 2010 skulle tungregnesenteret i Stavanger fylles opp med betydelig regnekraft i løpet av 2013. I løpet av 2012 skulle kapasiteten være på rundt 500 TFLOPS.

Vurderingen er basert på to forhold, utviklingen av Statoils regneressurser over tid sammenlignet med de 500 kraftigste datamaskinene i verden, og behovet for bedre grafisk fremstilling ved hjelp av teknologien Reverse Time Migration, RTM.

Fra 250 til 5

Hvis Statoils datamaskiner skal følge med den samme utviklingen de har gjort de seneste ti årene, bør Statoil ha 5.000 TFLOPS i 2016.

På en datamaskin med 25 TFLOPS tar det inntil 250 dager å håndtere grafisk forbedring ved hjelp av RTM for et leteområde på 4000 kvadratkilometer. Målet er å klare det på fem dager.

Maskineriet skal benyttes i forbindelse med syv innsatsområder: leting, reservoar, boring og brønnteknologi, feltutbygging, prosessering og raffinering, ny og fornybar energi samt miljø.

I den forbindelse er alle typer datamaskiner interessante. Det er kravene til programvaren som avgjør hva slags type maskin som foretrekkes. Stikkord for viktig programvare er Omega, Openworks, Petrel, Eclipse og Olga. Disse er ikke de eneste. Statoil har en rekke alternativer. Petrell forutsetter Microsoft Windows. For Linux må det benyttes et annet program.

Omega benyttes av tungregneklyngen for å regne på seismiske data. Resultatet fra beregningene lagres i Openworks. Disse dataene benyttes av Petrel for visualisering av modellen over grunnforholdene slik at geologene kan gjøre sine vurderinger.

Eclipse benyttes for reservoar-modellering. Utfordringen er hva som skjer når oljereservoaret tømmes og hvordan injeksjon av vann vil påvirke oljeforekomsten.

Olga benyttes for å simulere transporten av gass, olje og vann fra brønnen gjennom et felles transportrør til land. Utbygging av et felles rørsystem med flerfasetransport har redusert kostnadene for uthenting av gass og olje med hundretalls milliarder av kroner ifølge IFE.

Andre maskiner

Statoil benytter andre datamaskiner enn tungregneklynger. Disse egner seg for arbeidsoppgaver som kan parallelliseres. Bearbeiding av seismikkdata krever en tungregnemaskin. Andre oppgaver går bedre på avanserte arbeidsstasjoner eller maskiner med ett stort felles minne.

- Vi har brukt utviklingsmidler for å skape grunnlag for en enklere programmeringsmodell. Målet er å gjøre det raskere å få matematikken implementert på datamaskinen, sier Knut Sebastian Tungland.

Derfor har Statoil inngått et forskningssamarbeid med norske Numascale som har utviklet en elektronikkteknologi som sammenslår mange datamaskiners minne til ett stort felles.

- Tid er en kostbar ressurs, sier Trond Jarl Suul senior fagleder for High Performance Computing i Statoil.

Derfor jobber forskningsmiljøet til Statoil i Trondheim med å forbedre matematiske algoritmer, prøve ut nye applikasjoner for Statoils utfordringer og teste datamaskiner. Selv Statoil har ikke nok ressurser for fremtidige olje og gass-utfordringer.

Krevende

For veldig mange applikasjoner egner seg best på en kraftig arbeidsstasjon eller en maskin med et begrenset antall prosessorer fordi det er veldig ressurskrevende å parallellisere programvare slik at den effektivt kan utnytte en stor tungregnemaskin. Problemet med en arbeidsstasjon er at beregningstiden for enkelte oppgaver blir alt for lang.

Numascales teknologi gir løfter om å utnytte mange datamaskiner som de var en logisk, ved å skape ett stort logisk minne. En spesialkrets Numascale har utviklet, gjør at mange datamaskiner ser ut som én logisk med ett stort minne.

Riktignok tar det ti ganger så lang tid å lese data i en annen datamaskin enn den programvaren bearbeides på, men denne forsinkelsen er en bagatell i forhold til å hente data fra et lagringssystem og bearbeide disse fordelt på mange datamaskiner i en klynge.

- Det går mye tid tapt ved å flytte data inn og ut av datamaskinen. Vi har minnetørste algoritmer som kan gjøre raskere fremstilling og bedre bilder av undergrunnen, sier Trond Jarl Suul.

Derfor ønsker Statoil å teste ut Numascale. Det gjøres allerede på en prototyp hos Numascale. I neste omgang vil Trond Jarl Suuls folk ha en egen maskin de kan teste algoritmer og programvare på. Derfor ønsker Statoil at Numascale også kan kjøre Windows, ikke bare Linux.

Statoil har en rekke problemstillinger som er interessante for Numascale.

Flyttet

Mens tankegangen tidligere var å bygge ut et fullstendig tungregnesenter i Stavangerområdet, har investeringene i de senere årene handlet om alternativ tungregneteknologi og investering i Houston for olje og gassutvinning i andre farvann.

Mange eldre maskiner ble flyttet til Stavanger, men en rekke av disse er blitt faset ut som en konsekvens av den tekniske utviklingen. Nye maskiner tar mye mindre plass enn tidligere. I 2010 trodde Statoil at den neste tungregnemaskinen ville ta et helt datarom. Den tar maksimalt halvparten. Maskinen får plass i kjølerommet til Schneider til APC som fyller halve datarommet.

Tungregnesenteret blir derfor så viktig for Statoil at stedet ikke er offentlig kjent. Kun innvidde vet hvor datasenteret ligger. Navneskilt er fraværende.

- Oppgraderingen er som å drive hjernekirurgi med pasienten våken, sa Kjell Sirevåg, fagleder for Statoils bygningsmasse med tilhørende infrastruktur da datamaskiner fra Statoils norske avdelinger ble flyttet til tungregnesenteret.

Derfor hadde Sirevåg et team med spesialister som utfylte hverandre. Flere av dem er ikke ansatt i Statoil, men jobber for Statoil på lange kontrakter. Både Sweco og YIT leverer assistanse.

Utgangspunktet for Statoils tungregnesenter er et tidligere industribygg som er bygget om for oppgaven. Stikkord er tre datarom, seks kjølekuber, sjøvann, vannkjøling, PUE, CO2, nettverkskapasitet, tilstrekkelig strømtilførsel, dieselgenerator, batterisikring og fysisk sikring.

Ved strømbrudd sørger et batterisikringssystem, UPS, for tilstrekkelig energi til dieselgeneratoren starter. Det skjer ifølge Statoil etter 20 sekunder. Strømbruddtesting gjøres en dag hver eneste måned.

Bærekraftig

Hva Statoil har konstatert er at areal, energi og kjøling koster. Selv regner de én krone per kilowatt.

- Vi måtte derfor planlegge å bygge et effektivt senter, sa Kjell Sirevåg i november 2010.

Av den grunn har Statoil jobbet med å planlegge et nytt, effektivt datasenter for beregningsoppgaver siden 2005 med god støtte fra ledelsen siden målet er å lage et bærekraftig datasenter.

Energi er det imidlertid ikke spart på. 2 MW er tilkoblet, ytterligere én megawatt vil bli levert når senteret er ferdig utbygd. Selv om energibehovet er stort, ville det ha vært større ved bearbeiding og kjøling på flere datasentre.

Datasenteret skal huse alle nåværende og kommende beregningsmaskiner for oljerelaterte data. Målet er å analysere og bearbeide nye og gamle data for å finne ut om det lønner seg med ny og fortsatt utvinning av olje og gass med dagens utvinningsteknologi.

Effektiv energi

Hva Statoil i sin plan har jobbet med, er at datarommets energi skal bli best mulig utnyttet. Det er et tiltak som passer inn Statoils satsning på miljø. Strategien ble knesatt i 2007. Ikke noe av det datautstyret som var i bruk i 2005, eksisterer lenger.

Planleggingen må derfor ta hensyn til den tekniske utviklingen som har vært betydelig på en rekke områder de seneste fem årene.

I praksis vil hvert datarom utnytte én megawatt. Med 40 datamaskinkabinetter blir det 25 kilowatt på hver, hvilket er nødvendig med fire fulle hyller med bladmaskiner.

I 2005 gikk minst halvparten av energien til kjøling. I dag er det forkastelig. Derfor har bransjen innført standarden PUE, Power Usage Effectiveness. Med halvparten av energien til kjøling blir PUE lik to. Målet er 1,1 hvor rundt ti prosent går til kjøling, men de færreste når et slikt lavt nivå.

- Vi tror vi klarer PUE på 1,2. Nå er den på 1,4 – 1,5, sa Kjell Sirevåg da Statoil hadde installert Hermes i kjølerommet.

At PUE ikke var lavere skyldes at kjølingen er optimalisert for to fulle kjølerom med maskiner. I løpet av 2012 hadde PUE sunket under 1,3

Stor reduksjon

Statoil har regnet på effekten av en reduksjon av PUE fra to som var normen i 2005 da de begynte planleggingen, mot målet på 1,2 når datasenteret er fullt utbygget i 2013.

Med full last på 3 MW gir det en reduksjon på 20.000.000 kWh per år. Med en kilowattpris på en krone er det 20 millioner innspart. Med en europeisk elektrisitetsmiks med både norsk og importert strøm gir det ifølge Statoils beregninger en reduksjon på 12.500 tonn CO2.

Statoil har også regnet på hva som lønner seg med hensyn til kjøling med luft eller vann. Sammenligningen er gjort mellom det som betegnes en kjølemaskin med tørrkjølere kontra sjøvannskjøling.

Da blir forskjellen på de to alternativene på 10.500.000 kWh og 6.500 tonn CO2.

Av den grunn har Statoil bygget et stort vannkjøleanlegg hvor det benyttes sjøvann som grunnlag for kjøling av datamaskineriet. Vannet tas inn fra 100 meters dybde. Det har da en temperatur på syv til ni grader. Det pumpes opp, kjøres inn i en vannveksler med et resultat at kjølevannet holder ni til elleve grader. Etter bruk sendes det oppvarmete vannet som holder 18 grader ut i sjøen på ti meters dyp.