Røntgensyn med AR, AI fikser bilder, Utvidet VR

AR hjelper brannmenn

De som har gjennomgått brannslukkingskurs med røykdykking, for eksempel som en del av sikkerhetskurset alle som skal jobbe offshore eller på skip må gjennom, vet at det er ikke mye å se når en brann skal slukkes innendørs. Røyken gjør at du ikke ser noen ting, i tillegg til at en brann ofte vil ødelegge elanlegget, slik at belysningen kjapt faller bort. Du står i et mørklagt rom som er fullt av tykk røyk – i beste fall skimter du flammer når du kommer nær nok der det brenner. Du kan like gjerne ha en svart søppelsekk over hodet.

Det finnes allerede tekniske løsninger som bistår brannmenn i denne situasjonen, men det trenges flere og bedre av dem. Det jobber det California-baserte teknologiselskapet Qwake Technologies med å bringe fram. Selskapet har lagd produktet C-Thru, som er en røykdykkermaske med innebygd AR – Augmented Reality, eller utvidet virkelighet.

Bak det brannsikre visiret har C-Thru gjennomsiktige skjermbriller foran brannmannens øyne, der omrisset av omgivelsene tegnes i sanntid.

Datakildene til løsningen er et integrert termisk kamera, sensorer for giftige gasser og biometriske sensorer. Til sammen gir databehandlingen av dette brannmannen adskillig mer informasjon som gjør at hun mye raskere orienterer seg i en brann, selv der det er null sikt.

Under uttesting av løsningen i februar i år, opplyser Qwake at de oppnådde en 267 prosents forbedring i brannfolkenes ytelse, sammenlignet med de mest avanserte, men tradisjonelle løsningene som bruker håndholdt termisk kamera. Testingen viste at den gjennomsnittlige tiden for å gjennomføre et brannslukkeoppdrag sank fra 4,5 minutter til 1,6.

Det kan bety all verdens forskjell når brannfolkene er på søkeoppdrag etter mennesker som befinner seg i bygningen som brenner. Dette er kanskje ikke en anvendelse av AR som blir «killer-appen» for denne teknologien, men den føyer seg fint inn i rekken av stadig flere gode, meningsfulle bruksområder av en teknikk som kan sies å ha lett etter brukere.

AI ser det totale bildet

Vi har vel alle vært der at vi har tatt et aldeles fenomenalt bilde, men det skjemmes dessverre av den store høyspentmasta på siden der, eller det grelle reklameskiltet som stjeler seerens oppmerksomhet. De store fotoredigeringsleverandørene har jobbet i en årrekke med å lage verktøy som kan hjelpe oss å redigere vekk slikt, men som regel krever det en ekspert for å løse denne oppgaven så pent at redigeringen ikke synes i det ferdige resultatet.

Dette har forskere hos grafikkleverandøren Nvidia tatt en nærmere kikk på, og har kommet opp med skikkelig kule resultater ved å sette en kunstig intelligens (AI – Artificial Intelligence) på jobben. Forskerne kaller teknikken for «image inpainting», der Ai-en redigerer bilder ved å fylle inn computergenererte piksler der bildet er skadd, eller mangler data. Dermed kan vi sette AI-en til å redigere bildet ved at vi visker ut deler av bildet som vi ikke ønsker, og så ta AI-en og lager nye til oss i tomrommene vi har etterlatt oss.

Nvidia-forskerne opplyser at de lagde over 55.000 masker med tilfeldige hull av varierende størrelse og fasong for å trene opp AI-en. De genererte også nær 25.000 masker for testing. Disse maskene ble kombinert med byråbilder for å trene det nevrale nettverket. Under testingen etter at AI-en var trent, fikk den bilder med tomrom fra maskene som den ikke hadde sett før, for å lære å rekonstruere de manglende pikslene.

I motsetning til tidligere teknikker for å gjøre dette, trenger ikke tomrommene å være firkantete, og de må heller ikke vært sentrert i bildet. Ifølge nyhetsartikkelen om dette på Nvidias nettsider, er dette første gang at AI-en kan håndtere irregulære former på hullene i bildet. Demovideoen av hva de har oppnådd er uansett imponerende nok. 

VR du kjenner på kroppen

Syn og hørsel er de viktigste sansene vi har for å oppfatte omgivelsene våre. Derfor har fabrikantene av utstyr som gir oss virtuell virkelighet (VR – Virtual Reality) fokusert på disse sansene. Ved å lage en maske som fyller hele synsfeltet med datagrafikk og høretelefoner med flere høyttalerelementer som gjør at vi kan skille mellom lyd forfra og bakfra, får vi en omsluttende opplevelse av å være et helt annet sted enn det som befinner seg på utsiden av brillene og høyttalerne.

Men vi har flere sanser enn det øynene og ørene våre har å tilby. For å gjøre opplevelsen av den virtuelle virkeligheten enda mer naturtro, trenger vi dermed flere sansepåvirkninger enn bare disse to.

Det mener i alle fall forskere hos Disnesy Research, MIT Media Lab og Carnegie Mellon University. De har lansert et konsept for en «kraftjakke» som simulerer fysiske påvirkninger på den som har den på. I jakken er det 26 luftlommer som datamaskinen kan fylle eller tømme for å simulere trykk og berøring av kroppen. I tillegg kan luftlommene vibrere i kombinasjon med å fylles eller tømmes.

Kombinert med et skikkelig VR-hodesett ser forskerne for seg at jakken kan simulere at vi får en klem, blir truffet av en snøball i en snøballkrig, blir slått eller dyttet, og sært nok, følelsen av at en slange sklir over kroppen din.

Foreløpig er dette bare en konseptstudie som har bragt fram en prototype som veier knappe to og et halvt kilo, og som begrenser bevegelsesfriheten til brukeren, siden luftkompressoren og ventilene er koblet til jakken med luftslanger fra en enhet som står på gulvet.

Men det er jo lett å tenke seg at når denne teknologien er videreutviklet og forminsket, vil en runde med Tekken på Playstationen din aldri mer bli det samme.