Apples KI lager menneskelig 3D-modell
På få minutter klarer HUGS: Human Gaussian Splats å ekstrahere mennesker fra en video-scene.
Apples KI-team ligger ikke på latsiden.
Dette på tross av at man ikke hører så fryktelig mye derfra, og mye av Apples KI-skills foregår i det stille i kulissene.
Nylig publiserte et forskningsteam i samarbeid med Max Planck-instituttet for intelligente systemer en nevral-teknologi for å analysere video-scener for å kunne detektere menneskelige figurer.
Prosjektet kalles HUGS: Human Gaussian Splats.
Modellen som benyttes analyserer seg frem til menneskelige figurer i en scene, og klarer på dette grunnlaget å generere en komplett 3D-modell. Denne kan så benyttes videre for animasjon, for eksempel.
I tillegg "renses" bakgrunnen ved at den menneskelige figuren ekstraheres fra denne. Også dette blir til en 3D-scene, og kan inngå i en ny animasjon sammen med figuren - eller til noe helt nytt.
Du kan lese mer om HUGS: Human Gaussian Splats her. Sjekk ut demo-videoen nedenfor.
Via Apple
Introducing 🫂HUGS: Human Gaussian Splats - capable of creating animatable (3DGS) avatars from a casual video (50-100 frames) in ~30 mins. Our avatars can easily be embedded into other (NeRF) scenes. (1/4)
— Anurag Ranjan (@anuragranj) 19. desember 2023
Project: https://t.co/ws69aCAUtG
arXiv: https://t.co/yjsR9Vt8RY pic.twitter.com/ADVWw56ats