Nyheter i ARKit 3 - nu kan människan komma in i bilden

16 September 2019 // Anders Forssell

Med hjälp av machine learning tar vi ännu ett steg mot mer verklighetstrogen augmented reality - AR. Nu är det möjligt för människor att ta ett kliv in i bilden och samspela med den virtuella världen. Här sammanfattar vi några av nyheterna i ARKit 3 från Apple.

Augmented Reality - från hype till verklig nytta

Augmented Reality är ett område det pratats mycket om de senaste åren. Hypen har varit stor men tillämpningarna än så länge relativt få. Sakta men säkert börjar dock allt fler spännande AR-appar komma fram som är till verklig nytta både för vanligt folk och i företagssammanhang.

Apple lanserade sitt ramverk för augmented reality - ARKit - 2017. I och med den stora tillgången på iOS-enheter som kan köra ARKit skapades därmed, i ett nafs, den största målmiljön för AR i världen.

Apple har inte legat på latsidan när det gäller utvecklingen, och i iOS 13, som släpps 19 september, är man nu uppe i generation 3 av ARKit. Jämfört med den ursprungliga versionen innehåller ARKit 3 en rad nya funktioner och mängder av förbättringar. Några av dessa är:

• Snabb och stabil skanning av rummet. Det går numera väldigt fort att skanna av rummet för att etablera AR-världen. Det som krävs är hyfsad belysning och gärna ett golv som inte är helt enfärgat (tänk heltäckningsmatta). Trackingen är betydligt mer pålitligt idag jämfört med 2017 års version.

• Automatic Environment Texturing. Vid 3D-visualisering är det vanligt att man använder en “environment texture” för att åstadkomma en naturtrogen återgivning av 3D-modellerna. Detta kan göras genom ett lägga ett 360-graders foto på en kub som omsluter modellen. ARKit kan automatiskt, med hjälp av machine learning, skapa environment textures från kamerabilden av rummet. Det gör att virtuella objekt i AR-miljön ser mer realistiska ut och även kan återge reflexer och färgton från den omgivande miljön.

• Camera Grain, Motion Blur, Depth of Field. Anpassar visualiseringen av de virtuella objekten så att de matchar videoströmmen från den verkliga världen - för en mer realistisk AR-upplevelse.

• People Occlusion. AR bygger på att de virtuella objekten projiceras ovanpå videoströmmen. Men illusionen förstörs om något eller någon från den verkliga världen passerar framför de virtuella föremålen. ARKit 3 löser detta med något som kallas People Occlusion. Videoströmmen analyseras kontinuerligt med hjälp av machine learning för att detektera människor i bilden. Resultatet blir att människor kan dölja de virtuella objekten på ett realistiskt sätt. Se illustration nedan.

• Delade virtuella världar. ARKit har stöd för att dela en karta av det skannade rummet mellan olika enheter. Det gör att man kan betrakta den virtuella världen, utplacerad i det verkliga rummet, från olika håll på olika enheter.

Callista har märkt ett ökat intresse för AR på senare tid, och vi har bl.a. hjälpt kunder att ta fram marknads- och säljverktyg som hjälper till att konfigurera och visualisera produktsortimentet på plats i slutkundens lokaler. De senaste förbättringarna i ARKit öppnar upp för ännu fler möjligheter och tillämpningar.

Notera: Vissa av funktionerna som kräver tillämpning av machine learning i realtid - t.ex. People Occlusion - kan endast köras på enheter med Apples A12/A12X Bionic-chip eller senare.

Exempel på People Occlusion

Vi funderar på en ny Callista-skylt till kontoret. Med hjälp av en ARKit-app kan vi testa hur den skulle se ut och om den är lagom stor. Ser rätt bra ut tycker vi…

… tills någon kommer in i bilden och förstör illusionen.

Med People Occlusion i ARKit 3 går det att kombinera virtuella objekt och människor i samma bild, nu ser det mycket bättre ut.