Sådan gør machine learning AR-teknologien mere moden

Mindre fejlmontage og forebyggelse af ulykker

Appen skal være et stykke brugbart værktøj for ingeniører og sjakbajser i byggebranchen. Det skal sikre, at understøtningerne er monteret i overensstemmelse med 3D-modellen og derved forebygge ulykker pga. fejlmontage. Appen skal også assistere montøren under montagearbejdet. Montøren kan gennem sin Hololens, iPad eller telefon se de enkelte dele af 3D-modellen og montere de enkelte materialedele som visualiseret i modellen.

Derudover har Alexandra Instituttet vægtet en god stabil software og høj brugervenlighed i appen. En byggeplads består i dag typisk af mange nationaliteter, og derfor skal appen kunne blive betjent af mange mennesker.

Teknologien er moden nok

Magnus Koch, Computer Graphics Engineer i Alexandra Instituttet, siger:

”AR-teknologien er moden til byggebranchen, hvis du ikke har behov for en nøjagtighed på millimeterniveau, men er tilfreds med en præcision på cirka en 1 cm. AR-teknologien kan i dag bruges til f.eks. at arbejde med store bygningskonstruktioner, som de gør i firmaet PASCHAL.” 

Og det er netop her, at appen kommer til at se dagens lys. Den tyske familieejede virksomhed PASCHAL-Danmark A/S leverer bl.a. dæk- og brounderstøtninger, hvilket er en slags stilladser der kan bære meget tunge laster som f.eks. en motorvejsbro, mens den støbes. Appen skal være med til at fremtidssikre PASCHAL til Industri 4.0.

Jim Koldborg, CIO i PASCHAL, siger:

”Vores kunder kan med appen se brounderstøtningen ude på pladsen i 1:1 i augmented reality – inden de går i gang. Det hjælper dem med at se, om noget kommer til at drille i opsætningen i den virkelige verden. De kan også bruge den til at tjekke, om det hele sidder korrekt, når brounderstøtningen er sat op. Derudover er appen velegnet til undervisning.”

Selvom AR-teknologien er moden, har den dog stadig nogle børnesygdomme, påpeger Magnus Koch.

Udfordring nummer et ved AR

“Udfordringen med AR-teknologi er at få den til at forstå omverdenen. Når du kigger rundt med din telefon på f.eks. en byggeplads, handler det om, at den skal opbygge en rekonstruktion af virkeligheden samt en 3D-model af det stillads, som du ønsker at stille op.”

Og særligt to ting udfordrer AR-teknologien.

“Det ene er, at 3D-modellen drifter på stilladsarbejderens telefon. Drifte er et udtryk for, at stilladset står og hopper og bevæger sig en smule, når du kigger på det gennem mobilen, og særligt hvis du bevæger dig rundt. Stilladset skal forblive på præcis samme koordinater, uanset hvor du fysisk stiller dig op med din telefon,” siger Magnus Koch.

Løsningen er her at bruge ARCore og ARKit - henholdsvis Googles og Apples arbejdskits til augmented reality.

”Men vi skal hjælpe det lidt på vej,” siger Magnus Koch og fortsætter: ”Det fungerer ved, at du kigger på stilladset gennem mobilen, og alt efter hvor du flytter dig hen, skal computeren i f.eks. telefonen rekonstruere billedet, men hvis du kigger på noget, som er meget ensartet, det kan f.eks. være et ensfarvet gulv, en grøn græsplæne eller en byggeplads – som typisk er stor, mudret og brun – kan AR-teknologien ikke se, at du flytter dig. Så ensartede overflader er svære for computeren at rekonstruere.”

Den udfordring kan løses ved, at stilladsmedarbejderne manuelt placerer et fikspunkt i AR-modellen af stilladskonstruktionen. Eller at få en landmåler fysisk ud på pladsen, der sætter pæle i jorden, som stilladsmedarbejderen kan bruge som fikspunkter i AR-modellen. Men metoden med at bruge enten landmålere eller at lade stilladsmedarbejderen vælge et fikspunkt for stilladset, er kun et plaster på såret. Det kommer vi til i udfordring nummer to.

Udfordring nummer to ved AR

Den anden udfordring er positionering. AR-modellen skal vide, hvor du selv står i landskabet for at kunne placere stilladset korrekt. Og det er særligt her, machine learning kan hjælpe.

”Udfordringen er, at du gerne vil have stilladset til at passe ind i omgivelserne. Computeren skal derfor finde ud af, hvor du står i forhold til 3D-modellen af stilladset – om du er langt fra eller tæt på, og hvad omgivelserne ellers består af. Det nytter ikke noget, at 3D-modellen af stilladset bliver sat midt i skoven, ved siden af den kløft, hvor det skulle have stået, for at understøtte bygningen af f.eks. en bro,” siger Magnus Koch.

Den manuelle positionering bliver nemmere med appen

”Lige nu placerer stilladsmedarbejderen stilladset manuelt på iPad’en, og de viser selv computeren længdeafstanden, men den metode er ikke skalerbar. Den kan derfor ikke bruges i alle situationer, hvor du skal placere en model. Teknikken skal være bedre, da stilladserne kan være enormt store. Det kan derfor være svært at vise det hele samtidigt på en iPad – og svært at placere alle fikspunkter korrekt,” siger han og fortsætter:

”Vi laver derfor et værktøj til at gøre den manuelle positionering lettere. Og her er machine learning god. Ved at bruge machine learning kan stilladsmedarbejderen få at vide, hvor alle de forskellige fikspunkter skal være – helt nøjagtigt. Og med machine learning kan computeren selv regne ud, hvor stilladserne skal være på byggepladsen ud fra ingeniørmodellen."

Det er også planen at bruge machine learning til at kunne genkende objekter.

”Når stilladsmedarbejderen holder sin iPad op ude på byggepladsen, kan AR-teknologien matche virkeligheden op med ingeniørmodellen og netop placere broen og stilladset hen over kløften og ikke midt ude i skoven,” siger Magnus Koch.

AR-teknologi på millimeterniveau

”At PASCHAL bruger AR er et åbningspunkt til at bruge teknologien andre steder i byggebranchen – på millimeterniveau. Og trinet efter stilladser er f.eks., at AR kan bidrage til konstruktionen af et helt byggeri,” påpeger Magnus Koch.

”I et moderne byggeri har de forskellige firmaer deres egne modeller, og de forskellige modeller bliver samlet hos en bygherre. Dog er der ingen, der tjekker, om modellerne passer sammen – her kan AR-teknologien på sigt være en stor hjælp. Det kan f.eks. være at få bygningsarbejdernes telefon til at vise, hvor ledninger og rør skal være i augmented reality. Hvis de kan se på telefonen, at der skal være et udsugningsrør, og der samtidig også skal være nogle ledninger i samme område, så undgår de at lægge ledningerne i udsugningsrøret,” siger Magnus Koch.

PASCHALs vision er da også at sætte en helt ny dagsorden for brug af 3D i byggebranchen.

Jim Koldborg afslutter:

”Indtil videre har 3D været noget, du har haft på computeren. Vi tager det væk fra skrivebordet og ud i virkeligheden, og håber på at kunne sætte dagsordenen i byggeriet, så 3D – enten via Hololens, iPad eller telefon – bliver standard om fem år.”

Det er vores Senior Mobile Systems Architect Daniel Andersen, der arbejder med PASCHAL. Du er velkommen til at kontakte ham via oplysningerne øverst til højre.