Forskningsprojekt lader autonom robot overtage instruktion af film

Lige siden introduktionen af flyvende droner har filmproducenter brugt dem til de fugleperspektivistiske optagelser, der tidligere kun var mulige fra helikopter.

Men nu giver ny teknologi mulighed for, at dronerne egenhændigt kan overtage og styre filmoptagelser. Den indbyggede kunstige intelligens giver nemlig mulighed for et fuldt autonomt optagesystem, der lærer menneskers visuelle og artistiske præferencer.

Teknologien er i øjeblikket ved at blive udviklet af et team af forskere fra Institut for Ingeniørvidenskab, Aarhus Universitet, Carnegie Mellon University i Pennsylvania, det tekniske universitet i München og Nanyang Technological University, Singapore.

”Dronen lærer at filme på en måde, der behager vores visuelle præferencer for filmkunst. Det betyder, at dronen autonomt skal forstå, hvilke vinkler og perspektiver der vil skabe de mest kunstneriske og interessante scener, samtidig med at den integrerer hele scenens kontekst for f.eks. at undgå forhindringer og være opmærksom på skuespillere,” siger lektor Erdal Kayacan, der leder den danske del af projektet.

Brugerinput styrer filmkunsten

Det er dog ofte ganske subjektivt, hvad den ’mest interessante scene’ er, og mange filminstruktører kunne sikkert diskutere længe over, hvilken vinkel gjorde sig bedst til en given optagelse. Derfor bruger den autonome drone såkaldt deep reinforcement learning - en teknik baseret på undersøgelser af menneskelige input.

I jagten på at lære den kunstige intelligens generaliserbare regler til optagelser af de mest optimale vinkler og perspektiver på skuespillerbevægelser og scener, har man i projektet således ladet en flok mennesker stemme på favorit-kameravinkler og skuespillerpositioner – altså, hvad gør sig bedst visuelt i en given situation. Og det input har man fodret robotten med.

”Kommercielle autonome droner følger i dag normalt den åbne, sikre vej bag en skuespiller, hvilket kun tillader kontinuerlige optagelser bagfra. Det er ikke super interessant at kigge på, og derfor oplærer vi dronen i konstant at finde det optimale perspektiv for den bedste publikumsoplevelse,” siger Erdal Kayacan.

Smart genkendelse og planlægning

Samtidig registrerer dronen automatisk obstruktioner, der ellers blokerer kameraets udsigt til fokusområdet, og kan endda kvantificere dem for at bevare et klart udsyn. Dronen er ligeledes i stand til at forudse skuespillerbevægelse og planlægge sin egen bane, mens den kontinuerligt kortlægger omgivelserne ved hjælp af LiDAR.

Desuden kræver teknologien ingen prædefinerede sekvenser, GPS-tags eller kort over området for at navigere til optagelserne.

Det autonome optagesystem er ikke beregnet til filmfremstilling alene, og lektor Erdal Kayacan forestiller sig mange forskellige scenarier, hvor teknologien kan bruges:

”Trafikovervågning, monitorering ved store forsamlinger af mennesker, byggepladser, til sikkerhedsmæssige og politimæssige anvendelser osv. Droner bruges allerede i dag til en lang række ting, men kræver meget opmærksomhed. Vores system kan lære at optage på andre måder, som således kan bruges til andre ting end filmoptagelser,” siger han.

Projektet - som også er kandidat til at vinde prisen for Best Paper - vil blive præsenteret på den internationale konference om Intelligente Robotter og Systemer (IROS) i 2019, der foregår i Kina fra den 4.-8. november.