Menselijke multimedia: samenzijn op afstand mogelijk maken

Na twee jaar coronacrisis weten we allemaal dat het vermoeiend is om via een beeldscherm te communiceren. Al lang daarvóór startte professor Pablo Cesar zijn onderzoek in hoog-realistische volumetrische videoconferencing. Dit maakt soepele, natuurlijke communicatie en samenwerking mogelijk – en maakt daarmee het gevoel van afstand tot verleden tijd.

Stel je voor: een goede vriend gaat trouwen en jij bevindt je aan de andere kant van de wereld, of misschien is jouw thuisstad in lockdown. Je hebt goed bereik op je mobieltje dus je ontvangt foto’s van de bruiloft, misschien zelfs wat videobeelden. Maar hoe zou het zijn als je je met VR-bril helemaal kunt onderdompelen in het feestgedruis? Zou je je dan niet veel meer verbonden voelen met diegenen waar je om geeft?

“Mijn onderzoek naar real-time volumetrische video draait om hoe mensen communiceren en hoe ze zich tot media verhouden,” zegt Pablo Cesar, groepshoofd in het Centrum Wiskunde & Informatica (CWI) en professor Human-Centered Multimedia Systems aan de TU Delft. “Algoritmes en optimalisatie vormen het hart van dit onderzoek, maar wij benaderen het vanuit een menselijk perspectief in plaats van puur vanuit de technologie. We willen de essentie van communicatie vatten én overbrengen.”

Als ik via het internet samen met mijn vader een cultuurhistorisch museum bezoek, dan wil ik dat niet doen met een panda-versie van hem

Geen panda

Cesar is in Spanje geboren, heeft in Finland gestudeerd en hij heeft een Japanse vrouw. Daardoor is hij meer dan bekend met een gevoel van afstand en de behoefte aan werkelijk contact die dat met zich meebrengt. En wat hem betreft kan de Metaverse met zijn avatars daar niet afdoende in voorzien. “Als ik via het internet samen met mijn vader een cultuurhistorisch museum bezoek, dan wil ik dat niet doen met een panda-versie van hem,” zegt hij. “Ik wil wel degelijk in de virtuele wereld zijn, want die biedt toegang tot driedimensionale visualisaties en interacties die in de normale wereld niet mogelijk zijn. Maar ik wil dan wel een hoog-realistische weergave van de omgeving en, met name, van mijn dierbaren.”

Context en intentie

Het vastleggen en doorsturen van hoog-realistische representaties, in 3D en in real-time, is natuurlijk allesbehalve eenvoudig. “Behendig omgaan met beperkte middelen is een kernpunt binnen de computerwetenschappen,” zegt Cesar. “We willen de best-mogelijke ervaring bieden, onder alle mogelijke technologische omstandigheden.” Dus, niet wachten op snellere processoren en 6G mobiele communicatie, maar een optimalisatie op basis van mensgerichte principes en methodologieën.

We willen de best-mogelijke ervaring bieden, onder alle mogelijke technologische omstandigheden

“Ik communiceer veel met mijn handen,” zegt Cesar. “Daarom is het in de meeste situaties afdoende om alleen mijn gezicht en mijn handen levensecht weer te geven. De kreukels in mijn overhemd doen er niet toe, net als de stand van mijn voeten. Behalve, natuurlijk, als ik aan het dansen ben op een bruiloft.” Waar het menselijk brein gespecialiseerd is in het negeren van niet-relevante informatie, al naar gelang de specifieke context, is de computer daar aanmerkelijk minder goed in. Een van de belangrijkste uitdagingen in zijn onderzoek is dan ook om algoritmes te ontwerpen die context-bewust zijn – algoritmes die kunnen beslissen welke informatie echt van belang is en dus moet worden verstuurd, en welke informatie er minder toe doet en dus kan worden genegeerd. “Om te optimaliseren wat we versturen, moeten we begrijpen wat er gebeurt, waar je naar kijkt, waar je je naar toe beweegt, en zelfs de emotionele staat van degenen die communiceren.”

Domein-experts

Cesar heeft het tot zijn persoonlijke missie gemaakt om mens-computer interactie in het hart van de computerwetenschappen te plaatsen. “We doen veel experimenten met gebruikers, waarbij we bijvoorbeeld onderzoeken hoe we interpersoonlijke ruimtes in virtual reality kunnen representeren,” zegt hij. “Daarbij werken we samen met domein-experts, zoals sociologen en psychologen, maar ook mensen uit de wereld van de opera en het theater.”

Daarnaast onderhoudt hij veel samenwerkingen binnen Nederland en Europa over de technische aspecten van volumetrische video. “Onze eigen focus ligt bij de netwerkaspecten, de communicatie zelf, het begrijpen van mensen en het optimaliseren van alle signalen die daarbij van belang zijn,” zegt hij. “We werken samen met experts in multi-sensorische ervaringen en, voor nauwkeurige en efficiënte 3D-rendering, met experts in computer graphics.”

Om te optimaliseren welke beelden we versturen, moeten we de context en intentie begrijpen, en zelfs de emotionele staat van de deelnemers

Persoonlijker dan een director’s cut

Om je een beetje een beeld te kunnen vormen van waar zijn onderzoek toe gaat leiden, helpt het om wat voorbeelden te geven van wat hij in enkele van zijn vele projecten al heeft bereikt. Zo simuleerde hij hoe een toevallige voorbijganger een volumetrisch video-consult heeft met een arts over een gewonde fietser. De technologie bestond uit een mobieltje met een camera met diepte-perceptie en het publieke mobiele 5G netwerk. “De videokwaliteit was niet erg hoog,” zegt hij. “Het diende als een proof-of-concept.”

Hij verstuurde ook meerdere feeds van een voetbalwedstrijd naar een kroeg vol supporters. “Het idee achter het versturen van meerdere feeds, in plaats van alleen de selectie van de televisieregisseur, is dat het vergaande personalisatie van de uitzending mogelijk maakt aan de kant van de ontvanger, gebaseerd op persoonlijke voorkeuren.”

Transformerend

Cesar hoopt dat volumetrische video, dankzij de natuurlijke manier van communiceren, in alle aspecten van ons zal bijdragen. Met toepassingen van videoconferencing en medische zorg tot musea en auto’s, kan het zeker een transformerende impact hebben. Maar zo ver zijn we nog niet. “Als je in de jaren ’80 geboren bent, dan weet je nog hoe 2D-video in de jaren ’90 was en wat er sindsdien is bereikt,’ zegt Cesar. “Daar staan we nu ongeveer met volumetrische video. We kunnen demonstraties geven, zodat mensen kunnen gaan inzien wat er allemaal mogelijk is. Dat is het doel. Het zal ons helpen om de technologie te realiseren waar behoefte aan is!”

/* */