Is het gewaad op dat schilderij van fluweel of van satijn?

Nieuws - 22 september 2021

Als je naar een van de rijk getekende schilderijen in het beroemde Rijksmuseum in Amsterdam kijkt, herken je misschien dat het gewaad dat de geportretteerde op het schilderij draagt van fluweel is en de beker op de tafel van zilver. Je ogen zien alleen verfwervelingen, maar je hersenen begrijpen wat de kunstenaar heeft uitgebeeld. Als onderdeel van zijn afstudeeronderzoek wilde Mitchell van Zuijlen begrijpen hoe dit mogelijk is. 

Makkelijk om te doen, niet zo makkelijk om te begrijpen

Voordat hij aan zijn promotieonderzoek begon, studeerde van Zuijlen psychologie aan de Universiteit Utrecht. Voor velen is het vakgebied vaak gericht op de negatieve ervaringen die mensen met hun hersenen hebben, zoals ziektes of psychische problemen. Maar van Zuijlen is meer geĂŻnteresseerd in typisch menselijke ervaringen. "Mensen kunnen heel gemakkelijk heel ingewikkelde taken uitvoeren, vaak al vanaf hun geboorte", zegt hij. Het zijn deze aspecten van het brein die hij fascinerend vindt. 

Zijn onderzoek is gefinancierd in het kader van een VIDI-subsidie van de Nederlandse Onderzoeksraad (NWO). Het doel van het project was om beter te begrijpen hoe kunstenaars materiĂ«le eigenschappen weergeven in schilderijen. Als je kijkt naar een stilleven van een schilder uit de Gouden Eeuw zoals Rembrandt, hoe zien je hersenen de voorwerpen op dat schilderij dan als een kopje van zilver of een kleed van fluweel, in plaats van gewoon klodders verf? 

"De mens kan naar een voorwerp kijken en veel van de materiĂ«le eigenschappen ervan begrijpen: hoe zwaar het is, hoe de textuur is, enzovoort," zegt Van Zuijlen. Wetenschappers begrijpen nog niet helemaal hoe de hersenen deze informatie verwerken, maar kunstenaars als Rembrandt begrepen duidelijk hoe ze die informatie via hun werk konden doorgeven. Het feit dat schilders iets kunnen wat onderzoekers niet kunnen verklaren, ligt ten grondslag aan van Zuijlens benaderging naar zijn werk. Hij benadrukt dat het belangrijk is voor onderzoekers om in multidisciplinaire teams te werken. "Anders vind je uiteindelijk het wiel opnieuw uit." 

Lees Mitchell van Zuijlen's thesis:

Een masterlijst van meesterwerken

Van Zuijlens onderzoeksbijdrage was minder gericht op het beantwoorden van de specifieke vraag over de hersenfunctie en meer op het geven van mogelijkheden aan andere onderzoekers om dat te kunnen doen. Hij creëerde uiteindelijk de Materials in Paintings Dataset, een databank van 20.000 schilderijen verzameld uit musea over de hele wereld, waaronder het Rijksmuseum in Amsterdam, het Metropolitan Museum of Art in New York City, en het Prado Museum in Madrid.

Toen van Zuijlen vier jaar geleden begon met het samenstellen van zijn dataset, was het aantal musea dat hoge-resolutiefoto's van hun collecties online beschikbaar stelde klein. Het Rijksmuseum was een voorloper. Het maakte in 2013 voor het eerst hoge-resolutiefoto’s. Zo’n 125.000 objecten uit de collectie werden in studio’s opgesteld en vastgelegd door professionele fotografen. Tegenwoordig zijn meer dan 700.000 kunstwerken te zien op de website van het museum. "Toen de grote musea zoals het Rijksmuseum en het Metropolitan Museum of Art eenmaal begonnen met digitaliseren, volgden andere musea het voorbeeld", zegt Van Zuijlen. Uiteindelijk heeft van Zuijlen kunstwerken van tien musea in zijn dataset gecatalogiseerd.

Aanwijzingen die door neurale netwerken worden gebruikt om doelmateriaal te identificeren. De middelste afbeelding is een netwerk getraind op schilderijen, de rechter is een netwerk getraind op foto's. Deze getrainde netwerken baseeren zich op op aanwijzingen voor identificatie die aansluiten bij het menselijke zicht.

Antwoorden crowdsourcen

Alleen het hebben van de beelden was echter niet erg nuttig. "We moesten weten wat er op die afbeeldingen te zien waren, met name welke materialen waren afgebeeld en welke eigenschappen die materialen hadden," zegt Van Zuijlen. Dus wendde hij zich tot een online platform dat bedrijven en onderzoekers in staat stelde informatie te crowdsourcen voor digitale taken. Van Zuijlen gebruikte het platform om duizenden mensen naar de schilderijen in zijn database te laten kijken en hem te laten vertellen welke voorwerpen op die schilderijen te zien waren. Vervolgens liet hij zich vertellen van welke materialen mensen dachten dat de objecten waren gemaakt en wat voor eigenschappen die hadden, bijvoorbeeld, glanzend of zacht. Hij kreeg miljoenen antwoorden. 

Met deze informatie kunnen andere onderzoekers bestuderen wat een object op een schilderij realistisch doet lijken. Van Zuijlens collega, Dr. Francesca Di Cicco werkte aan zo'n project en betreurde dat haar leven veel gemakkelijker zou zijn geweest als zijn dataset er eerder al bestond. 

Van Zuijlen heeft nu een positie aanvaard als onderzoeker aan de universiteit van Kyoto in Japan, waar hij zal blijven werken aan een beter begrip van hoe mensen de wereld waarnemen. Maar in plaats van werken met statische beelden, gaat hij zich nu richten op de manier waarop bewegende objecten worden afgebeeld en hoe materialen en beweging op elkaar inwerken.