Nichesourcing helpt het Rijksmuseum collecties in kaart brengen

Het Rijksmuseum is nu bijna een jaar open voor bezoekers. Vanaf de opening tot eind vorig jaar zijn er 2.2 miljoen bezoekers geweest. Een groot succes voor het bekendste museum van Nederland. Ook is het Rijksmuseum als een van de eersten bezig grote delen van haar collectie, waaronder haar 700.000 prenten, digitaal beschikbaar te maken voor online bezoekers vanuit de hele wereld.

Maar ze willen meer; gedetailleerde beschrijvingen van wat is afgebeeld op de prenten bijvoorbeeld. En daarvoor zijn mensen van buiten het museum nodig. Ze noemen dit ‘nichesourcing’, het inzetten van vrijwilligers die specifieke kennis hebben van bijvoorbeeld bloemen of vogels en helpen deze prenten in het prentenkabinet in kaart te brengen.

Complexiteit

De focus van musea is veranderd over de jaren heen. Vroeger lag die op de registratie van kunstwerken in de collectie, zodat deze makkelijk in het archief vindbaar waren. En op het beschikbaar maken van deze kunstwerken via tentoonstellingen of leeszalen voor collega’s, wetenschappers en geïnteresseerden die naar het museum kwamen.

Met de beschikbaarheid van digitaliseringstechnieken en de mogelijkheden van het internet is de wereld voor het erfgoed veranderd, en niet zo’n beetje ook. De wereld is nu complexer. Naast de traditionele museumtaken is het ‘online zijn’ er bijgekomen. Dit betekent dat de collectie niet alleen gedigitaliseerd moet worden, maar ook online bereikbaar moet zijn via het kanaal van keuze van de (toekomstige) bezoeker of geïnteresseerde. Dat kan een smartphone zijn, maar net  zo goed een tablet, PC, of zelfs via augmented reality, Google Glass of andere ‘glass’-adepten die er aan zitten te komen (o.a. Sony en Epson) die een nieuwe dimensie kunnen geven aan het museumbezoek.

Een museum is als een ijsberg

Musea laten vaak maar een heel klein stukje zien van de totale collectie. Er zijn heel veel prachtige stukken die bewaard worden in een archief of depot. Sommige zijn zelfs zo kwetsbaar dat ze nooit tentoongesteld kunnen worden. Neem het Rijksmuseum, in het prentenkabinet zitten zo’n 700.000 prenten. Ook andere musea hebben vaak meer stukken dan je ooit zou kunnen laten zien.

Het Rijksmuseum is begonnen met het digitaliseren en online beschikbaar maken van de prenten in het prentenkabinet en streeft ernaar deze zo goed mogelijk te beschrijven. De professionele (kunst-)historici in dienst van het museum besteden gemiddeld 20 minuten aan het onderzoeken en documenteren van een prent. Deze medewerkers besteden veel tijd en energie aan het zo precies en correct mogelijk vastleggen van de (kunst-)historische informatie van de prenten. Daarnaast worden enkele minuten gebruikt om te beschrijven wat er is afgebeeld op de prent zoals bijvoorbeeld afgebeelde bloemen of vogels.

Stel je voor dat je 5 minuten bezig bent met alleen het beschrijven van wat er op een prent te zien is en je doet dit voor de hele prentencollectie, dan ben je maar liefst 58.333 uur bezig met de hele prentencollectie. Vertaald in jaren: een carrière van meer dan 35 jaar met alleen het annoteren van prenten.

Inhoudelijke ontsluiting

Zowel de (kunst-)historische als de inhoudelijke beschrijvingen zijn zeer waardevol voor het Rijksmuseum maar ook voor het (mondiale) publiek. Dat publiek heeft een heel brede interesse: kunstwerken van Rembrandt, objecten uit de Gouden Eeuw, prenten van de Heilige Anna enzovoorts, maar ook prenten waar bepaalde flora of fauna op staan.

Hoewel het Rijksmuseum steeds meer tijd steekt aan het inhoudelijk ontsluiten van zijn collecties, heeft het eenvoudig weg niet alle benodigde kennis in huis om alle prenten te annoteren. Kennis over bijvoorbeeld bloemen, vogels en bomen, met andere woorden: kennis over datgene wat er op de prent staat, dat is niet altijd in huis. In samenwerking met onderzoekers van de TUDelft, VU en CWI is het Rijksmuseum op zoek naar innovatieve manieren om bepaalde aspecten van de collectie te verrijken.

SEALINCMedia project

Binnen het COMMIT/ programma SEALINCMedia wordt gewerkt aan de ontwikkeling van een platform, genaamd Accurator, waarmee het Rijksmuseum ondersteund wordt in het annoteren van haar collectie. In de toekomst kan dit ook door andere musea gebruikt worden. Accurator wordt tevens gebruikt voor onderzoek naar aspecten van nichesourcing. Hieronder een video waarin wordt uitgelegd wat nichesourcing precies is.

Drie niveaus van kennis

In principe zijn er drie niveaus van kennis te onderscheiden, van algemeen tot heel gespecialiseerd. De onderste laag van de piramide is de kennis van de crowd. Deze kennis bevat meer begrippen, eigenlijk alles wat we als leek kunnen zien. Als je de afbeelding van de boontjesdoppende vrouw hierboven bekijkt zijn het de elementaire zaken zoals vrouw, zittend, boontjes etc. Trouwens, ik noem dit nu wel elementaire kennis, maar hoeveel jongeren zien dat de vrouw boontjes aan het doppen is? Die zitten toch normaal in een glazen pot?

Het niveau daarboven is de community. Hier ligt al wat meer kennis, de community kan bijvoorbeeld de kool op de afbeelding herkennen. Het hoogste niveau is de ‘niche’. Op dit niveau kan de expert mogelijk zelfs de witte kool (Brassica oleracea L.(convar. capitata) var. alba) herkennen. Een superexpert heeft misschien zelfs kennis van de specifieke koolsoort die in die tijd geteeld werd.

Vijf elementen die van belang zijn voor nichesourcing

Voor het inzetten van nichesourcing zijn in principe vijf belangrijke elementen waar je voor moet zorgen:

1. Knowledge creation. Hoe vind je de juiste mensen die hoge kwaliteit annotaties kunnen creëren?
2. Personalisation. Hoe personaliseer je het aanbod van prenten die moet worden geannoteerd?
3. Trust. Hoe goed is de kwaliteit van de annotaties?
4. User behavior. Hoe meet en stuur je het gedrag van mensen voor hoge kwaliteit annotaties?
5. Gamification. Hoe kun je mensen stimuleren om meer annotaties toe te voegen?

Al deze elementen zorgen er samen voor dat nichesourcing werkt. Ten eerste moeten de juiste mensen gevonden worden die de benodigde kennis hebben en vervolgens moeten deze mensen worden geassembleerd in een niche. De niche voert de annotatietaken uit en creëert op deze manier relevante kennis.

Verder is personalisatie, waarbij onder andere gekeken wordt wie welke prenten moet annoteren, erg belangrijk. Een vogelkenner weet misschien niets van bloemen en kan en wil deze niet annoteren. Door middel van onderzoek naar user behavior wordt gekeken hoe het beste uit de mensen gehaald kan worden. Ook worden de mensen ondersteund met geselecteerde taxonomieën, wat weer invloed heeft op de kwaliteit van de annotaties.

Crowd workers beoordelen annotaties

De kwaliteit van annotaties is voor een partij als het Rijksmusem erg belangrijk. Een expert die vogels indeelt in sijsjes of drijfsijsjes, voegt niet zo veel toe. Net zoals het geval is bij Wikipedia kan de groep, in dit geval crowd workers die hebben bewezen goede annotaties aan te leveren, de toegevoegde annotaties beoordelen. Op deze manier ontstaat een kerngroep van bewezen ‘experts’ die kwalitatief goede annotaties toevoegen.

Verder is het natuurlijk één ding om de juiste mensen te vinden die de juiste kennis hebben, maar hoe krijg je ze vervolgens zo ver dat ze vrijwillig en onbezoldigd bijdragen? Door middel van gamification wordt gekeken hoe het enthousiasme langer vast gehouden kan worden en hoe de taak toegankelijker gemaakt kan worden voor meer mensen met minder expertise.

Resultaten van het onderzoek: hoe werkt nichesourcing?

Onderdeel van het COMMIT/ SEALINCMedia project is natuurlijk onderzoeken hoe nichesourcing het beste toegepast kan worden. Op basis van het Accurator-platform is met een aantal groepen crowd workers (mensen die tegen betaling een taak uitvoeren via een crowdsourcingplatform zoals Amazon Mechanical Turk, Point Dollars en Viviatic) en een aantal experts een test gedaan om te zien of er verschil is tussen experts en crowd workers in de kwaliteit van de annotaties bij prenten.

Op iedere prent stonden een of meerdere bloemen die prominent of niet-prominent aanwezig waren. Omstandigheden die het annoteren in sommige gevallen moeilijker maken, zijn de afwezigheid van kleuren en abstracte of fantasiestijlen. Wat blijkt is dat bij afbeeldingen met een bloem die prominent op de afbeelding staan er eigenlijk een vergelijkbare performance is tussen experts en crowd workers (betaald) met nichekennis.

Bij moeilijkere prenten ontstond wel een verschil, de crowd workers waren in dat geval minder in staat om de juiste tags toe te voegen. Wat wel opvalt is dat de crowd workers, omdat ze betaald worden, vaker ‘maar iets invulden’, de experts deden dat niet (als je het niet zeker weet, dan vul je het niet in). De strategieën voor nichesourcing spelen dus in op deze effecten.

Crowd workers vs. experts

Op basis van dit experiment bij het Rijksmuseum blijkt dat, met behulp van bepaalde strategieën, crowd workers voor simpele annotaties van objecten een vergelijkbare kwaliteit leveren als experts. Bij meer complexe annotaties moeten meer gespecialiseerde strategieën worden gekozen binnen de nichesourcingaanpak. De onderzoekers zijn optimistisch dat ook binnen andere kennisdomeinen (bijvoorbeeld vogels, molens of kastelen) een soortgelijk mechanisme kan worden toegepast.

Hier vind je meer informatie over het SEALINCMedia project. Wetenschappelijke artikelen van het onderzoek zijn hier te downloaden.

Dit artikel is tot stand gekomen op basis van interviews met Jasper Oosterman (promovendus TU Delft), Alessandro Bozzon (Assistent professor TU Delft en werktafelleider SEALINCMedia project) en Lizzy Jongma (Rijksmuseum Amsterdam).