ChatGPT vs experts: wat is de invloed van AI op het werk van een media-analist?

Het is vrij eenvoudig om te bedenken dat een media-analist baat kan hebben bij de inzet van AI. Maar hoe eenvoudig is het om dit voordeel nu al in praktijk te brengen? Ik deel mijn ervaringen als manager van een team Omgevingskennis bij de Rijksoverheid met je. Die ervaringen heb ik voorgelegd aan ChatGPT én aan menselijke experts. Tipje van de sluier: wij wachten nog op een aantal gamechangers om generatieve AI voor media-analyses te kunnen gebruiken.

Maatschappelijke ophef snel en goed doorgronden

Zet je als media-analist AI goed in, dan kun je bijvoorbeeld in korte tijd beslissers helpen helderheid te krijgen over de kern van een mediahype. Zo startte een jaar of 15 geleden een rijksvaccinatieprogramma tegen HPV – het virus dat kan leiden tot onder andere baarmoederhalskanker. Enorme maatschappelijke ophef hielp dit vaccinatieprogramma om zeep. In een interview hierover in mei 2023 vertelt de voormalige directeur van het RIVM, Roul Coutinho:

‘We hebben de situatie compleet onderschat’, vertelt Coutinho. ‘Veel verzet kwam via internet. Ouders van meisjes zagen online allemaal verhalen dat de vaccinatie heel gevaarlijk zou zijn en geloofden dit. Binnen het RIVM hadden wij hier nog helemaal geen ervaring mee. Er was wel een communicatieafdeling, maar die was niet opgewassen tegen de hoeveelheid negatieve berichten én de snelheid waarmee deze berichten werden verspreid. Er was ook geen ervaring met sociale media. Omdat er verwarring ontstond, gingen ouders zelf informatie zoeken op het internet. Zij stuitten daar op de meest vreselijke verhalen.’

Media-analisten

Mensen die zich bij de Rijksoverheid bezighouden met het analyseren van nieuwsberichten zijn media-analisten. Een media-analist levert waardevolle inzichten op over relevante trends, gebeurtenissen en ontwikkelingen aan bijvoorbeeld projectteams, ministers en directeuren. Deze inzichten scharen we onder de noemer omgevingskennis.

Het doel van omgevingskennis is om beslissers verifieerbaar inzicht te geven in wat er leeft in de samenleving en waar je actie op kan ondernemen (‘actionable intelligence’). En je hoopt natuurlijk dat deze beslissers met dit inzicht goede besluiten nemen over vraagstukken waar we als samenleving oplossingen voor nodig hebben.

De analisten in mijn team maken hiervoor nu nog weinig gebruik van AI. Zou AI ze nu al hierbij kunnen helpen? Die vraag stelde ik om te beginnen aan Annette Klarenbeek, lector Communicatie in Digitale Transitie van Hogeschool Utrecht.

Kunstmatige intelligentie als hulpmiddel

Klarenbeek ontwikkelt de Bird’s Eye Perspective-tool, om online taalpatronen te analyseren en organisaties te helpen vorm te geven aan deze online interacties. Is AI hier nu al toe in staat? “Wat we maken is nog niet openbaar beschikbaar, maar dat gaat wel gebeuren. Als analist kan je namelijk best wat hulp gebruiken om door de bak aan data heen te komen van een media-analyse. Verder helpt het als je het taalgebruik om issuevorming gestructureerd kan duiden; wat zien we gebeuren in deze uiting?

Dat hebben we inmiddels al ontwikkeld en werkt in besloten omgeving erg goed. We werken nog aan de mogelijkheid om het algoritme te vragen met een suggestie voor actie te komen. Hiervoor ontwikkelen wij een aantal algoritmes die uiteindelijk als AI kunnen fungeren. Dit doen we door met analisten uit het hele werkveld onder andere berichten te coderen. Nee, in onze ervaring kan ChatGPT – ook niet de betaalde versie – niet de geavanceerde analyses maken die wij met ons algoritme maken.”

Aan de bak op basis van jouw analyse

Wat elke analist overigens weet, is dat je inzicht nog zo goed en overtuigend kan zijn, maar als degene die jij adviseert niet met jouw inzicht aan de bak kan of wil, sta je aan de zijlijn. Wat is een gouden tip voor elke analist die wil dat zijn inzichten in de praktijk gebruikt worden? Die vraag stelde ik aan Aart Paardekooper.

“Wat enorm helpt is om je inzicht niet als een eigenstandig inzicht te neer te zetten, maar te koppelen aan de doelen en waarden van de organisatie. Gebruik ook het contrast als vertelvorm: ‘We willen met z’n allen dit, maar in het omgevingsbeeld zien we juist dat’.”

Gooi je tekst weg! – Jeanine Mies

Focus op de kern van je analyse

Een belangrijk onderdeel van een bruikbare analyse is de manier waarop je rapporteert. Aan Jeanine Mies, specialist op het gebied van het schrijven van pakkende teksten, vroeg ik wat een analist morgen al kan doen om een bruikbare analyse te maken.

“Gooi je tekst weg! Dat advies zag je misschien niet aankomen. Ik bedoel ermee: je hebt voor je analyse vaak al berichtgeving op een rij gezet, voor- en tegenstanders geciteerd, geluiden samengevat. Dat is allemaal nodig om je de materie eigen te maken, om het nieuws echt te verwerken. Beeld je vervolgens in dat je je analyse kwijt bent geraakt. Wat zou je nu uit je hoofd opschrijven over wat je hebt gevonden? Dat zet je op het spoor van de kern. Wat viel je echt op? Wat er in je hoofd gebeurt, doet AI je nog niet na.”

Van juiste feiten naar juiste inzichten

Maar voordat we daarover kunnen nadenken, hebben we een andere hobbel te nemen. Hoe ga je voorkomen dat je als media-analist onjuiste inzichten verstrekt? Het is belangrijk om je te realiseren dat er een onderstroom is die zich niet meer manifesteert in de reguliere media. Tim de Winkel heeft hier onderzoek naar gedaan.

“Op sociale media, zijn vele kanalen – echokamers noem ik ze – en onderstromen die zich afzetten tegenover de ‘mainstream’ media. Dat maakt sociale media soms sneller, rijker, en diverser, maar soms ook onoverzichtelijk, onwaarachtig, manipulatief en gevaarlijk. Ik heb onderzoek gedaan naar zulke ‘fringe’ platformen, die zichzelf presenteren als antagonisten van mainstream sociale media.”

Fringe platformen

De Winkel vervolgt: “Fringe platformen zijn services die zijn opgericht als expliciete kritiek op Big-tech platformen zoals Facebook en LinkedIn. Die kritiek kan zich richten op de moderatie van mainstream platformen, maar ook op hun verdienmodel of de indeling van het eigenaarschap. Fringe platformen zijn expliciet ideologisch van aard en dwingen daarmee mainstream platformen ideologisch kleur te bekennen.

Als analist is het van belang je te realiseren dat je door een specifieke lens kijkt als je analyseert wat er op Facebook of X gebeurt. Je kijkt door een sleutelgat. Maar naar wiens ruimte kijk ik eigenlijk? En wat zie ik niet?”

Wat je als analist moet gaan doen is vandaag nog beginnen met AI samen te werken. – Aragorn Meulendijks

Mens vs machine

Wat kan de menselijke media-analist eigenlijk beter dan de Gen AI’s van deze wereld? Die vraag heb ik aan de gratis versie van ChatGPT gesteld: op welke gebieden hebben menselijke media-analisten nog een voorsprong op AI? Dit zijn 7 menselijke capaciteiten die nog niet te realiseren zijn met ChatGPT:

“Hoewel AI aanzienlijke waarde toevoegt aan media-analyse door het automatiseren van repetitieve taken en het verwerken van grote hoeveelheden gegevens, is de menselijke factor nog steeds cruciaal voor diep begrip, oordeelsvermogen en creativiteit in de analyse van media en informatie. In veel gevallen zal de meest effectieve aanpak een samenspel zijn tussen menselijke en AI-aangedreven analyses.” – aldus ChatGPT

Meer specifiek:
1. **Contextueel Begrip:** Menselijke media-analisten kunnen nuances en context in teksten begrijpen die voor AI-systemen moeilijk te vatten zijn. Ze kunnen dubbelzinnigheden, humor, sarcasme en culturele verwijzingen herkennen en interpreteren.

2. **Creativiteit en Subjectiviteit:** Media-analyse kan ook subjectieve elementen bevatten, zoals het begrijpen van de impact van creatieve content, kunst en literatuur. Menselijke analisten kunnen deze aspecten beter waarderen en evalueren.

3. **Diepgaande Analyse:** Bij complexe kwesties en diepgaande analyse is menselijke expertise vaak nodig. Menselijke analisten kunnen dieper graven en bredere perspectieven bieden op maatschappelijke en politieke vraagstukken.

4. **Interviews en Menselijke Interactie:** Bij bepaalde soorten onderzoek, zoals die waarbij interviews met mensen nodig zijn, is menselijke betrokkenheid essentieel. Menselijke analisten kunnen empathie tonen, relevante vragen stellen en diepgaande gesprekken voeren.

5. **Oordeelsvermogen en Ethiek:** Het nemen van ethische beslissingen en het uitoefenen van oordeelsvermogen in complexe situaties is iets waar menselijke analisten sterk in zijn. Ze kunnen morele en ethische overwegingen maken die niet gemakkelijk te programmeren zijn in AI-systemen.

6. **Nieuwe Perspectieven:** Menselijke analisten kunnen out-of-the-box denken en nieuwe perspectieven bieden op problemen en situaties. Ze kunnen onverwachte verbanden leggen tussen gegevens en inzichten genereren die AI-systemen niet zouden genereren.

7. **Culturele Gevoeligheid:** Bij internationale of cultureel gevoelige analyses is menselijke expertise in culturele normen en gedragingen van onschatbare waarde. Dit voorkomt mogelijke culturele misverstanden en onjuiste interpretaties.

Analisten voorbereiden op wat er komt

Hoe kijkt ‘MrMetaverse’ Aragorn Meulendijks aan tegen deze visie van ChatGPT?

“Om te beginnen vind ik dat je niet de gratis versie van ChatGPT kan gebruiken, zeker niet als je met deze materie bezig bent. ChatGPT-3.5 is alsof je in een Fiat rijdt als je ook in een Formule 1-wagen kan rijden. Alsof je een vlieger oplaat, in plaats van met een Falcon-9 de ruimte in te vliegen.

Bovendien, als je vervolgens het gesprek aangaat met ChatGPTPplus en de verdieping opzoekt wordt het nog veel beter, en dat kan eigenlijk niet met ChatGPT Gratis. Verder vind ik de vraag niet goed. Moet het streven niet zijn om verder te gaan dan aan te sluiten op wat analisten al doen en dus analisten en onderzoekers te helpen de stap te maken naar wat ze zouden moeten doen? Is onze missie niet om ze de ogen te openen, te laten innoveren, zodat ze voorbereid zijn op wat komt?”

Analisten zijn eigenlijk de oren en ogen van AI. – Aragorn Meulendijks

Wat kan de menselijke media-analist eigenlijk beter dan de Gen AI’s van deze wereld? “Oké. Ze kunnen mensen aankijken, ijsjes eten en met het verkeerde been uit bed stappen. Maar dat is het. Zelfs als het gaat om creativiteit is de balans al aan het omslaan. GenAI is creatief, maar nog niet altijd in staat om de juiste creativiteit op het juiste moment toe te passen. Dat is een race tegen de klok, voor alle techbedrijven ter wereld.”

Begin vandaag nog met AI samen te werken

“Binnen twaalf maanden wordt de illusie dat mensen op cognitief niveau dingen beter kunnen dan AI kapot geslagen. Wat je als analist moet gaan doen, is vandaag nog beginnen met AI samen te werken. AI heeft vingers nodig, ogen en context. Op dit punt zijn analisten eigenlijk al verworden tot de oren en ogen van AI. Prompt engineering is nog 10 maanden een ‘woord’ maar daarna is dat ook irrelevant, omdat de AI zo goed is in analyse en verfijning dat een mens af kan met een simpele openingsvraag voor richting.”

Duidelijke boodschap. Wil je bijblijven, dan moet je als analist zo snel mogelijk aan de slag met AI – de betaalde versie. Waar ik als ambtenaar daarbij tegen aanloop in de praktijk, heeft te maken met het aanpassen van onze werkwijze. In die zoektocht zie ik nu nog een gebrekkige keten van artificial intelligence versus human intelligence. Of, zoals Aragorn zegt, hoe de analist soepel kan samenwerken met AI.

Dilemma’s bij AI als hulp bij het duiden van nieuws in de praktijk

In mijn team werken we bijvoorbeeld aan een real-time news dashboard-pilot op het Azure-platform waarbij we gebruik maken van geanalyseerde LexisNexis-data met als doel – op een scherp afgebakend onderwerp – near real-time relevante nieuwsberichten te herkennen.

Pilot met AI en nieuws

Waar deze pilot dus op neerkomt, is dat we een model aan het ontwikkelen zijn dat om te beginnen vrijwel direct signaleert dat er een nieuw relevant bericht is over het onderwerp dat we volgen, wie daarin iets zegt, wat dat zegt en op welk medium het te vinden is, inclusief het originele bericht. Bovendien kan je een push-bericht ontvangen als je daarom gevraagd hebt.

Wat we nog niet doen, is het toevoegen van duiding. Wat ik daarmee bedoel is dat we ons nog niet willen wagen aan het kleuren van het nieuws. Is kritiek van een journalist per definitie negatief? Dat lijkt misschien logisch. Maar betekent dat dan dat steun van een journalist altijd positief is? Nee.

Dus hoe gaan we het model hierop trainen, als je überhaupt al wil duiden op basis van positief en negatief? Een koppeling met de oplossingen van de HU zou interessant kunnen zijn, maar dat is niet zo 1-2-3 geregeld.

Basiskeuzes om te kunnen samenwerken met AI

Stel dat over tien maanden AI zo krachtig is als Meulendijks zegt, dan is al helemaal eerst een aantal basiskeuzes nodig, voordat we er bij een overheidsorganisatie mee aan de slag kunnen.

• Hoe gaan we om met het algoritme dat nieuwsberichten verwerkt?
• Wat doen we met het toezicht hierop in en de bescherming van de integriteit van modellen?
• Bovendien – wat leg je vast van een persoon in een nieuwsbericht en hoe doe je dat auteursrechtelijk op de juiste manier?

Al deze vragen en meer zijn bepalend voor hoe we uiteindelijk kunnen nadenken over de inhoudelijke stappen van het duiden van nieuws als overheidsorganisatie. En dat brengt me terug bij de kern van waar we in de dagelijkse praktijk tegenaan lopen. De keten om als analist te kunnen samenwerken met AI is nog niet op orde.

We zijn nog niet ingericht op AI

De huidige processen voor omgaan met alles dat met 0-en 1-tjes te maken heeft, is gebaseerd op een andere werkelijkheid dan de wereld van AI. Wat we hier in de praktijk van merken, is dat bijvoorbeeld uiteenlopende toetsprocedures niet ingericht zijn voor AI en alles wat daarmee samenhangt, zoals AVG-eisen, werken in de publieke cloud, betaalmodellen en het kunnen sturen daarop.

Lastige hobbels in de praktijk

Ter illustratie een paar voorbeelden. Wil je als analist aan de slag op het Azure-platform, dan betaal je naar gebruik. Dat klinkt als een goede deal. Maar als ik iets wil laten inkopen, dan moet ik vooraf een inschatting maken van de kosten. Dat is nu nog niet eenvoudig te doen. En wil je als analist gebruikmaken van de betaalde ChatGPT, ChatGPT 4, dan krijg ik te maken met gebruikersvoorwaarden waar we ons als overheid nog niet aan kunnen committeren.

Dit zijn zomaar twee kleine stapjes uit een groter proces, dat we nu nog niet eens volledig overzien. Laat staan al hebben gereguleerd. In de praktijk lopen wij met onze pilot als voorloper vaak aan tegen schotten die nog weggebroken moeten worden. Dat kost energie, tijd en geduld. In een team waarin het werkritme bepaald wordt door de actualiteit en de politiek, moet ik als manager heel goed nadenken over welke AI-vragen ik in mijn team neerleg om te verkennen.

Binnen de Rijksoverheid is onlangs een visie gepresenteerd over werken met generatieve AI. Dat deze visie er is, is erg waardevol, want hiermee kun je analist uiteindelijk keuzes gaan maken hoe je kan gaan samenwerken met GenAI.

Gamechangers

Voor generatieve AI voor media-analyses is het wachten op een paar gamechangers. Een gamechanger kan zijn het reguleren van het gebruik van generatieve AI door overheden en dit vertalen naar eisen voor leveranciers, of het eigen taalmodel dat in Nederland ontwikkeld wordt.

Een andere gamechanger zou kunnen zijn dat ín nieuwsmonitoringsoplossingen generatieve AI ingebouwd wordt met, naast aanpasbare zoekvragen, per afnemer aanpasbare large language modellen voor het samenvatten van nieuws, of dat nu van RTV is, podcasts, social of kranten.

Human intelligence vs artificial intelligence

Tot slot: het interdepartementale traject onder leiding van het ministerie van Binnenlandse Zaken kan de doorslaggevende gamechanger zijn die we als ambtenaren nodig hebben om als analisten te gaan werken als ogen en oren voor AI. En wie weet wat daar de doorwerking van is voor vakgenoten.

Want als je human intelligence kan verbinden met artificial intelligence, met voldoende waarborgen voor de integriteit van onze democratische waarden, wie weet heeft dan over een jaar of 5 elk media-analistenteam zijn eigen AI. En wil je als analist tegen die tijd kunnen meedoen? Dan moet je volgens mij nu al beginnen met samenwerken met AI, door in pilots te verkennen hoe jij en AI de beste maatjes worden.