Wat is explainable AI & wat moet je erover weten?

Bedrijven en overheden staan niet altijd stil bij de mogelijke gevaren van kunstmatige intelligentie. Daarom pleiten sommigen voor ‘explainable AI’. Waarom moet jij daar óók iets van weten?

Laten we er niet omheen draaien: de toepassingen van artificial intelligence lijken eindeloos. Zo herkennen algoritmen kankercellen op medische beelden, beantwoorden chatbots klanten die zoeken naar informatie en waakt een digitale rechercheur over onze eigendommen. En onlangs bleek kunstmatige intelligentie zelfs een schilderij van vier ton te kunnen maken.

Deep learning

Alle genoemde voorbeelden zijn te danken aan kunstmatige intelligentie, en specifiek deep learning. Het verschil zit hem in de abstractielaag van de technieken. Kunstmatige intelligentie bestond tientallen jaren geleden al. Toen werkten onderzoekers aan robots die zich door middel van geprogrammeerde regels door een ruimte wisten te manoeuvreren.

Machine learning en deep learning daarentegen zijn subsets van kunstmatige intelligentie, zo legt Google AI-expert Cassie Kozyrkov in een blogpost uit. Ze heeft hiervan een interessant plaatje gemaakt, waarop de verdeling goed te zien is.

Neuraal netwerk

De populairste vorm van deep learning is tegenwoordig het neurale netwerk. Dat is een netwerk van neuronen, die erom bekendstaan dat ze signalen kunnen verwerken en doorgeven. In het menselijk lichaam komen neurale netwerken voor in de hersenen.

Neuronen, in de biologie ook wel zenuwcellen genoemd, communiceren met elkaar door middel van elektrische signaaltjes. Deze signaaltjes ontstaan doordat chemische stofjes in de hersenen vrijkomen, en van de ene naar de andere zenuwcel gaan.

Niet hetzelfde

Zenuwcellen zijn niet allemaal hetzelfde. Bij sommige cellen zijn de elektrische signaaltjes krachtiger dan bij andere. Dit heeft te maken met de samenstelling van de neuronen. Doordat sommige signaaltjes krachtiger zijn dan andere, zijn sommige zenuwcellen belangrijker voor de ‘boodschap’ die bijvoorbeeld de hersenen afgeven.

De mate van belangrijkheid van een signaal kan in onze hersenen bepalen of iemand een besluit neemt of iets herkent. Stel je voor dat je op de bank ligt en luistert naar de radio. Op dat moment komt de klassieker Take on Me van A-ha voorbij. Er komen chemische stofjes in je hersenen vrij. Doordat cellen die informatie bevatten over het nummer krachtiger zijn dan andere cellen, hebben ze meer invloed. In de wetenschap zeggen ze dan dat die cellen meer ‘gewicht’ hebben. Het resultaat? Je herkent het nummer en zingt uit volle borst mee.

Trigger

Een neuron lijkt dus vrij eenvoudig. De werkelijke kracht van neuronen ontstaat op het moment dat ze samenwerken. Dit idee, dat kleine onderdeeltjes met elkaar kunnen samenwerken om iets complex te doen, hebben wetenschappers overgenomen voor kunstmatige intelligentie. Ook dit noemen zij een neuraal netwerk.

Net als de hersenen heeft een softwarematig neuraal netwerk een trigger nodig, zoals het nummer van A-ha. Deze trigger is het startpunt van een neuraal netwerk. Een neuraal netwerk kan letten op verschillende onderdelen van een liedje, zoals de frequentie. In de wetenschap heet dit een ‘input’.

Gewicht per neuron

De input zorgt ervoor dat neuronen met elkaar gaan praten. Net zoals in het menselijk lichaam, zijn sommige zenuwcellen van een neuraal netwerk krachtiger dan andere. Hierdoor ontstaat er opnieuw een gewicht. Dit gewicht zorgt uiteindelijk voor een uitkomst, wat ook wel de ‘output’ heet. Voordat er een output is, moeten eerst allerlei neuronen met elkaar praten. Hun gewicht – hun invloed dus – bepaalt uiteindelijk het resultaat.

In de praktijk

Hoe werkt dit in het praktijk? Tegenwoordig zijn grote techbedrijven zoals Amazon en Google bezig met slimme assistenten voor in huis, respectievelijk Amazon Alexa en Google Home. Dat zijn apparaten waar iemand door middel van spraak bijvoorbeeld aan kan vragen wat het weer wordt voor morgen.

Bij het horen van de spraakopdracht, gebruikt de software van Amazon en Google één of meerdere neurale netwerken om te bepalen wat er moet gebeuren. De input van deze neurale netwerken bestaat vermoedelijk uit onder andere de frequentie van de spraakopdracht en de sterkte van de opdracht. Door hier rekening mee te houden, kan het neurale netwerk onderscheid maken tussen ‘weer’ in de context van een weerbericht en ‘weer’ in een andere context, zoals ‘Staat er morgen wéér een vergadering gepland?’

De frequentie en de sterkte vormen de input van het neurale netwerk. De onzichtbare laag gaat vervolgens aan de slag met de inhoud ervan. Zo zal er een neuron zijn die zich specifiek bezighoudt met het woord ‘weer’ in combinatie met de frequentie en de sterkte. Als hij het woord hoort bij een specifieke frequentie, die op basis van oudere data vaak bleek voor te komen bij het weerbericht, zal hij waarschijnlijk een hoger gewicht geven op de vraag of de persoon die de spraakopdracht gaf, op zoek is naar een antwoord op de vraag of morgen de zon gaat schijnen.

Vragen

Weten we wat het gewicht zal zijn dat een neuron geeft? Helaas niet. Wetenschappers kunnen dat namelijk niet controleren. De software kan achteraf namelijk niet verklaren hoe hij bij een bepaalde uitkomst komt. De onderzoekers weten alleen dat het neuraal netwerk werkt, door te kijken naar de uitkomst. Door dit af te zetten tegen een bepaalde verwachting, denken ze te weten dat een neuraal netwerk doet wat het zou moeten doen.

De output bepaalt dus of een neuraal netwerk goed werkt. Hoe hoger de output is, dus hoe hoger het gewicht, hoe beter het neurale netwerk lijkt te presteren. Dit is dus goed om in het achterhoofd te houden. Tot dusver is in de meeste gevallen de output dus het enige wat er kan worden gebruikt om te valideren of een neuraal netwerk functioneert. Het is dus moeilijk te peilen of er in de weg naar de output vreemde dingen door het neurale netwerk werden meegewogen.

Dit idee, dat er iets gebeurt wat niemand kan zien, staat ook bekend als de black box. Oftewel: het is een zwarte doos waarvan we weten dat het werkt, maar niet hoe. In de wetenschap heten deze onzichtbare lagen de hidden layers.

Explainable AI

Sommige wetenschappers waarschuwen voor deze hidden layers, zoals bij het Amerikaanse defensie-instituut DARPA. Bij dat instituut pleiten ze voor zogenoemde explainable ai, kortweg XAI. Dit betekent dat een neuraal netwerk zo werkt dat het altijd te verklaren is hoe kunstmatige intelligentie bij een bepaalde uitkomst komt. Dit kan bijvoorbeeld met een onderliggend wiskundig model, waar de AI zijn berekeningen op baseert. Dit heeft mogelijk gevolgen voor hoe sommige algoritmen nu werken, omdat de werking ervan verklaarbaar zou moeten zijn.

Er is een discussie gaande over het nut van explainable AI en de invulling daarvan. Sommigen zijn het niet eens met het idee dat de interne besluitvorming begrijpbaar moet zijn. “Beschrijven jouw vrienden waarom ze koffie bestelden in plaats van thee aan de hand van chemicaliën en synapsen? Natuurlijk niet”, schrijft Googles AI-expert Cassie Kozyrkov stellig. Volgens haar is het voldoende om te kijken naar de input en de output. Op die manier zou ook al duidelijk moeten zijn hoe een neuraal netwerk werkt.

Mensenwerk

Waarom is het belangrijk om te weten hoe een algoritme werkt, als het om de uitkomst draait? Nou, in het verleden is aangetoond dat kunstmatige intelligentie allesbehalve objectief is. NewScientist somde recent tenminste vijf praktijkgevallen op waarbij kunstmatige intelligentie niet helemaal netjes te werk ging. Recent bleek bovendien dat recruiters van webwinkelgigant Amazon een tool gebruikten voor het selecteren van sollicitanten, die een sterke voorkeur zou hebben voor mannelijke kandidaten.

Kunstmatige intelligentie is in de basis nog steeds mensenwerk. Doordat de meeste neurale netwerken vooraf moeten worden gevoed met inputdata, zijn ze gevoelig voor vooroordelen van de makers. Hetzelfde geldt bij de selectie van de classifier die het neurale netwerk gebruikt. Een classifier is een wiskundige formule die verantwoordelijk is voor het toekennen van de output op basis van de gewichten. Ten slotte bepaalt de mens hoe streng kunstmatige intelligentie is bij het classificeren of voorspellen van waarden.

En dus is Kozyrkov mogelijk wat te kort door de bocht. Ze heeft gelijk dat analyse zeer nuttig kan zijn voor het begrijpen van de werking van een neuraal netwerk. Toch zullen cijfers niet altijd genoeg zijn. In vergelijking met de vrienden die aangeven waarom ze koffie of thee bestellen, kunnen neurale netwerken dat níet. Machines kunnen namelijk geen context geven waarom ze bij een bepaald besluit zijn komen. En dit kan, zeker bij serieuzere voorbeelden zoals in de rechtspraak, absoluut van belang zijn. Explainable AI kan hier zeker bij helpen en moet dus niet worden onderschat.

Onderzoek

In Nederland pleit D66 voor onderzoek naar explainable AI. De partij wil ook een zogenoemde algoritme-waakhond, die erop toeziet dat algoritmes begrijpbaar zijn en blijven. Toch lijkt dit een eenzaam geluid in een tijd dat de markt volop bewondering uitspreekt voor kunstmatige intelligentie en de talloze mogelijkheden die deze techniek biedt.

Hoe kijk jij aan tegen explainable AI?