Twee maanden geleden publiceerde een groep onderzoekers van het Britse Imperial College een artikel over hun kunstmatige intelligente clinicus: een set algoritmen die de beste behandeling voor het voorkomen van bloedvergiftiging (sepsis) kan aanbevelen. De software analyseerde een dataset met bijna vijftig variabelen van tegen de honderdduizend ziekenhuisopnames, en kon daarna de optimale behandeling adviseren. Volgens de auteurs was de sterfte het laagst bij de groep waarvan de artsen hadden gehandeld alsof ze de adviezen van het AI-systeem hadden opgevolgd.

Dit soort wetenschappelijke artikelen over de steeds betere prestaties van zelflerende systemen hebben in de afgelopen jaren een enorme opmars gemaakt. Maar het optimisme over de mogelijkheden van technieken als deep learning en neurale netwerken heeft ook nieuwe vragen opgeworpen. Die vragen hebben meestal betrekking over het onvermogen van de softwarematige “black boxes” om uit te leggen hoe ze tot hun conclusies komen.

De Britse auteurs van het eerder genoemde artikel markeren een trend waarbij de uitleg over de werking van AI net zo belangrijk is als het uiteindelijke resultaat van de voorspelling of voorgestelde behandeling. In de woorden van de auteurs: we probeerden inzicht te krijgen in de parameters die het meest belangrijk waren voor de optimale therapie. Ze wilden zeker weten dat de behandelsuggesties van hun AI systeem voor mensen te interpreteren zijn en uitgaan van klinische en biologische begrippen waarvan een dokter chocola kan maken.

Hoe werkt het algoritme?

“Uitlegbare kunstmatige intelligentie” is een begrip dat in de komende tijd steeds belangrijker zal worden, vooral in gebieden waar aanbevelingen van een AI-systeem een zaak van leven of dood kunnen zijn.  Onderzoekers van PricewaterhouseCoopers voelden dit al goed aan toen ze eind vorig jaar een rapport publiceerden met als intro: The $15 trillion question: Can you trust your AI?  En de Amerikaanse wiskundige Cathy O’Neil schreef een wereldwijde bestseller (Weapons of Math Destruction) over de gevaren van algoritmiek en big data. De noodzaak om inzicht te krijgen in de manier waarop AI-algoritmen classificeren, voorspellen en adviseren komt dus niet uit de lucht vallen, en dat inzicht breekt ook door bij medische toepassingen.

De ironie wil dat de wiskundige en statistische softwaretechnieken die in de afgelopen jaren het meest succesvol bleken om ziekten te voorspellen, als keerzijde hebben dat het vaak niet uit te leggen is hoe ze dat doen. Neurale netwerken evalueren een dataset op kenmerken en begrippen die weinig te maken hoeven te hebben met de begrippen die artsen of onderzoekers dagelijks gebruiken. Daarom is het moeilijk om te weten waarom je die die systemen eigenlijk zou kunnen vertrouwen.

Er zijn inmiddels veel bekende voorbeelden van algoritmen die heel goed zijn het herkennen van bepaalde afbeeldingen, maar die dat bij nader inzien op basis van irrelevante kenmerken doen. Een veelgebruikt voorbeeld is het neurale netwerk dat op het eerste gezicht feilloos afbeeldingen van poolhonden van afbeeldingen van wolven kan onderscheiden, maar bij nader inzicht alleen maar bekijkt of de achtergrond wit is. Daar kom je achter door inzichtelijk te maken welk deel van de afbeelding wordt gebruikt wordt gebruikt om de wolf van de poolhond te onderscheiden. Door zo’n grafisch hulpmiddel kun je zien dat het model helemaal niet naar kenmerken van het dier kijkt, maar naar de aanwezigheid van sneeuw. Het algoritme lijkt perfect te werken, maar is eenvoudig om te tuin leiden.

Wanneer je dit voorbeeld verplaatst naar de context van tumorherkenning in MRI-beelden of het detecteren van hartritmestoornissen op ECG’s, dan wordt direct duidelijk hoe belangrijk het is om te weten welke kenmerken (features) en variabelen bijdragen aan een bepaald resultaat. Pas dan weet je of het algoritme niet onbedoeld van een irrelevant gegeven in een dataset met leergegevens uitgaat. Stel je bijvoorbeeld voor dat in een bepaald ziekenhuis mensen met een hoge verdenking op uitgezaaide kanker als eerste op de dag worden opgeroepen voor een onderzoek, en dat het tijdstip van een scan (wellicht per ongeluk) ook bij de dataset hoort. In dat geval zou een algoritmen kunnen concluderen: hoe vroeger de scan, hoe groter de kans op uitzaaiingen. Dat verband is er inderdaad wel, maar het is klinisch niet relevant en leidt niet tot nieuwe inzichten of kennis.

XAI en LIME

Er zijn inmiddels steeds meer academische initiatieven ontstaan om uitlegbaarheid en transparantie op een fundamenteel niveau in te bouwen in kunstmatig intelligente algoritmen. Het Amerikaanse ministerie van Defensie werkt via zijn research-organisatie DARPA aan het XAI (Explainable AI) project. Dat heeft als doelstelling om AI systemen het vermogen te geven om uitleg te geven over hoe ze redeneren, wat de sterke en zwakke kanten van het een algoritme zijn en een idee te krijgen van hun toekomstige gedrag (met andere datasets bijvoorbeeld).

Onderzoekers van de Universiteit van Washington werken al sinds 2016 aan LIME (Local Interpretable Model-Agnostic Explanations). Dat is een methode om, los van de softwaretechnieken die een algoritme gebruikt, op een voor mensen toegankelijke manier inzicht te krijgen in de werking van kunstmatige intelligentie. Om een eenvoudig voorbeeld te noemen: wanneer een AI-systeem de diagnose griep suggereert, zal een arts meer vertrouwen hebben in het algoritme wanneer de software kan aangeven dat variabelen als koorts, hoofdpijn en spierpijn het zwaarst meewegen bij een bepaalde patiënt.

Transparantie van AI-technieken is niet alleen relevant voor de medische sector. De nieuwe Europese privacy-wetgeving AVG bevat wetsartikelen die stellen dat een burger die te maken heeft met “geautomatiseerde besluitvorming” recht heeft op een uitleg van de logica die zo’n systeem volgt. Wanneer een computersysteem een eenvoudige beslisboom voor een kredietaanvraag volgt, dan is die uitleg nog goed te geven (los van de vraag of een bank daaraan tegemoet wil komen).

Maar bij beslissingen die door neurale netwerken worden genomen is de uitleg van de gevolgde logica veel lastiger. Juristen verwachten dat deze artikelen van de AVG door de snelle opkomst van AI in de komende jaren steeds relevanter zullen worden.

Hoe kan ik die beslissing vertrouwen?

Voor de gemiddelde consument heeft de uitlegbaarheid van AI meerdere kanten. Neem die kredietaanvraag weer. Het zou kunnen zijn dat een algoritme direct of indirect gebaseerd is op kenmerken als ras of geslacht, terwijl die kenmerken niet zouden mogen meespelen voor een bepaalde uitkomst. Het is ook interessant om te weten hoe gevoelig een algoritme is voor een dominante variabele, zodat consumenten die van het algoritme afhankelijk zijn weten waar ze aan toe zijn.

Wanneer het om medische diagnoses en behandelvoorstellen gaat, leek het tot voor kort nog ondenkbaar dat patiënten te maken krijgen met de “geautomatiseerde besluitvorming” waar de AVG naar refereert. Maar de ontwikkelingen gaan snel, en AI-algoritmen zijn inmiddels gecertificeerd als medisch hulpmiddel.

De zelfrijdende auto is misschien wel een metafoor voor de manier waarop kunstmatige intelligentie en mensen voorlopig zullen samenwerken: de algoritmen worden steeds beter, maar vooralsnog durven wetgevers hun burgers niet blind te laten varen op de AI aan het stuur. Die meeste consumenten zelf trouwens evenmin. Ook voor medische AI-toepassingen geldt een enorme belofte, en op het eerste gezicht aansprekende onderzoeksresultaten. De uitdaging voor de komende jaren is om in die systemen zoveel transparantie en zelfkennis te bouwen, dat artsen aan hun patiënten kunnen uitleggen waarom ze die systemen vertrouwen.