Het kraken van de zwarte doos
— 29 januari 2020Volgens de Engelstalige website KNECT365 is machine learning (ML) een van de tien belangrijkste aandachtspunten in de wereldwijde risk management-praktijk. In 2019 kreeg ML meer aandacht dan ooit. Elke week kom ik nieuwe praktijkvoorbeelden tegen, op allerlei verschillende terreinen. De vraag is waar kunstmatige intelligentie en machine learning het meeste voordeel kunnen opleveren.
We hebben machine learning nodig omdat er tegenwoordig een aantal zeer goede frameworks bestaan die banken kunnen helpen bij het maken van regulatory modellen. Ook is er tegenwoordig erg veel informatie op het internet en/of van externe bronnen beschikbaar. ML is een zeer nuttig hulpmiddel om dit beter te benutten. Met de verkregen informatie kunnen banken de performance van de modellen verbeteren en daardoor betere inzichten krijgen. We kunnen dergelijke modellen tegenwoordig ook gemakkelijker in IT-systemen implementeren. Maar er blijven uitdagingen.
ML versus regelgeving
De grootste uitdaging is om het proces dat we volgen te kunnen monitoren met behulp van ML. Dit komt doordat ML soms wordt gezien als een ‘zwarte doos’: onmogelijk om in te zien. Met het oog op regelgeving is het juist erg belangrijk om inzicht te hebben in het proces dat we bij ML gebruiken. Het is belangrijk dat de auditor het proces van de modelontwikkeling kan onderzoeken, om er zeker van te zijn dat het aan de juiste eisen voldoet. De uitdaging is om deze mogelijkheid te verbeteren bij gebruik van ML. Omdat machine learning niet onmiddellijk transparant is en realtime werkt, is het erg moeilijk om te proberen het proces dat we in ML volgen te reconstrueren.
Voor financiële instellingen is machine learning zeer nuttig om risico’s mee te monitoren. Maar de geschiktheid varieert per toepassingen. Zo is ML (nog) niet de gewenste benadering voor het maken van modellen waarmee kapitaaleisen worden becijferd. Dit doordat toezichthouders niet blij worden van financiële instellingen die ‘ondoorzichtige’ en moeilijk te volgen ML gebruiken.
Early warning-systemen
Een andere toepassing van ML is bij early warning-sytemen. Via deze systemen hebben organisaties een instrument om de aanwezigheid en impact van non-performing loans (NPL) te verminderen. Portefeuilles kunnen zo beter worden beheerd. Voor deze systemen is ML een zeer geschikt instrument. Dit vooral omdat we tegenwoordig gegevens van het internet kunnen verzamelen en die met ML kunnen inbedden in early warning-systemen.
Transparantie voor auditors
Vroeger keken we naar historische informatie om de toekomst te voorspellen. Nu willen we conclusies aan deze historisch informatie verbinden. Ja, we willen leren van het verleden om in te schatten wat de toekomst ons brengt – maar met ML willen we het geleerde ook toepassen op de meest actuele informatie die beschikbaar is. Zo proberen we het traditionele framework te verbeteren: we voorspellen niet alleen op basis van het verleden, maar proberen ook ons begrip van de patronen te gebruiken om actuele informatie te interpreteren. Dit is in realtime – het is een framewok voor algoritmes – en daardoor kunnen we heel tijdig herkennen wie er in de toekomst geen goede klant zal zijn.
Bij Experian werken we aan het kraken van ‘de zwarte doos’. Met name om beter inzicht te krijgen in bepaalde aspecten binnen ML. Eén daarvan is om te proberen het ontwikkelingsproces beter te kunnen verklaren. We willen elke stap in de bouw van het model volgen. Daarnaast willen we de mogelijkheden tot monitoring verbeteren: daarvoor hebben we een framework gebouwd. En, last but not least, ontwikkelen we een rapport dat de supervisor/auditor in staat stelt om het proces te zien dat we volgen voor de ontwikkeling van het ML-model. Tegelijkertijd kijken we hoe we ML in het oude proces kunnen inbedden. We kunnen ML toepassen op slechts één variabele in het ontwikkelingsproces; of we kunnen ML end-to-end gebruiken. In het laatste geval nemen we bij elke stap, van data-manipulatie tot implementatie, de indicatoren, het statistische kader en dergelijke door, om zo tot een goed model te komen.
Risicobeheer: interne modellen vergelijken met ML
Wat vandaag de dag ook erg nuttig is, is om interne modellen te vergelijken met modellen die ontwikkeld zijn met ML. Op die manier kunnen we de zwakke plekken in de op traditionele wijze gebouwde modellen blootleggen. Zo kunnen we de gebieden identificeren die voor verbetering vatbaar zijn. Dit is een van de beste dingen die we op dit moment met ML kunnen doen.
Risk management is niet alleen gericht op het volgen van regelgeving, maar is ook het middel om het risicoprofiel van de bank beter te beheren. Dit door verliezen te beperken en de winstgevendheid te verhogen. Iedereen wil met ML kunnen omgaan, omdat het de nieuwste, populairste techniek is. In het verleden gebeurde hetzelfde met andere technische innovaties. Nu willen ze de zwarte doos openbreken, weten wat er in de zwarte doos zit en het proces achterhalen dat wordt gevolgd om de toezichthouders tevreden te stellen.
Het is heel belangrijk dat financiële instellingen gaan nadenken over het soort platform waarop ze de volgende generatie ML-modellen willen implementeren. Dit is een cruciale stap voorwaarts in de pogingen om tot een standaardplatform te komen voor risico-/regulatory-modellen.