Zakelijke financiële dienstverleners kunnen veelal de efficiëntie en resultaten van hun processen aanzienlijk verbeteren. Met een passende inzet van Data Science en AI-technieken bewijst IG&H dat AI ook in de toekomst van de zakelijke dienstverlening een cruciale rol zal spelen. Hiervoor gebruiken we een methode die het beste van twee werelden samenvoegt: wij laten AI-modellen leren van experts en experts leren van modellen.
Mismatch klassieke aanpakken
Vooruitstrevende zakelijke dienstverleners behalen winst door de (gedeeltelijke) automatisering van beslissingen die schaarse, specialistische capaciteit kosten. Denk daarbij onder andere aan acceptatie van verzekeringen en leningen, review van kredietrisico en verlenging van kredieten. Maar over het algemeen worstelt dit traditioneel relatie-gerichte domein met een achterstand in investering in technologie1, lagere beschikbaarheid van data, hogere complexiteit èn een dominante positie van menselijke experts.
Typisch zien business analisten en data scientists slechts twee manieren om een automatisch beslismodel te ontwikkelen; a) het opstellen van business rules door experts, of b) de toepassing van Machine Learning (AI) op historische data. Beide methodes ondervinden in het Zakelijk domein echter last van de eerdergenoemde worstelingen. Met name van de hogere product- en procescomplexiteit en de lagere volwassenheid van datamanagement.
Met business rules kunnen meer complexe patronen alleen gevangen worden door een exponentiele groei van het aantal regels. Bovendien kan het definiëren van de details per regel en het onderhouden van het geheel erg veel werk zijn.
Een AI-model op basis van historische data werkt niet altijd naar behoren wanneer de historische data relatief beperkt, of van slechte kwaliteit is. Daarnaast zijn deze type modellen traag in de aanpassing aan nieuwe omstandigheden of nieuw beleid, doordat ze alleen kunnen bijleren van historische resultaten.
Alternatieve aanpak is mogelijk
Een methode die deze nadelen niet heeft en die wij in de praktijk succesvol toepassen is Expert-based Learning. We ontwikkelen daarbij een beslismodel door een AI-algoritme te trainen op basis van input van experts. In deze methode labelen experts de gewenste uitkomst van zogenaamde training cases, waarna het algoritme de relatie tussen de input variabelen en de gewenste uitkomst leert van deze voorbeelden.
Deze aanpak heeft geen last van een eventueel gebrek aan historische data(-kwaliteit) en resulteert in modellen die gemakkelijk begrepen en geaccepteerd worden door de specialisten die er mee zullen werken. Bovendien zijn de resulterende modellen in het gebruik goed onder controle te houden en heel snel aan te passen aan veranderende marktomstandigheden of beleid. We illustreren dit alles hieronder met een van onze praktijk casussen.
Client case
Onze klant is een marktleider in zakelijke kredieten. Veel manuele processen leidden tot aanzienlijk efficiency verlies en stonden daarmee een optimale risicobeheersing, schaalbaarheid en focus op nieuwe business in de weg. Het eerste proces dat IG&H samen met de klant heeft geautomatiseerd is het jaarlijkse credit risk review proces. In dit reviewproces wordt eens per jaar het risico van de klant beoordeeld. Dit proces was volledig manueel en heel specialistisch. Nu reviewed een AI-model 75% van de posten automatisch, wat een significant aantal FTE vrij speelt èn verbetering in kwaliteit en schaalbaarheid oplevert.
Als startpunt hebben we een rule-based review engine ontwikkeld samen met de experts. Deze engine was in staat veel risicovolle posten te identificeren. Het had echter ook veel bijvangst van minder risicovolle posten (false positives). Hierdoor zou de workload-reductie beperkt blijven. Bovendien was het onderhouden van de regels, zodat deze de actuele risk opinie bleven weerspiegelen, arbeidsintensief. Daarom is er voor een AI-toepassing gekozen en mede door gebrekkige historische data hebben we hier de Expert-based Learning aanpak gebruikt.
Samen met credit risk experts hebben we in de volgende stappen een beslismodel ontwikkeld:
1. Selectie van de relevante attributen voor de voorspelling van noodzaak voor manuele review
2. Samenstellen van een dataset met enkele honderden client cases en de relevante attributen
3. Toewijzen van uitkomst-labels aan de training cases door de experts
4. AI-model trainen op de samengestelde training dataset en integreren in beslismodel
Het resulterende model blijkt in staat om nieuwe cases zeer accuraat te beoordelen op de noodzaak van een manuele revisie en heeft veel minder false positives dan de rule-based engine. Het model beoordeelt het risico zelfs beter dan een individuele expert. De gerealiseerde workload reductie van het model is 75% van alle benodigde reviews.
Toen iedereen verrast werd door het begin van de corona-crisis moest het model zo snel mogelijk de herziene risico opinie weerspiegelen. Dankzij de methode van Expert-based Learning konden we dit gemakkelijk en snel realiseren. Direct hebben we een nieuwe training set aangelegd en het AI-model hertraind. Hierdoor was binnen een paar weken het review beslismodel aangepast aan het nieuwe risicobeleid tot ieders tevredenheid.
Intussen is het AI-model gevalideerd en goedgekeurd door een model validatie partij en geïmplementeerd in de IT-architectuur van de klant. Volgend op de succesvolle implementatie van het credit risk review model hebben we bij de klant de volgende stap gezet en met dezelfde methode ook een AI-model voor kredietverlengingen ontwikkeld. Dit tweede model draait momenteel al succesvol in een pilot.
Wat maakt het verschil
De ontwikkeling en de adoptie van de expert-based learning methode heeft zijn uitdagingen. Wij hebben gaandeweg verschillende methodes ontwikkelt waarmee we het verschil kunnen maken en we deze aanpak snel en succesvol kunnen inzetten. Hieronder vier van onze best practices.
Beperk werklast voor de experts
Beperk het aantal cases in de training dataset waardoor het labelen van de cases de experts niet te veel tijd kost. Door dit lagere volume is de consistentie van het labelen ontzettend belangrijk zodat het algoritme niet verward wordt bij het leren van de patronen achter deze schaarse voorbeelden. Wij werken met een snelle iteratieve methode om consistentie en consensus te bereiken tussen verschillende experts met een efficiënt 4-ogen principe.
Houd rekening met menselijk vermogen
Optimaliseer de hoeveelheid informatie die in het model gaat. Zorg ervoor dat zoveel mogelijk relevante informatie aangeboden wordt, maar zodanig dat de experts de informatie wel kunnen overzien wanneer zij de trainingsdata labelen. Om de juiste data-attributen te selecteren gebruiken wij een combinatie van data-analyse en interviewtechnieken.
Realiseer vertrouwen en inzicht
Zorg dat het model en de uitkomsten uitlegbaar blijven voor de klant en specialisten. Wij waarborgen de uitlegbaarheid van een AI-model op drie manieren; allereerst met inzicht in de algemene werking van het model; ten tweede met een uitleg per uitkomst/case en ten derde met interactieve dashboarding voor monitoring en analyse van input en output van het model.
Stimuleer adoptie tijdens het hele proces
De motivatie van de experts die het model trainen en de specialisten die met de uitkomsten zullen werken is een essentiële succesfactor. Hun nauwe betrokkenheid bij de training en gamificatie tijdens het proces stimuleren de adoptie van het resulterende model enorm.
Potentie realiseren
Data Science en AI maken de toepassing van expertise veel meer schaalbaar, consistent en efficiënt. Business specialisten kunnen zich hierdoor meer focussen op de klant en op situaties waar hun vermogens echt de doorslag geven. Met name het Zakelijk domein kan sterk profiteren van een aanpak die minder data nodig heeft en modellen oplevert die omarmd worden door de experts en die bovendien snel aanpasbaar zijn bij veranderende omstandigheden. Het benodigd samenspel tussen business en data science is onze expertise.
Auteurs:
Freek Voss
Mando Rotman
Contactpersoon:
Freek Jansen
Director Banking
1) https://www.consultancy.nl/nieuws/30011/data-science-biedt-kansen-aan-de-zakelijke-verzekeringsmarkt
Comentarios