Terug

Over het KPI framework

"Most people use statistics the way a drunkard uses a lamp post, more for support than illumination." Mark Twain

Actionable insights

Voordat we ingaan op de doelen van DUO waaruit de Key Performance Indicators (KPI's) voortvloeien, stellen we eerst vast wat het doel is van dit framework. Onderstaande illustratie geeft hiervan een goed beeld.

Het KPI framework heeft als doel om tot het hoogste niveau van deze piramide te komen: inzichten die leiden tot actie. Dit is geen makkelijke opgave want dat betekent dat het framework moet voldoen aan de volgende eisen:

  • Context geven aan de data. Over welk onderwerp en welke taak worden de KPI's gemeten? Wat is de doelgroep die de taak uitvoerde? En in welke periode werd deze taak uitgevoerd? -> Informatie
  • Hoe verhoudt deze informatie zich tot vastgestelde targets, resultaten uit voorgaande periodes en verwachtingen? -> Kennis
  • Alle kennis moet leiden tot verandervoorstellen, of een ingang bieden tot concrete analyse op het probleem. -> Actie
Keep your eyes on the prize and don't turn back. - William J. Clinton

Strategisch kader en doelen

In de online strategie van DUO is de volgende ambitie uitgesproken:
DUO wordt online zo goed en efficiënt dat we kosten verlagen en de klanttevredenheid verhogen. - Strategisch kader DUO.nl

Dit vertaalt zich in het volgende doel:

Alle taken van klanten van DUO kunnen online worden voltooid met zo min mogelijk moeite en zo groot mogelijke klanttevredenheid. Hierdoor verlagen we de kosten voor DUO per uitgevoerde taak van de klant en vergoten we de tevredenheid waarmee de klant deze taak afrondt.

DUO focust zich online dus volledig op zelfservice. De klant van DUO moet zonder tussenkomst van helpdesk medewerkers of andere hulplijnen zijn taken kunnen voltooien op één van de domeinen van DUO. Hij moet deze taken met zo min mogelijk drempels kunnen uitvoeren. Dat moet leiden tot grote klanttevredenheid.

Key Performance Indicators

Vanuit het strategisch kader van DUO kunnen we nu indicatoren opstellen die meten of dit doel wordt gehaald. Uit het doel kunnen we de volgende componenten destilleren:

  • Kosten
  • Klanttevredenheid

Om deze 2 componenten te kunnen meten, hebben we de volgende indicatoren opgesteld:

Kosten

  • Kosten per taak
  • Task completion ratio
  • Customer effort score
  • Aantal binnenkomende telefoongesprekken per taak
  • Aantal binnenkomende emails per taak

Klanttevredenheid

  • Tevredenheid over gebruiksvriendelijkheid per taak
  • Customer effort score per taak

Randvoorwaarden

Omdat het KPI framework een strategisch doel ondersteunt, is het belangrijk dat er oog is voor de lange termijn. Het framework is daarom opgezet met enkele randvoorwaarden, die ervoor moeten zorgen dat het structureel gebruikt gaat worden. Omdat het framework vooral een praktische uitwerking heeft, is de doelgroep niet alleen de manager, maar vooral de personen die dichtbij de websites en applicaties staan en verandering mogelijk maken.

 

  • Generiek in opzet

    Het framework is generiek opgezet, zodat alle sites en online applicaties van DUO er gebruik van kunnen maken. Dit betekent dat er zo min mogelijk uitzonderingen worden gemaakt voor bepaalde sectoren.
  • Consistent

    Doordat we over alle sites en applicaties dezelfde tooling, metingen en definities gebruiken, kunnen we een consistent beeld geven, maar vooral ook goede vergelijkingen maken tussen sites en periodes.
  • Structureel

    Het framework heeft niet als doel om eenmalig analyse te doen, maar om structureel te verbeteren. Dat betekent dat het heel duidelijk moet zijn hoe er mee gewerkt wordt en wie er verantwoordelijk zijn voor beheer, gebruik en terugkoppeling.
  • Taakgericht

    Het framework meet op het niveau van uit te voeren taken op de site. Deze segmentatie van de data wordt over alle sites gebruikt. Dit sluit exact aan bij de toekomst van de sites van DUO (project "DUO taakgericht").

Onderwerpen en taken

Om tot hele relevante en 'actionable' inzichten te komen, moeten de statistieken genoeg detailniveau hebben. De klanttevredenheid rapporteren over de gehele website van DUO zal niet leiden tot concrete inzichten. Relevante segmentatie is belangrijk. Hiervoor maken we gebruik van een taakindeling van de website. De website is opgedeeld in onderwerpen met daarin meerdere taken. De respondenten uit de verschillende bronnen worden gevraagd naar de taak waarvoor zij naar de website kwamen. Hierdoor is het mogelijk om alle KPI's op taakniveau te analyseren en rapporteren.

We nemen hiermee al een voorsprong op het project "DUO taakgericht", waarin de websites van DUO stapsgewijs worden omgezet naar een taakgerichte website. Dat betekent dat sectoren en doelgroepen uit de navigatie van de website worden genomen en dat de taak van de bezoeker centraal komt te staan. Wil je meer informatie hierover? Dan kun je contact opnemen met Reinout Tiekstra

Targets en referenties

Om van informatie kennis te maken, zal de informatie context moeten krijgen. De waarde 60% voor de KPI "task completion rate" zegt op zichzelf nog niet veel, maar kun je het relateren aan een andere periode of aan een gestelde target, dan ontstaat er context en krijgt de data waarde. Voor het framework hebben we gekozen om de gemeten periode te kunnen vergelijken met:

  • De voorgaande periode (maand, week, dag). Op dit moment is de data alleen op maandniveau beschikbaar.
  • Dezelfde periode in het voorgaande jaar. Met name in het geval van seizoensinvloeden kan dit heel nuttig zijn. Om de vergelijking te kunnen maken, zal er eerst meer dan een jaar aan data moeten zijn.
  • Vooropgestelde targets voor de verschillende KPI's

Klant feedback

In het framework proberen we zoveel mogelijk concrete feedback te verzamelen van gebruikers van de website. Hiervoor gebruiken we 2 bronnen.

Online feedback

Door middel van een online enquête aan het einde van het uitvoeren van de online taak. Op het moment dat de bezoeker dreigt de browser of de tab te sluiten, krijgt de bezoeker de volgende pop-up:

Vervolgens wordt de bezoeker uitgenodigd voor de enquête. Aan de hand van de pagina waar de bezoeker zich bevindt, proberen we het onderwerp en de taak alvast voor te selecteren.

De uiteindelijke enquête is heel kort en heeft 1 doel. Is het gelukt om de taak te volbrengen (task completion rate) en zo nee, waarom is het niet gelukt (klant feedback)? Daarnaast vragen we naar de klanttevredenheid op basis van dit bezoek. Als het wel gelukt is om de taak af te ronden, vragen we hoeveel moeite dit heeft gekost (customer effort score).

Deze enquête zorgt niet alleen voor statistieken, maar vooral ook voor concrete feedback op taakniveau

Offline feedback

De tweede bron is de klantenservice van DUO. Medewerkers krijgen via de telefoon en email natuurlijk veel te horen over wat er speelt bij klanten. Binnen het framework proberen we dit te structureren naar taakniveau. Dit betekent dat medewerkers moeten registreren aan welke taak de beller of mailer was begonnen op de website en waarom het niet gelukt is om dit online af te ronden.

Om hierin te faciliteren is er binnen het framework een feedback-registratie formulier gemaakt voor de medewerkers:

Feedback loop

Eén van de randvoorwaarden van het framework is dat het een structureel karakter heeft. Dat betekent dat het een doorlopend proces moet worden van meten, weten en verbeteren. In dit geval een structurele feedback loop. Het proces zal worden beheerd door verschillende rollen. Voor nu hebben we gekozen voor 3 verschillende rollen:

  • Online business eigenaar. Bewaakt voorgang van feedback en status ervan.
  • Klant feedbackregisseur. De poortwachter van alle feedback. Beoordeelt relevantie en kijkt naar de grote lijnen van inkomende feedback. Verantwoordelijk voor meerdere onderwerpen op de site.
  • Informatieleverancier/inhoudsdeskundige. Inhoudelijk verantwoordelijk voor specifieke taken op de website. Bepaalt wat er gebeurt met de individuele feedback die op zijn/haar naam komt te staan.

Het proces

Om het werkbaar te maken hebben we het volgende proces voorgesteld:

  • 1. Feedback komt binnen via het online kanaal of via de klantenservice met de status "open".
  • 2. Feedback is gekoppeld aan een taak. Op basis hiervan wordt de feedback op naam van de verantwoordelijke feedbackregisseur gezet.
  • 3. De feedbackregisseur bepaalt of de feedback relevant is en doorgezet kan worden naar een inhoudsdeskundige.
  • 4. De feedbackregiseur verandert de status en wijst de feedback toe aan verantwoordelijke inhoudsdeskundige.
  • 5. De inhoudsdeskundige ontvangt (dagelijks of wekelijks) de feedback op zijn/haar naam en onderneemt eventuele acties.
  • 6. De inhoudsdeskundige verandert de status zodra de actie is afgerond of ingezet.

De toekomst van het framework

Het framework is opgezet als een pilot voor een klein gedeelte van DUO.nl. De doelstelling is om het stapsgewijs uit te rollen naar steeds meer onderdelen van DUO.nl. Daarvoor zullen eerste successen geboekt moeten worden op kleine schaal en vervolgens moet er genoeg draagvlak zijn om dit uit te bouwen. Daarop vooruitlopend hebben we een inschatting gemaakt van wat er voor nodig is.

Terugkerende werkzaamheden

  • Technisch beheer: ODC-Noord zal het platform gaan hosten en technisch beheren. Kosteninschatting: €50 per maand.
  • Functioneel beheer: het team openbare sites en applicatie (Karst Langendijk) zal het functionele beheer op zich nemen. Kosteninschatting: 4 uur per maand
  • Strategie en visie: verantwoordelijkheid van webanalist. Kosten 24 uur per maand
  • Operationeel beheer framework (uploads, taken, onderwerpen, users): verantwoordelijkheid voor een webanalist. Kosten 8 uur per maand.
  • Proces beheer: begeleiden, informeren van mensen die er mee moeten werken. verantwoordelijkheid van webanalist. Kosten 24 uur per maand

Project doorontwikkelen framework

  • Projectplan schrijven: de webanalist bepaalt hoe het framework moet worden doorontwikkeld en uitgerold. (40 uur)
  • Projectleiding: verantwoordelijk voor de voortgang van het project. (160 uur)
  • Functioneel ontwerper: vertaler van projectplan naar functioneel ontwerp. (160 uur)
  • Doorontwikkelen framework: laravel bouwers verantwoordelijk voor ontwikkeling van het framework. (480 uur)