Hoe we het model hebben getoetst: kwartaal op kwartaal terugkijken

Een voorspelmodel voor garantiekosten is pas iets waard als het zich in de tijd bewijst. De verleiding is om één jaar terug te kijken: wat voorspelde het model vorig jaar, en wat gebeurde er? Maar één jaar is één worp. Storingen zijn toeval, en een enkel jaar kan tien procent afwijken zonder dat het model iets fout doet. Daarom hebben we het model anders getoetst: op een dataset met veel ontwikkeljaren, kwartaal op kwartaal, over alle productiejaren tegelijk.

Wat we hebben gedaan

We namen een dataset waarin productiejaren hun garantieperiode al hebben doorlopen, zodat de uiteindelijke kosten per productiejaar bekend zijn. Vervolgens draaiden we de klok terug. Voor elk kwartaal in het verleden schatten we, met alleen de gegevens die op dat moment bekend waren, de totale kosten per productiejaar: wat al was uitgegeven plus wat er nog zou komen. Dat is precies het bedrag dat een garantievoorziening moet dekken.

Zo ontstaat per productiejaar een reeks schattingen, kwartaal na kwartaal. Verzekeraars noemen dit een uitloopanalyse. Elke schatting vergelijken we met de uiteindelijke werkelijkheid, en we volgen hoe de schatting beweegt naarmate er meer werkorders binnenkomen: valt er iets vrij, of moet er iets bij?

Waar we op letten

• Geen structurele vrijval of stijging. Een schatting mag bewegen, maar niet steeds dezelfde kant op. Loopt de schatting van bijna elk productiejaar in de eerste jaren omlaag, dan zet het model te veel opzij; loopt hij omhoog, dan te weinig.
• Gemiddeld nul. Een best estimate is een schatting zonder voorkeur naar boven of beneden. Over alle productiejaren samen moet de afwijking rond nul liggen, ook al wijkt elk jaar afzonderlijk af.
• De band klopt. De onder- en bovengrens moeten de werkelijkheid zo vaak omsluiten als ze beloven. Bij een band van 90 % hoort de werkelijke uitkomst in ongeveer negen van de tien productiejaren binnen de band te vallen.
• De band wordt smaller. Naarmate een productiejaar ouder wordt en meer werkorders bekend zijn, moet de onzekerheid afnemen. Een band die niet smaller wordt, leert niets van de gegevens.

Gemiddeld geen over- of onderschatting

De figuur laat zien wat een geslaagde toets oplevert. Elk productiejaar afzonderlijk wijkt af, soms enkele procenten naar boven, soms naar beneden: dat is de toevalligheid van storingen. Maar het gemiddelde ligt vlak bij nul, en de werkelijke kosten vallen in negen van de tien jaren binnen de band. Het ene jaar dat erbuiten valt, is geen fout van het model; bij een band van 90 % hoort dat te gebeuren.

Waarom niet gewoon één jaar terugkijken?

Omdat één vergelijking niets bewijst. Eén productiejaar dat drie procent te hoog is geschat, kan toeval zijn of een fout in het model; uit dat ene getal is het verschil niet te halen. Tien productiejaren, elk over tientallen kwartalen gevolgd, geven honderden vergelijkingen. Dan wordt zichtbaar of afwijkingen toevallig zijn (ze middelen uit) of structureel (ze wijzen steeds dezelfde kant op). Het is dezelfde reden waarom verzekeraars hun voorzieningsmodellen op deze manier toetsen, en niet op één jaar.

Wat dit voor u betekent

We weten hoe het model zich gedraagt voordat we het op uw gegevens toepassen: waar het scherp is, waar de band breder moet, en dat het gemiddeld niet te veel of te weinig opzij zet. Op uw eigen gegevens ziet u daarna elk kwartaal dezelfde beweging terug. Per productiejaar laat het overzicht zien of de schatting stabiel blijft, vrijvalt of stijgt. Blijft een productiejaar stijgen, dan is dat een signaal om die machines te bekijken, ruim voordat de jaarafsluiting het verklapt.

En we blijven eerlijk over wat één kwartaal zegt: weinig. Jonge productiejaren hebben een brede band, en één afwijkend kwartaal is nog geen trend. Pas als de beweging aanhoudt, is het tijd om te handelen.