Het gebruik van de Reliable Change Index in de klinische praktijk: Harde statistiek of statistische schijnzekerheid?

Inleiding

Binnen de klinische neuropsychologie komen indicaties gericht op het meten van veranderingen in het cognitief functioneren van cliënten over tijd veelvuldig voor. Denk aan vragen naar cognitieve achteruitgang bij progressieve of neurodegeneratieve aandoeningen, of juist vooruitgang na behandeling of bij verwacht herstel na bijvoorbeeld een beroerte. De prestaties van de cliënt worden bij een eerste neuropsychologisch onderzoek vergeleken met die van een (zo goed mogelijke) normgroep om uitspraken te doen over het cognitief functioneren en veranderingen/afwijkingen daarin vast te stellen. Hoe beter de normgroep aansluit bij de cliënt, hoe meer gefundeerd uitspraken hierover mogelijk zijn. Let wel, dit blijft een vergelijking met een normgroep en niet met het premorbide functioneren van de individuele cliënt. Dit maakt het theoretisch gezien een voordeel als er al eerder neuropsychologisch onderzoek is gedaan. Dit geeft immers de mogelijkheid om de cliënt met zichzelf te vergelijken en zo verandering in functioneren meer valide en betrouwbaar vast te stellen. In de praktijk is het vaststellen van verandering echter niet zo gemakkelijk. Er kunnen immers allerlei factoren de metingen beïnvloeden. Een verschil in prestatie kan hierdoor ogenschijnlijk wijzen op een verandering in functioneren, maar is dat niet of verhult juist de verandering.

Wanneer men prestaties binnen een individu over tijd wil vergelijken dient men zich van de volgende punten bewust te zijn. Gevonden verschillen zouden allereerst verklaard kunnen worden door meetfouten. Iedere testscore bestaat statistisch gezien namelijk uit twee onderdelen, de werkelijke of ‘ware’ score en de meetfout. De meetfout is een niet-systematische vertekening van iedere testscore als gevolg van toevallige fluctuaties bij bijvoorbeeld de onderzochte (zoals verschil in aandacht, motivatie, vermoeidheid of stemming). Daarnaast kunnen meetfouten veroorzaakt worden door fluctuaties in de testprocedure (zoals variatie in instructie of nauwkeurigheid waarmee een stopwatch wordt ingedrukt) of in de testomgeving (denk aan verschillen in kamertemperatuur of achtergrondlawaai). Naarmate een test onbetrouwbaarder is, is het effect van meetfouten groter en kan dit dus een gevonden verschil tussen prestaties verklaren, zonder dat dit ook daadwerkelijk iets zegt over verandering in de geteste cognitieve functie (Bruggemans & Van de Vijver, 2014).

Naast meetfouten bestaan er nog andere factoren die een gevonden verschil kunnen verklaren, zoals leereffecten, (normale) veroudering en het principe van ‘regressie naar het gemiddelde’. Leereffecten zijn systematische verbeteringen in testprestaties als gevolg van eerdere ervaringen met dezelfde of een vergelijkbare test en zijn niet het gevolg van een verbetering in de onderliggende functie die de test beoogt te meten. Denk hierbij aan geheugeneffecten (men weet van de vorige keer nog hoe de test ging) of oefening (men is vaardiger en sneller geworden). Leereffecten zijn onafhankelijk van de algehele betrouwbaarheid van een test (Bruggemans & Van de Vijver, 2014). Het type taak kan wel een rol spelen in de grootte van het leereffect. In een meta-analyse werd gevonden dat geheugentaken de grootste leereffecten vertonen, waarbij dit bij verbale geheugentaken nog sterker speelt dan bij non-verbale taken (Calamia e.a., 2012). Dit zou evenzeer gelden voor parallelversies van taken, doordat cliënten leren hoe ze de taak effectiever aan kunnen pakken (Heilbronner e.a., 2010). Daarnaast laten ook taken voor aandacht en executief functioneren leereffecten zien, hetzij kleiner dan bij geheugentaken. Bij taken gericht op taal en visuospatiële vaardigheden worden de minst evidente leereffecten gevonden (Calamia e.a., 2012). De invloed van leereffecten is verder afhankelijk van de duur van het test-hertestinterval en van persoonsgebonden kenmerken zoals leeftijd, opleidingsniveau, intelligentie, diagnostische conditie en de hoogte van de pretestscore, maar hier is nog weinig onderzoek naar gedaan (Duff, 2012). Naast de rol van leereffecten, kan ook (normale) veroudering een verklaring zijn voor een verschil tussen testscores, zeker als normscores geen rekening houden met leeftijdseffecten. Tot slot houdt regressie naar het gemiddelde in dat extreme pretestscores er bij herhaald testen naar neigen om minder extreem te worden en daarmee meer naar het gemiddelde opschuiven (Chelune, 2003). Over het algemeen kan gesteld worden dat er vaak meerdere factoren betrokken zijn bij het verklaren van verandering over tijd. Het is feitelijk niet toe te schrijven aan slechts één construct (Heilbronner e.a., 2010).

De Reliable Change Index

De RCI is een psychometrische test-hertestmethode die helpt om vast te stellen of er sprake is van een verschil tussen twee testprestaties van eenzelfde individu door rekening te houden met verschillende factoren/constructen die hierin een rol kunnen spelen. Met een RCI-formule wordt berekend of een gevonden verschil statistisch significant is door bijvoorbeeld te corrigeren voor meetfouten en leereffecten. Van belang is om te benadrukken dat een statistisch significant verschil niet direct een klinisch relevant verschil is. Een significante verslechtering op een neuropsychologisch onderzoek kan immers komen door veranderd cognitief functioneren, maar kan ook te verklaren zijn vanuit contextuele factoren. In het algemeen stelt men wel dat voor een klinisch relevante verandering ten minste een statistisch significant verschil nodig is (Blampied, 2022; Bruggemans & Van de Vijver, 2014; Maassen, 2000). Ook is het belangrijk dat men zich bewust is van het feit dat door het fenomeen regressie naar het gemiddelde de uitslag van een RCI-formule minder betrouwbaar is als bij de eerste meting extreme scores zijn behaald (Maassen, 2000).

De toegenomen kennis over bijvoorbeeld meetfouten en leereffecten heeft ertoe geleid dat er in de loop der tijd verschillende RCI-formules zijn ontwikkeld om de significantie van verandering in scores te kunnen vaststellen. Deze formules proberen rekening te houden met de bovengenoemde factoren. Ze verschillen van elkaar op diverse vlakken, namelijk in (1) de mate waarin ze rekening houden met meetfouten en leereffecten (Blampied, 2022), (2) de mate waarin ze rekening houden met normale veroudering, door gebruik te maken van ruwe dan wel standaardscores, (3) de onderliggende statistische methode (bijvoorbeeld klassieke leertheorie of regressiemodellen), (4) de mate waarin ze type 1- en type 2-fouten voorkomen (Maassen, 2000) en (5) de beschikbaarheid van referentiegegevens (Bruggemans & Van de Vijver, 2014). Voor een overzicht van bestaande formules en hun voor- en nadelen verwijzen we naar het hoofdstuk van Bruggemans en Van de Vijver, in het boek Neuropsychologische diagnostiek: De klinische praktijk (Hendriks e.a., 2014) en het overzichtsartikel van Maassen (2000).

Los van welke RCI-formule wordt gebruikt, is het goed de volgende algemene knelpunten te benoemen. Er zijn geschikte normdata nodig over bepaalde psychometrische eigenschappen om RCI-formules in de praktijk te kunnen uitrekenen. Momenteel zijn deze normdata meestal gebaseerd op de volwassen populatie (18 tot 65 jaar). Deze normgroepen zijn echter vermoedelijk minder goed van toepassing bij jongeren en ouderen als gevolg van processen als natuurlijke groei of ontwikkeling bij de jeugd en veroudering of degeneratie bij 65-plussers. Verder bestaat er in het veld geen consensus over of je een cliënt met bijvoorbeeld NAH zou moeten vergelijken met een gezonde populatie of een NAH-populatie om de ‘beste’ informatie te krijgen over verandering over tijd. Daarbij is wel bekend dat gezonde volwassenen over het algemeen grotere leereffecten laten zien dan patiënten met cognitieve stoornissen (Calamia, e.a., 2012). Ook is er weinig onderzoek gedaan naar het gebruik van RCI-formules in klinische groepen (zoals mensen met dementie of NAH), waarmee de vraag rijst of er überhaupt normdata beschikbaar zijn van andere ‘niet-gezonde’ groepen. Tot slot, RCI-formules zijn in de basis ontworpen voor het vergelijken van twee meetmomenten over de tijd. De klinische praktijk leert ons echter dat er steeds meer cliënten zijn die voor een derde of vierde keer worden getest. Het is nog onvoldoende onderzocht of de huidige RCI-formules gebruikt kunnen worden voor het vergelijken van meerdere meetmomenten over tijd (Duff, 2012). Wel is bekend dat er in dergelijke gevallen betere statistische methoden voorhanden zijn (Maassen e.a., 2009), maar deze zijn op dit moment niet direct bruikbaar of toegankelijk gemaakt voor de klinische praktijk.

Overigens, omtrent het selecteren van kwalitatief optimale formules is in de literatuur überhaupt veel discussie (bijvoorbeeld Maassen, 2000; Maassen, 2004; Maassen e.a., 2009). Wanneer er geen rekening wordt gehouden met leereffecten bestaat de voorkeur voor formules die zich baseren op de klassieke testtheorie (in plaats van regressiemodellen). Echter, wanneer er rekening wordt gehouden met leereffecten hangt het advies voor te gebruiken formules (klassieke-testtheorie of regressiemodel) deels af van het belang dat wordt gehecht aan het voorkomen van type 1- of type 2-fouten (Maassen e.a., 2009). Tevens zijn er nog nieuwe statistische methoden in ontwikkeling die mogelijk in de toekomst kunnen worden gebruikt (McAleavey, 2022). Dit blijft echter veelal een academische discussie, die onvoldoende richting geeft voor de klinische praktijk.

De huidige klinische praktijk

In de Nederlandse klinische praktijk zijn er geen richtlijnen of aanbevelingen voor het gebruik van specifieke RCI-formules of de interpretatie van de uitkomsten van deze formules. Bruggemans en Van de Vijver (2014) bieden wel een eerste handreiking voor klinische toepassing. Samengevat geven zij de volgende adviezen: (1) gebruik RCI-formules (in plaats van enkel een subjectieve klinische weging), (2) selecteer zo kwalitatief optimaal mogelijk formules waarvan voldoende data beschikbaar zijn van referentiegroepen (praktische toepasbaarheid), (3) gebruik meerdere formules tegelijkertijd om tot een bepaalde middeling en/of weging te komen.

Binnen het Nederlandse neuropsychologische veld valt op dat er gewerkt wordt met RCI’s en dat er over het algemeen meerdere RCI’s ingezet worden, te weten de formules van Jacobson en Truax (1991; RCI JT) en Chelune (2003; RCI C). Deze twee RCI-formules baseren zich beide op de klassieke testtheorie.

Hierbij staat X1 voor de score van meting 1 en X2 voor de score van meting 2. SEdiff staat voor de standaardmeetfout van de verschilscores. Deze RCI corrigeert voor meetfouten.

De formule van de RCI C is als volgt:

Hierbij staat x̅₁ voor de gemiddelde eerste testscore bij de controlegroep en x̅₂ voor de gemiddelde tweede testscore bij de controlegroep. Deze RCI-formule corrigeert zowel voor meetfouten als voor leereffecten. Deze formules zijn kwalitatief gezien heel redelijk en in het huidige werkveld ook vaak te berekenen door beschikbaarheid van referentiegegevens.

Vanuit theoretisch oogpunt is het belangrijk om te kijken naar de formules die het beste passen bij de diagnostische vraag die men probeert te beantwoorden en daar de juiste informatie bij te zoeken in handleidingen en wetenschappelijke publicaties over de test. Het is echter praktisch gezien niet haalbaar om voor elke individuele cliënt, per test, de wetenschappelijke literatuur te doorzoeken naar de data van de meest passende referentiegroep, om zo de ‘perfecte’ formule te kunnen gebruiken. Hierbij dient men zich te realiseren dat de perfecte formule niet bestaat; elke formule kent zijn eigen kanttekeningen. Hiermee lijkt het gebruik van bovenstaande twee formules in de praktijk een verantwoorde keuze.

Uiteraard is het daarbij wel van belang ons bewust te zijn van de imperfecties in het gebruik van de RCI JT en RCI C. Zo zijn er ook voor deze RCI-formules niet voor alle leeftijdscategorieën geschikte normgroepen beschikbaar. Verder lijkt op het oog de formule van Chelune nauwkeuriger, omdat hij ook rekening houdt met leereffecten, wat de formule van Jacobson en Truax nalaat te doen. Echter dient men wel rekening te houden met het tijdsinterval waarop de leereffecten in deze formule zijn gebaseerd. Wanneer dit tijdsinterval vergelijkbaar is met de tijd tussen het eerste en tweede testmoment van de cliënt, heeft het gebruik van de RCI Chelune de voorkeur. Echter, als er een groot verschil zit tussen dit tijdsinterval en het hertestinterval van de client, is er een risico dat er te weinig of te fors gecorrigeerd wordt voor het leereffect. Het risico op te forse correctie speelt als het hertestinterval van de cliënt groter is dan het hertestinterval waarop de RCI-formule is gebaseerd. Het leereffect zal immers kleiner zijn naarmate er meer tijd tussen de twee metingen zit. Dan is het raadzamer om de voorkeur te geven aan de formule van Jacobson en Truax.

Wat verder opvalt in het werkveld, is dat er verschillende rekenprogramma’s voor RCI-formules in omloop zijn. Dergelijke programma’s bevatten voor een aantal neuropsychologische tests de relevante gegevens waarmee RCI-formules automatisch kunnen worden berekend wanneer men de scores van het eigen testonderzoek invult. Het opnemen van RCI-formules in gestandaardiseerde rekenprogramma’s is door Bruggemans en Van de Vijver (2014) aangeraden om de bruikbaarheid in de klinische praktijk te vergroten. Het kost immers veel tijd om per individuele casus de juiste gegevens uit de handleidingen of wetenschappelijke literatuur te zoeken om zelfstandig RCI-formules uit te rekenen. Hierdoor bestaat het risico dat helemaal wordt afgezien van het gebruik van RCI-formules. Er zijn echter ook twee punten van zorg rondom het gebruik van dergelijke rekenprogramma’s. Ten eerste is het onduidelijk bij wie de verantwoordelijkheid voor het opstellen, toetsen, en up-to-date houden van deze rekenprogramma’s ligt. Daarbij is het van groot belang om voldoende achtergrondinformatie te verschaffen over de normgroep waarop de formules zijn gebaseerd, denk hierbij aan leeftijd, aandoening, tijdsinterval tussen de metingen en bronvermeldingen. Op deze manier kunnen gebruikers van deze rekenprogramma’s immers goed nagaan in welke mate hun cliënt overeenkomt met de gebruikte normgroep, zodat dit meegewogen kan worden in de klinische besluitvorming. Dit sluit aan bij het tweede punt van zorg, namelijk dat veel collega’s aangeven dat ze eigenlijk niet goed weten wat de berekende RCI-formules inhouden en welke (kritische) kanttekeningen daarbij te plaatsen zijn. Hierbij bestaat het risico dat uitslagen overgenomen worden zonder ze gedegen in te voegen in het klinisch diagnostisch redeneerproces. Kortom, er is behoefte aan educatie over deze RCI-formules en hoe hun uitkomsten zijn te wegen in de klinische praktijk. Wij doen daar in dit artikel de volgende handreiking toe.

Praktische werkwijze

Zoals uit bovenstaande blijkt, behelst het trekken van conclusies over verandering in functioneren over tijd meer dan enkel het gebruik van RCI-formules. Dit is slechts een onderdeel van het klinisch redeneerproces. Voor het ondersteunen van dit proces wordt het volgende stappenplan voorgesteld, waarin vanwege de eerdergenoemde argumenten gebruik wordt gemaakt van de RCI-formules van JT en C en bestaande rekenprogramma’s hiervoor. Dit stappenplan kan echter ook, met enige aanpassing, worden toegepast wanneer men kiest voor andere, beter passende RCI-formules bij de eigen casuïstiek.

1. Hypotheses opstellen.
   Voorafgaand aan het testonderzoek stel je hypotheses op met betrekking tot de verwachte verandering over tijd (verbetering, verslechtering of onduidelijk) en daarmee of een- of tweezijdig toetsen nodig is. In het geval van eenzijdig toetsen (je verwacht niet alleen verandering, maar hebt duidelijk de verwachting dat het enkel om verbetering of juist verslechtering gaat) hanteer je een p-waarde van 0,05. Bij tweezijdig toetsen pas je de p-waarde aan naar 0,025.
2. Beoordeling testscores voor tests waarvoor RCI-formules beschikbaar zijn.
   Na het onderzoek heb je én herhaalde tests waarvoor je een RCI-formule kan gebruiken én herhaalde tests waarvoor je geen RCI-formules kan gebruiken (door afwezigheid van normgegevens). Je start met de evaluatie van de tests waarvoor je RCI-formules kunt gebruiken. Je bepaalt of er bij die tests sprake is van significante verandering over tijd op basis van de resultaten van beide RCI-formules. Hierbij is het van belang de invloed van bodem- en plafondeffecten en regressie naar het gemiddelde in het achterhoofd te houden (deze kunnen immers verandering verhullen of schijnverandering suggereren). Vervolgens bekijk je (per test) in hoeverre de uitslagen van de twee RCI-formules consistent zijn met elkaar. Inconsistenties tussen beide RCI-formules probeer je te begrijpen, waarbij je rekening houdt met:
   • de mate van significantie van de uitkomst van de RCI-formule. Een minimaal significant verschil is mogelijk minder van betekenis dan een duidelijk significant verschil;
   • de mate waarin de normgegevens waarop de RCI-formule is gebaseerd, overeenkomen met de eigen specifieke cliënt (denk aan leeftijd en tijdsinterval tussen metingen). Maak een inschatting van hoe groot de kans op te strenge of te milde correctie is.
3. Beoordeling testscores voor tests waarvoor geen RCI-formule beschikbaar is.
   Voor tests die in beide onderzoekmomenten gebruikt zijn, maar waarvoor een RCI-formule niet ingezet kan worden, vergelijk je de ruwe dan wel standaardscores met elkaar over tijd en maak je een klinische (en daarmee dus meer subjectieve) afweging of er sprake zou kunnen zijn van verandering over tijd. De volgende aandachtspunten kunnen hierbij worden meegenomen:
   • indien er geen sprake is van bodem- of plafondscores bij tijdstip 1, ga na of scores in een andere kwalitatief beschreven categorie vallen, bijvoorbeeld laag versus gemiddeld;
   • indien cliënt op tijdstip 2 qua normgroep in een andere leeftijdscategorie valt dan op tijdstip 1, ga na of er verandering is in standaardscores. Hiermee weeg je normale veroudering/ontwikkeling mee.
   • Indien cliënt op tijdstip 2 qua normgroep in dezelfde leeftijdscategorie valt als op tijdstip 1, ga dan na of er betekenisvolle verandering lijkt in ruwe scores.
4. Beoordeling cognitieve domeinen op verandering.
   Na het bestuderen van de resultaten van de RCI-formules en de tests waarvoor geen RCI-formules gebruikt kunnen worden, wordt per cognitief domein een conclusie geformuleerd met betrekking tot verandering over tijd. Hierbij baseer je je bij voorkeur op meer dan één test (Heilbronner e.a., 2010). Wanneer er een patroon in de resultaten binnen een domein wordt gevonden, kunnen op basis hiervan conclusies worden getrokken over verandering over tijd binnen dat domein. De mate van stelligheid in formulering is daarbij afhankelijk van de mate van bewijsvoering (bijvoorbeeld hoeveel RCI-formules, hoeveel herhaalde metingen, wel of geen outliers et cetera). Wanneer er geen patroon te vinden is, wordt dat eveneens beschreven, maar kan er niet gesproken worden van verandering over tijd. Ook wanneer er geen tests zijn herhaald binnen een cognitief domein, kunnen er geen uitspraken worden gedaan over verandering over tijd. Dit wordt eveneens gerapporteerd.
5. Uiteindelijke conclusie met betrekking tot verandering over tijd.
   In de uiteindelijke conclusie blijft het uiteraard van belang om naast bovenstaande statistische en kwantitatieve informatie ook de overige belangrijke informatie, verkregen uit (hetero)anamnese, kwalitatieve testgegevens/observaties en dossierinformatie, mee te wegen. De combinatie van deze informatie wordt gebruikt om een uiteindelijke duiding te geven wat betreft de verandering over tijd over het gehele cognitief functioneren (of bepaalde domeinen). Naast de vooraf opgestelde hypotheses voor de gevonden verandering over tijd, bijvoorbeeld een medisch incident of verloop van een ziekteproces, dient ook gekeken te worden naar mogelijke alternatieve verklaringen. Denk hierbij aan zowel verschillen in het testmoment (zoals inzet en stoorfactoren) als verschillen bij de cliënt zelf (bijvoorbeeld middelengebruik en context). Zie Tabel 1 voor een uitgebreidere versie van dit stappenplan dat als invuldocument gebruikt kan worden in de praktijk. Hiermee worden bovenstaande stappen gestructureerd doorlopen.

Tabel 1 Invulbaar werkdocument van het voorgestelde stappenplan

¹ Geschikt als er geen plafond- of bodemscores waren bij T1, anders niet onderscheidend
² Geschikt als cliënt tijdens T1 en T2 in andere leeftijdsnormgroep valt
³ Geschikt als cliënt tijdens T1 en T2 in dezelfde leeftijdsnormgroep valt

In de uiteindelijke rapportage is het van belang om te refereren aan de formules en normdata die gebruikt zijn om tot conclusies te komen, zodat transparant blijft waarop besluitvorming gebaseerd is (Blampied, 2022). Hieronder ter illustratie een uitwerking van dit stappenplan in een casus.

Toekomst

Het vaststellen van verandering in cognitief functioneren over tijd verdient meer aandacht in het neuropsychologische werkveld. Om weloverwogen gebruik van RCI-formules in de praktijk te stimuleren is het daarom van belang dat deze kennis en informatie beter (en makkelijker) beschikbaar wordt voor het werkveld. Dit vraagt zowel om scholing op dit gebied als om overzichtelijk beschikbaar stellen van rekenprogramma’s (met voldoende informatie en duidelijke bronvermeldingen). Anders vrezen wij voor een hoge gebruikersdrempel of toename van bewust of onbewust inadequaat gebruik van RCI-formules, met als risico dat ongefundeerde of niet-kloppende uitspraken over verandering over tijd bij cliënten worden gedaan. Het werkveld heeft zodoende een landelijke taskforce of werkgroep nodig die zich inzet voor deze punten. Ook ligt er een taak bij het wetenschappelijke werkveld: er is behoefte aan meer normdata voor verschillende referentiegroepen (onder andere jongeren, ouderen en specifieke patiëntengroepen). Ook zou onderzoek naar de verschillen in uitkomsten bij het gebruik van de verschillende bestaande RCI-formules wenselijk zijn. Hiermee kan de clinicus beter afwegen of een standaardselectie van de formules van RCI JT en RCI C verdedigbaar is, of dat er in specifieke gevallen beter een andere keuze kan worden gemaakt.

Conclusie

Concluderend is de inzet van RCI-formules niet eenvoudig, zeker niet gezien de grote verscheidenheid aan bestaande RCI-formules, tests en patiëntgroepen. Met dit artikel hebben wij getracht een visie en handvat aan te reiken voor het gebruik van RCI-formules in de klinische praktijk. Daarbij is gekeken naar de balans tussen enerzijds theoretische en statistische uitgangspunten en anderzijds haalbaarheid en pragmatiek. We onderschrijven het belang van het gebruik van RCI-formules voor het vaststellen van verandering over tijd, waarbij de clinicus goed dient te begrijpen wat de uitkomst van een RCI-formule wel en niet inhoudt. Onderwijl is het belangrijk ons ervan bewust te zijn dat de inzet van RCI-formules niet altijd gemakkelijk is en zelden een eenduidige conclusie oplevert. Klinisch redeneren waarbij oog is voor zowel de grenzen van het gebruik van RCI-formules als voor contextuele factoren is een vereiste om tot een onderbouwde conclusie te komen aangaande verandering over tijd in cognitief functioneren. RCI-formules zijn een helpend statistisch hulpmiddel, mits weloverwogen ingezet.