De hiërarchische Cognitieve Screening Test: Constructvaliditeit en test-hertestbetrouwbaarheid

Inleiding

Met de CST kunnen onderzoekers nagaan in welke mate een onderzochte persoon eenvoudige feitenkennis vanuit het geheugen kan ophalen (De Graaf & Deelman, 1991). Uit de antwoorden kan een hypothese over aan- of afwezigheid van een neurocognitieve stoornis worden afgeleid (Van Toutert e.a., 2016). De CST is opgenomen in diverse richtlijnen en overzichten voor het gebruik van cognitieve meetinstrumenten (NIP, 2010; Pastink e.a., 2019; Wattel & Achterberg, 2010).

Eerder is vastgesteld dat negen items uit de CST een betrouwbare weergave vormen van de complete versie (Diesfeldt, 2012). De negen items zijn geselecteerd met Mokken-schaalanalyse, een techniek uit de non-parametrische item-responstheorie (Sijtsma & Van der Ark, 2017). De items van de CST9 vormen een homogene, hiërarchische schaal: zij zijn te ordenen naar moeilijkheidsgraad. In een hiërarchische schaal worden de items een voor een, in opklimmende graad van moeilijkheid aan een onderzochte persoon voorgelegd. In theorie kan de testafname stoppen na het eerste item in de hiërarchie dat een onderzochte niet goed kan beantwoorden. De score is dan gelijk aan het rangnummer van het laatste item dat goed werd beantwoord ofwel de somscore van de goed beantwoorde voorafgaande items (Stochl e.a., 2012; Streiner e.a., 2015). Deze werkwijze heeft als voordeel dat onderzochten niet verder worden belast met items waarop zij hoogstwaarschijnlijk het antwoord schuldig blijven. De wetenschappelijke literatuur telt tal van voorbeelden van hiërarchisch geordende schalen die met behulp van Mokken-schaalanalyse zijn geconstrueerd (McGrory e.a., 2015; Watson e.a., 2012).

De CST9 heeft een scorebereik van 0 tot 9. In een onderzoek bij 102 ouderen met een normale cognitie behaalde geen enkele deelnemer een score lager dan 7, en 95,1% een hogere score (Van Toutert e.a., 2016). Scores > 7 kunnen daarom gelden als 'normaal' (Guilmette e.a., 2020; Hendriks e.a., 2020).

Onderzoek naar de constructvaliditeit van de CST9 bij 642 deelnemers aan psychogeriatrische dagbehandeling liet een Pearson-correlatie van 0,60 zien met een combinatie van drie subtests uit de Amsterdamse Dementie-Screeningstest (ADS3): Visueel Geheugen, Oriëntatie en Fluency (Diesfeldt, 2012). De CST9 was in dit onderzoek afgeleid uit de complete variant, CST20. De validiteit van een hiërarchisch geconstrueerde schaal moet zich bewijzen in nieuw onderzoek (Watson e.a., 2008). Systematische citatieanalyse van studies over hiërarchische schalen leverde echter geen voorbeelden op van dergelijk valideringsonderzoek.

Voor een hiërarchisch geconstrueerde schaal kan op twee manieren een score worden bepaald: over alle items, of wanneer zou zijn gestopt na het eerste onjuist beantwoorde item (zie Box 1). Stoppen na het eerste onjuist beantwoorde item kan een lagere score opleveren dan afname van alle items. Een hiërarchische schaal berust namelijk op een waarschijnlijkheidsmodel, berekend voor een grote groep deelnemers. De opklimmende graad van moeilijkheid hoeft echter niet voor iedere individuele deelnemer te gelden. Het kan dus voorkomen dat een deelnemer een relatief gemakkelijk item niet kan beantwoorden, maar een moeilijker item met een hoger itemnummer wel (Stochl e.a., 2012).

De negen CST-items werden twee keer afgenomen: 1) als onderdeel van de complete CST20, en 2) zelfstandig, als de korte, hiërarchische vorm (CST9). In dit nieuwe onderzoek met de complete en de hiërarchische CST-variant kunnen dan ook drie vragen worden beantwoord: 1) Levert stoppen na het eerste onjuiste antwoord in de hiërarchische variant (CST9a) dezelfde score op als wanneer alle negen vragen worden voorgelegd (CST9)? 2) Wat is de constructvaliditeit en 3) de test-hertestbetrouwbaarheid van de CST9?

Methode

Patiënten

In dit tijdschrift vroegen we gebruikers van de CST20 om deel te nemen aan nieuw onderzoek naar de validiteit van de korte, hiërarchische variant van de CST, de CST9 (Van Toutert e.a., 2016). Zeven psychologen toonden belangstelling, vier van hen leverden gegevens aan. Zij gebruikten voor het reguliere neuropsychologisch onderzoek minstens twee sessies, zodat bij aanvang van de ene sessie de complete CST20 kon worden afgenomen en bij aanvang van de andere sessie de korte, hiërarchische variant (CST9). Aan de onderzoekers werd gevraagd om de twee volgordes 'complete variant-korte variant' en 'korte variant-complete variant' af te wisselen. Verder leverden de onderzoekers gegevens aan uit de voor hen gebruikelijke testbatterij.

Werkwijze

De deelnemende psychologen verzamelden van 2017 tot 2020 gegevens van 65 patiënten (34 vrouwen, 31 mannen). De patiënten werden onderzocht vanwege vermoeden van een neurocognitieve stoornis. Naast de CST kregen 55 patiënten de Visuele Associatie Test (VAT, vorm A). Andere tests, waaronder de Achtwoordentest (dertig), MoCA Montreal Cognitive Assessment (dertien) en ADS3 (vier) waren bij veel minder patiënten afgenomen (tussen haakjes de aantallen). Voor validering van scores op de diverse CST-varianten is daarom de VAT gebruikt.

Resultaten

Gegevens over leeftijd en opleiding van de deelnemers staan in Tabel 1, evenals het interval tussen de twee testmomenten en het gemiddelde op de diverse CST-varianten. Afname van alle negen items (CST9) leverde op groepsniveau een hoger gemiddelde op dan wanneer zou zijn gestopt na het eerste onjuiste antwoord (CST9a).

Tabel 1 Deelnemerskenmerken (N = 65) en testresultaten

Afkortingen: CST = Cognitieve Screening Test; SD = standaarddeviatie; a Volgens de classificatie van Verhage, 1964

De volgorde waarin de CST20 en de CST9 werden afgenomen was niet gelijk verdeeld. Veel vaker (48 keer) werd de CST20 in de eerste sessie afgenomen dan de CST9 (zeventien keer). Om na te gaan in hoeverre afnamevolgorde invloed had op het verband tussen de CST20- en de CST9-score werd een regressieanalyse uitgevoerd met de CST20-score en testvolgorde als onafhankelijke variabelen. Testvolgorde had geen invloed op de voorspelde CST9-score, noch op de regressiecoëfficiënten. Vergeleken met een regressiemodel zonder de variabele 'testvolgorde' had het model met 'testvolgorde' geen toegevoegde verklarende waarde (F_2,61 = 2,13; p = 0,13).

Bevestiging van de rangordening van items naar moeilijkheidsgraad

Tabel 2 (zie p. 74) toont de itemhiërarchie zoals eerder vastgesteld met Mokken-schaalanalyse (Diesfeldt, 2012). De percentages juiste antwoorden uit het eerdere onderzoek zijn geactualiseerd met de gegevens uit het nieuwe onderzoek bij 65 patiënten (zie Box 2, p. 74).

Afgezien van kleine veranderingen in de percentages juiste antwoorden en het 95%-geloofwaardig interval blijft de moeilijkheidshiërarchie na opwaardering van de data met nieuwe gegevens gelijk. Deze moeilijkheidshiërarchie geldt op groepsniveau. Op individueel niveau kan de moeilijkheidshiërarchie echter variëren. De praktische consequenties daarvan worden zichtbaar in Figuur 1. De stringente procedure (CST9a: 'stop na het eerste onjuist beantwoorde item') leverde voor veel deelnemers een onderschatting op van de CST9-somscore. Tien deelnemers die volgens de stringente procedure een score 2 behaalden (geen juist antwoord bij item 3: 'hoe heet de straat waar u nu woont?'), gaven bij items met een hogere moeilijkheidsgraad nog wel juiste antwoorden. Negen deelnemers konden de naam van de vorige koningin niet zeggen (item 5). Dat betekende een score 4 op de CST9a, maar acht van deze negen deelnemers behaalden op de CST9 een hogere score. Een dergelijke onderschatting maakt een strikt hiërarchische toepassing van de CST, ofwel stoppen na het eerste onjuist beantwoorde item, onwenselijk.

Figuur 1 De verhouding tussen scores volgens de hiërarchische stopregel (‘stop na het eerste onjuist beantwoorde item’; CST9a) en de compleet afgenomen hiërarchische variant (CST9). N = 65. Een cirkel vertegenwoordigt één of meer deelnemers.

Tabel 2 De opklimmende graad van moeilijkheid van negen CST-items zoals met Mokken-schaalanalyse vastgesteld (Diesfeldt, 2012; N = 642) en bayesiaans geactualiseerd met de gegevens van 65 nieuwe deelnemers: % correct en 95%-geloofwaardig interval (CI)

Afkortingen: Msa = Mokken-schaalanalyse; CST = Cognitieve Screening Test; 95%-CI = 95%-geloofwaardig (credible) interval op basis van bayesiaanse analyse

Constructvaliditeit

Tabel 3 laat zien dat alle versies van de CST positief correleren met de VAT. Bij toetsing van de verschillen tussen de correlaties kon in deze relatief kleine steekproef geen enkele nulhypothese ('de correlaties verschillen niet') worden verworpen. Een nulhypothese niet kunnen verwerpen geeft op zichzelf geen inzicht in de grootte van de verschillen tussen de onderzochte correlaties (Lakens e.a., 2020). Bayesiaanse analyse maakt de grootte van de verschillen juist wel inzichtelijk. Het grootste deel (92%) van de posterior kansverdeling voor het verschil tussen de twee correlaties VAT met CST20 en VAT met CST9 is positief (de correlatie VAT met CST20 is groter), maar een negatief verschil (de correlatie VAT met CST20 is kleiner) is met 8% (100% - 92%) niet uitgesloten. Ten opzichte van de VAT zijn CST9 en CST9a even valide, met correlaties van respectievelijk 0,60 en 0,58. Met een verschil van 0,02 ontlopen de correlatiecoëfficiënten elkaar niet veel (63% van de posterior kansverdeling > 0; 37% < 0). Gelet op het 95%-geloofwaardig interval zijn een negatief verschil van -0,09 of een positief verschil van 0,12 echter niet uitgesloten. Het interval is ruim vanwege de relatief kleine steekproef.

Tabel 3 Gemiddelden, standaarddeviaties en correlaties tussen VAT, CST20, CST9 en CST9a; Pearsons r met bayesiaans 95%-geloofwaardig interval, N = 55

Afkortingen: M = gemiddelde, SD = standaarddeviatie; CST = Cognitieve Screening Test; VAT = Visuele Associatie Test. Legenda: boven de diagonaal (zie de cijfers 1) zes correlatiecoëfficiënten (met bayesiaans 95%-geloofwaardig interval); onder de diagonaal drie correlatieverschillen (met bayesiaans 95%-geloofwaardig interval): de correlatie tussen VAT en CST9 vergeleken met de correlatie tussen VAT en CST20, de correlatie tussen VAT en CST9a vergeleken met de correlatie tussen VAT en CST20 en de correlatie tussen VAT en CST9a vergeleken met de correlatie tussen VAT en CST20

Test-hertesteffecten

De CST9-resultaten waren bij tweede afname iets beter dan bij eerste afname, met een gemiddeld verschil van 0,38 (zie Tabel 4). Het maakte daarbij geen verschil of de negen items bij eerste afname in de context van de CST20 waren aangeboden of in de hiërarchische volgorde, als op zichzelf staande CST9.

Tabel 4 laat een test-hertestbetrouwbaarheid van 0,89 zien (berekend als Intraclass Correlatiecoëfficiënt, ICC). Voor toepassing in de klinische praktijk is de 95%-Reliable Change Index (RCI) van belang. De RCI is het klinisch relevante verschil tussen een test- en een hertestscore. Voor de CST9 zijn een scorevermindering tussen twee testafnames van (afgerond) twee punten of meer, respectievelijk een scoretoename van drie punten of meer, betekenisvol. Kleinere scoreveranderingen kunnen beschouwd worden als normale fluctuaties in herhalingsonderzoek (Woods e.a., 2006).

Tabel 4 Test-hertestgegevens (N = 65) voor de hiërarchische variant van de Cognitieve Screening Test: CST9

M = gemiddelde; SD = standaarddeviatie; ICC = Intraclass Coëfficiënt; RCI = Reliable Change Index

Leereffecten tussen testafnames betroffen vaker de semantische dan de episodische geheugenitems. Tabel 5 laat een verbetering tussen test en hertest zien voor de gemiddelde somscore van de zeven semantische geheugenitems, maar niet voor die van de twee episodische geheugenitems: 'wat is de maand' en 'wat is het jaar'. Het verschil in leereffect voor semantische en episodische geheugenitems komt tot uitdrukking in de significante interactieterm: test-hertest met itemtype (episodisch of semantisch), in een variantieanalyse met herhaalde metingen. Episodische geheugenitems vragen telkens weer om inzicht in een veranderlijke temporele context. Semantische geheugenitems daarentegen doen een beroep op verworven kennis, die in of na een eerste testsessie kan zijn geactiveerd en in een volgende testsessie opnieuw of beter toegankelijk is. Zo werd een sterk netto leereffect gevonden voor item 8, waarbij acht van de 65 deelnemers premier Mark Rutte niet bij de eerste testsessie, maar wel bij de tweede wisten te noemen, tegenover één deelnemer voor wie het omgekeerde gold.

Er werd geen verband gevonden tussen de grootte van een leereffect en een langer of korter interval tussen de twee testsessies. De plausibele verwachting van een negatieve correlatie, namelijk dat een korter interval zou samenhangen met een groter leereffect, werd niet door de data ondersteund (r = 0,09; 95%-CI: -0,16; 0,31).

Tabel 5 Test-hertestgegevens (N = 65) onderscheiden naar de somscores voor de twee episodische en de zeven semantische geheugenitems in de hiërarchische variant van de Cognitieve Screening Test: CST9

M = gemiddelde; SD = standaarddeviatie; F-toets voor de interactieterm geheugentype*testmoment: F_{1, 64} = 11,49, p = 0,001

Discussie

De hiërarchische versie van de Cognitieve Screening Test is hier op bruikbaarheid voor de klinische praktijk onderzocht. Er zijn twee manieren om een hiërarchisch gestructureerde schaal te gebruiken: stoppen na het eerste item dat onjuist wordt beantwoord of alle items afnemen. De oorspronkelijk vastgestelde opklimmende moeilijkheidsgraad van negen CST-items werd bevestigd, maar is niet voor iedereen even stringent. Het advies is dan ook om bij klinische toepassing alle negen items voor te leggen (Kempen e.a., 1995). Overigens verschilden de validiteitscoëfficiënten (correlaties met een andere geheugentest (VAT)) bij toepassing van de stopregel of volledige afname weinig.

Wat betekent de CST9 voor de klinische praktijk? De CST9 is een optimale selectie van gemakkelijke en moeilijke items uit de CST20. De negen items representeren de essentie van de oorspronkelijke 20-itemversie en vormen een bruikbaar instrument voor onderzoek van de mentale status. Test-hertestgegevens bieden een referentie die de klinisch neuropsycholoog kan gebruiken om betekenisvolle veranderingen vast te stellen, zoals een scoreverbetering van minstens drie punten of een scorevermindering van twee punten of meer. Deze gegevens zijn voor de CST20 niet beschikbaar. Voor onderzoek van (oudere) patiënten die vanwege verminderde cognitieve capaciteiten weinig belastbaar zijn, kan gebruik van de korte, hiërarchische CST9 de voorkeur verdienen boven de langere CST20.

Dankbetuiging

De auteur is de psychologen Judith Centen, Nicole Hooiveld, Mary Koer en Anneke Schoen zeer erkentelijk voor hun medewerking aan dit onderzoek.

© 2009-2025 Uitgeverij Boom Amsterdam
ISSN 1871-1391

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.