Advanced Neuropsychological Diagnostics Infrastructure (ANDI): Voor een scherpere neuropsychologische diagnostiek

Inleiding

Een belangrijk onderdeel van elk neuropsychologisch onderzoek (NPO) is het afnemen van cognitieve tests. Meestal neemt men niet één enkele test af, maar een aantal tests die verschillende cognitieve functies beogen te meten. De onderzochte persoon is over het algemeen een patiënt die hersenschade of een hersenziekte heeft, of bij wie hersenschade of -ziekte wordt vermoed.

De eerste vraag die de neuropsycholoog na het afnemen van de tests moet beantwoorden, is of er testresultaten zijn die afwijken van de norm, en zo ja, welke dan de afwijkende testscores zijn en hoe groot die afwijkingen zijn. Met 'afwijken van de norm' bedoelen we dat een score niet overeenkomt met het niveau dat men mag verwachten bij gezonde mensen, die vergelijkbaar zijn met de patiënt wat betreft leeftijd, geslacht, opleidingsniveau en eventuele andere relevante kenmerken. Er kleven problemen aan deze werkwijze. We zetten deze problemen hier eerst uiteen, en vervolgens bieden we er een oplossing voor: ANDI.

Problemen bij het beoordelen van testresultaten

Bij het beantwoorden van de vraag of er afwijkende testscores zijn, doet zich een aantal problemen voor. Ten eerste is het bij lang niet alle tests mogelijk rekening te houden met, of te corrigeren voor, alle relevante kenmerken van de patiënt. Veel tests zijn bijvoorbeeld alleen genormeerd voor verschillende leeftijden, zodat wel gecorrigeerd kan worden voor de leeftijd, maar niet voor andere belangrijke kenmerken zoals het opleidingsniveau. Ten tweede is er het probleem van de multipele vergelijkingen. Daarmee bedoelen we het volgende. Bij een NPO is het heel gewoon dat er pakweg tien à twintig testscores moeten worden beoordeeld op een mogelijke afwijking van de norm. Elke score wordt dan vergeleken met de normgegevens van de betreffende test. Dan kan er bij toeval een afwijking worden gevonden: een score wijkt af van de norm, terwijl de patiënt geen stoornis heeft. Dat gevaar van 'fout-positieve' conclusies wordt groter naarmate er meer tests zijn afgenomen. Ten derde is er het probleem dat elk testresultaat apart wordt beoordeeld op afwijkingen van de norm zonder naar de sterke en zwakke punten in het testprofiel te kijken. Dat gebeurt althans niet op een systematische manier, hooguit kwalitatief of intuïtief. Ongewone combinaties van testresultaten kunnen zo onopgemerkt blijven. Om deze problemen te ondervangen hebben we de 'Advanced Neuropsychological Diagnostics Infrastructure' (ANDI) gebouwd.

De oplossing: Advanced Neuropsychological Diagnostics Infrastructure (ANDI)

ANDI is een website waarin normgegevens van neuropsychologische tests zijn opgenomen. Deze testgegevens zijn gedoneerd door een groot aantal onderzoeksgroepen (het ANDI consortium; zie www.andi.nl). De data zijn afkomstig van gezonde mensen, die hetzij als controlepersonen hebben deelgenomen aan klinisch wetenschappelijk onderzoek, hetzij aan een bevolkingsonderzoek. Op het moment dat we dit schrijven bevat de database gegevens van meer dan 27.000 mensen. De website is gebouwd met hulp van het Netherlands eScience Center.

Klinisch neuropsychologen en wetenschappelijk onderzoekers kunnen met behulp van ANDI de testresultaten van hun patiënt(en) vergelijken met de norm. De normgegevens zijn, waar nodig, gecorrigeerd voor leeftijd, opleidingsniveau en geslacht (De Vent e.a., 2016). De statistische methode die wordt gebruikt is de multivariate normatieve vergelijking (MNV; Huizenga e.a., 2007). De MNV toetst in één keer of het profiel van testscores afwijkt van de norm. Dus de gebruiker hoeft maar één keer te beslissen wat als afwijkend wordt beschouwd. Zo wordt de kans op fout-positieve conclusies onder controle gehouden. Bovendien is de MNV-methode gevoelig voor ongewone patronen in het testprofiel, zelfs als dat profiel gemiddeld genomen niet opvallend is.

In het navolgende beschrijven we de website, geven we een overzicht van de testgegevens in de database, zetten we kort uiteen wat de techniek van multivariate normatieve vergelijking inhoudt, en geven we een samenvatting van de eerste resultaten die met behulp van ANDI zijn behaald.

Figuur 1 De pagina van de ANDI-website waar de gebruiker kan kiezen welke tests geanalyseerd moeten worden. De keuze kan desgewenst worden bewaard in een tekstbestand dat kan worden gedownload. In dit bestand kunnen data van meerdere patiënten worden ingevoerd en op een later moment worden geüpload en geanalyseerd.

De ANDI-website

Gebruikers (clinici en onderzoekers) kunnen de neuropsychologische testresultaten van hun patiënt(en) uploaden op de ANDI-website. Daartoe kiest de gebruiker uit een menu de testgegevens die worden ingevoerd op de website, of de gebruiker stuurt een tekstbestand met testgegevens naar de website (Figuur 1). Daarna kan de gebruiker de gegevens invoeren of inzien op de website (Figuur 2).

ANDI verwerkt de testgegevens en verstrekt de gebruiker een rapport met een figuur waarin voor iedere patiënt apart het profiel van testscores is te zien (Figuur 3), een univariate analyse van de afzonderlijke testscores (Figuur 4) en een multivariate analyse van het profiel van de testscores (Figuur 5). De multivariate analyse in het rapport laat zien of het profiel van scores van de patiënt afwijkt van de norm (dus erop zou kunnen wijzen dat de patiënt een cognitieve stoornis heeft), en de univariate analyses laten zien welke afzonderlijke tests afwijken van de norm.

Het rapport geeft ook een schatting van de frequentie waarmee de score van een patiënt voorkomt in de normale populatie. Dit is af te leiden uit de p-waarde van de univariate vergelijking (Figuur 4). Bijvoorbeeld, de p-waarde van 0,069 bij de delayed recall op de 15-woordentest van patiënt 2 (in de figuur aangeduid als Auditory Verbal Learning Test, AVLT) betekent dat ongeveer 7% van de normale populatie een dergelijk lage score of lager behaalt. Deze informatie is essentieel om te beoordelen in hoeverre de afwijking klinisch van belang is.

De gebruiker kan de ingevoerde data downloaden als een tekstbestand. Ook de grafische testprofielen en de numerieke resultaten kunnen worden gedownload als pdf-bestanden.

Figuur 2 De data-entry-pagina, waar men data kan invoeren, of kan zien of data correct zijn geüpload

Figuur 3 De testscores van drie patiënten. De scores zijn uitgedrukt op een z-scoreschaal, gecorrigeerd voor leeftijd, geslacht en opleidingsniveau.

Figuur 4 Univariate analyse van de testscores van patient 1. In de kolom 'difference' is te zien hoeveel standaarddeviaties de patiënt afwijkt van het gemiddelde, gecorrigeerd voor leeftijd, geslacht en opleidingsniveau. In de kolom 'N' is te zien op hoeveel normgegevens de betreffende vergelijking is gebaseerd.

Figuur 5 Multivariate toetsingen van de drie patiënten. 'Sum of differences' is de som van de afwijkingen van het verwachte niveau (de som van de differences in Figuur 4). De p-waarde geeft aan of het testprofiel significant afwijkt van normale profielen. Dit is alleen voor patiënt 2 het geval.

Privacy en toegankelijkheid van de ANDI-website

De data die worden ingevoerd of geüpload zijn anoniem en worden niet bewaard door ANDI. Er is dus geen probleem met betrekking tot de privacy van de patiëntgegevens. De website is niet voor iedereen toegankelijk. ANDI is bedoeld als hulpmiddel voor neuropsychologen en andere personen die voldoende gekwalificeerd zijn. Daarom moet men voor het eerste gebruik een account aanmaken. Als men een e-mailadres van een Nederlandse of Vlaamse universiteit of gezondheidszorginstelling heeft, dan krijgt men direct toegang. Andere potentiële gebruikers moeten via de website vragen om een account, waarbij gevraagd zal worden naar hun kwalificaties. Deze procedure is bedoeld om misbruik zo veel mogelijk te voorkomen.

De ANDI-database

Op het moment dat wij dit schrijven, biedt de website de mogelijkheid een betrekkelijk klein aantal tests te analyseren. Dit zijn tests die in Nederland veel worden gebruikt, te weten Rey Auditory Verbal Learning Test of 15-woordentest, Rivermead Behavioural Memory Test (RBMT, subtest berichten onthouden), Trail Making Test, Stroop Kleur-Woord Test, letterfluency, categoriefluency (dieren en beroepen), Boston Naming Test, en de Mini-Mental State Examination (MMSE). De grootte van de normgroepen voor deze tests varieert tussen n = 347 voor RBMT, berichten tot n = 5783 voor fluency dieren, en n = 16.198 voor de MMSE. De database bevat gegevens van veel meer tests (> 40), namelijk van zes veelgebruikte geheugentests of -batterijen, zeven executieve tests/batterijen, vier tests van aandacht en werkgeheugen, drie taaltests, vier visuele waarnemingstests, een test van de handmotoriek, zes intelligentietests/batterijen, twee dementiescreeners en acht stemmings- of gedragsvragenlijsten. De grootte van de normgroepen loopt uiteen van n = 40 (Peabody Picture Vocabulary test) tot n = 16.198 (MMSE). In totaal zijn er geanonimiseerde demografische en testgegevens van meer dan 27.000 mensen beschikbaar. Het is de bedoeling deze uitgebreidere dataset geleidelijk aan te ontsluiten en meer tests in de website op te nemen.

De data zijn grondig geschoond en de scores van elke test zijn, waar nodig, gecorrigeerd voor leeftijd, opleiding en geslacht, en vervolgens, waar nodig, getransformeerd naar normaliteit (De Vent e.a., 2016). Ook de covariantiematrix, dat wil zeggen, de onderlinge samenhang tussen de tests, is berekend. Die bewerkingen waren nodig om de MNV-methode toe te kunnen passen.

Multivariate normatieve vergelijking (MNV)

Bij een gebruikelijke univariate normatieve vergelijking kijkt men waar een testscore valt in de verdeling van testscores in een normale populatie. Als de normale populatie een gemiddelde score van 100 heeft en een standaarddeviatie van 15 zoals bij IQ, dan is een score van 97 niet uitzonderlijk. Maar iemand met een score van 70 valt in de linkerstaart van de verdeling en is dus wel uitzonderlijk te noemen. Bij een multivariate normatieve vergelijking (MNV) wordt deze redenering uitgebreid naar meerdere tests. Als de normale populatie op twee tests gemiddeld respectievelijk 100 (sd = 15) en 50 (sd = 10) scoort, dan is iemand met scores van 97 en 52 niet uitzonderlijk. Of iemand met scores van 130 en 40 dat wel is, hangt af van de correlatie tussen die twee tests. Als hoge scores op de ene test in de normale populatie samengaan met hoge scores op de andere, is deze combinatie van laag en hoog wel uitzonderlijk (zie Figuur 6). Zo kan met één enkele toets worden bepaald of een combinatie van meerdere testscores uitzonderlijk is (Huizenga e.a., 2007).

Figuur 6 Correlatie tussen twee tests in de normale populatie (grijze ellips) en de testscores van twee personen. De zwarte persoon scoort op beide tests tamelijk slecht, maar wijkt nog niet af van de norm. De zwarte persoon scoort op beide tests minder extreem, maar wijkt desondanks af van de norm. Bij zijn goede score op test 1 zou men een betere score op test 2 verwachten. Stel dat test 1 het benoemen van kleuren is van de Stroop Test en dat test 2 de interferentieconditie van de Stroop Test is. Dan wijst het resultaat van de zwarte persoon op problemen met inhibitie en/of op problemen met het richten van de aandacht.

Voordelen van multivariate normatieve vergelijking

Multivariate normatieve vergelijking heeft twee belangrijke voordelen boven de reguliere manier van werken. Ten eerste voert men maar één statistische toets uit. Daarmee is de kans op fout-positieve uitslagen onder controle, want die kans is gelijk aan het significantieniveau dat men kiest voor de MNV. Een significantieniveau van 5% is equivalent aan een specificiteit van ten minste 95%. Met andere woorden, ten minste 95% van de cognitief intacte mensen zullen terecht niet als afwijkend worden bestempeld.

Het tweede voordeel is dat MNV rekening houdt met de correlaties tussen de tests. Daardoor is de methode niet alleen gevoelig voor afwijkingen van de gemiddelden in de normgegevens, maar ook voor ongewone patronen in het profiel van scores die elk op zich niet afwijkend hoeven te zijn (zie Figuur 6). Dergelijke ongewone patronen, of pieken en dalen in het profiel, wijzen op dissociaties.

Een derde voordeel van ANDI is dat ook de gangbare univariate vergelijkingen worden gedaan. De univariate resultaten worden getoond in een grafiek (Figuur 3) en in een tabel (Figuur 4). De gebruiker kan dus desgewenst het MNV-resultaat buiten beschouwing laten en uitsluitend de univariate vergelijkingen gebruiken. Het is natuurlijk ook mogelijk om voor één enkele test een univariate normatieve vergelijking uit te voeren.

Eerste resultaten: proof of principle

Met al deze verbeteringen verwachten we dat ANDI scherpere diagnostische beslissingen mogelijk maakt dan de gangbare werkwijze. Om na te gaan of dit werkelijk zo is, hebben we de gegevens van een van onze onderzoeksprojecten (Broeders e.a., 2013) opnieuw geanalyseerd, maar nu met gebruikmaking van ANDI. In dit onderzoek zijn 123 parkinsonpatiënten, die nog maar net de diagnose hadden gekregen, neuropsychologisch onderzocht en gedurende een aantal jaren gevolgd. Bij het begin van de studie voldeed ruim een derde van de patiënten aan de klinische criteria voor Mild Cognitive Impairment bij de ziekte van Parkinson (PD-MCI; Litvan e.a., 2012). Na vijf jaar waren twintig patiënten dement geworden. De MNV-methode voorspelde inderdaad iets beter dan de PD-MCI-diagnose of patiënten in de tussenliggende jaren dement zouden worden. De sensitiviteit van beide methoden was vergelijkbaar, namelijk 0,59 (95% BI: 0,36-0,78) voor PD-MCI en 0,47 (95% BI: 0,26-0,69) voor de MNV. De specificiteit van de MNV-methode was echter veel beter dan die van de PD-MCI-diagnose, namelijk 0,96 (95% BI: 0,87-0,99) voor MNV en 0,75 (95% BI: 0,62-0,85) voor PD-MCI. Minder patiënten werden door MNV als afwijkend gekwalificeerd dan dat er een PD-MCI-diagnose kregen, maar degenen die afwijkend waren volgens MNV hadden een grotere kans om dement te worden. Er waren dus veel minder fout-positieve diagnoses. Anders gezegd, de positief-predictieve waarde van MNV was groter dan van de PD-MCI-diagnose (56% versus 31%).

Mogelijke nadelen van ANDI

De normatieve database en de statistische analysemogelijkheden van de website zijn gereedschappen voor clinici en onderzoekers, met de nadruk op 'gereedschappen'. Oordeelkundig gebruik van de website veronderstelt dat de gebruiker over voldoende neuropsychologische vakkennis beschikt. Wat dat betreft verschilt de website niet wezenlijk van een testhandleiding. De gebruiker blijft verantwoordelijk voor adequate toepassing van de mogelijkheden van de website. Onoordeelkundig gebruik proberen we zo veel mogelijk tegen te gaan door alleen toegang te verlenen aan mensen die een e-mailadres van een universiteit of gezondheidszorginstelling hebben, en aan mensen die aannemelijk kunnen maken dat ze voldoende gekwalificeerd zijn. Uiteraard is dit geenszins een waterdichte afscherming, maar strengere alternatieven zijn minder werkbaar en evenmin waterdicht.

Een tweede mogelijk nadeel is dat de methoden die in ANDI zijn geïmplementeerd berusten op assumpties. Zo is aangenomen dat leeftijd een lineair effect heeft op neuropsychologische testscores en dat de correlatie tussen tests niet verandert over leeftijd. Op de ANDI-website en in de wetenschappelijke publicaties die ten grondslag liggen aan de ANDI-website, worden deze assumpties duidelijk beschreven.

Een derde mogelijk nadeel zou kunnen zijn dat gebruikers minder geneigd zijn nieuwe tests toe te passen, als deze niet in de website zijn opgenomen. Dan zou ANDI een remmende invloed kunnen uitoefenen op nieuwe ontwikkelingen in de neuropsychologische diagnostiek. Natuurlijk is dat allerminst onze bedoeling. Daarom nodigen we testconstructeurs uit met nieuwe tests aan te haken bij ANDI.

Ten slotte

Het gebruik van de website is vooralsnog gratis voor Nederlandse en Vlaamse clinici en onderzoekers. We verwachten dat de website online komt in januari 2017. De figuren die we hier hebben getoond zijn van een bètaversie. Mogelijk ziet het uiterlijk van de uiteindelijke versie er iets anders uit.

We nodigen de lezer uit de website uit te proberen, en we zijn vanzelfsprekend zeer geïnteresseerd in suggesties voor verbeteringen.

© 2009-2024 Uitgeverij Boom Amsterdam
ISSN 1871-1391

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.