De Amsterdamse Dementie-Screeningstest (ADS) bestaat uit zes subtests voor onderzoek van leren en geheugen (Visueel geheugen, Oriëntatie, Achtwoordentest), executieve functies (Meander), taal (Fluency) en visueel-constructievermogen (Natekenen). Normen dateren van voor 1989. Nieuwe gegevens zijn verzameld bij 102 ouderen (65–94 jaar), vrij van dementie of een andere cognitieve stoornis (MMSE > 24), en zelfstandig in de uitvoering van complexe instrumentele activiteiten van het dagelijks leven. Gezondheidsproblemen vormden geen uitsluitingscriterium. De resultaten zijn vergeleken met die van 741 personen met dementie.

Scores voor de subtest Fluency zijn gecorrigeerd voor individuele verschillen in leeftijd en opleiding. Voor de andere onderdelen van de ADS was dat niet nodig. Voor elke subtest is een grensscore bepaald, die door minder dan 5 % van de normale deelnemers werd behaald. Een dergelijke grensscore duidt op een ‘beperking’. Het aantal ‘beperkingen’ varieerde van 0 tot 3 voor normale deelnemers, en van 0 tot 6 voor deelnemers met dementie.

Voorspellende waarden van het aantal beperkingen voor het onderscheid tussen dementie en normale cognitieve veroudering zijn bepaald voor verschillende voorafkansen op afwezigheid van dementie (normale cognitie).

Bij normale ouderen zijn voor de Achtwoordentest naast de onmiddellijke reproductie ook de uitgestelde reproductie en herkenning onderzocht. Uitgestelde reproductie werd optimaal voorspeld door een regressiemodel met onmiddellijke reproductie, uitgestelde herkenning door een model met onmiddellijke en uitgestelde reproductie.

Diverse tabellen bieden de klinisch neuropsycholoog ondersteuning voor diagnostische beslissingen over de aanwezigheid of afwezigheid van een uitgebreide neurocognitieve stoornis (dementie).

The six tests in the Amsterdam Dementia Screening Test (ADST) examine the cognitive domains of episodic memory (delayed picture recognition, word learning), orientation, category fluency (animals and occupations), constructional ability (figure copying) and executive function (alternating sequences). New normative data were collected in a sample of 102 elderly volunteers (aged 65–94), including subjects with medical or other health conditions, except dementia or frank cognitive impairment (MMSE > 24). Included subjects were independent in complex instrumental activities of daily living.

Fluency, not the other tests, needed adjustment for age and education. A deficit score (0–1) was computed for each test. Summation (range 0–6) proved useful in differentiating patients with dementia (N = 741) from normal elderly (N = 102).

Positive and negative predictive power across a range of summed deficit scores and base rates are displayed in Bayesian probability tables.

In the normal elderly, delayed recall for eight words was tested and adjusted for initial recall. A recognition test mixed the target words with eight distractors. Delayed recognition was adjusted for immediate and delayed recall.

The ADST and the normative data in this paper help the clinical neuropsychologist to make decisions concerning the presence or absence of neurocognitive disorder in individual elderly examinees.


1295 Weergaven
566 Downloads
Lees verder

In 1989 werd de handleiding voor de Amsterdamse Dementie-Screeningstest (ADS) gepubliceerd [ 1 ]. De ADS bestaat uit zes subtests voor onderzoek van leren en geheugen (Visueel geheugen, Oriëntatie, Achtwoordentest), executieve functies (Meander), taal (Fluency) en visueel-constructievermogen (Natekenen). De handleiding beschrijft de testonderdelen en afnameprocedures uitgebreid en nauwkeurig en geeft zorgvuldige aanwijzingen voor een kwantitatieve en kwalitatieve analyse van de testresultaten. De ADS vindt dan ook brede toepassing in het onderzoek van cognitieve functies bij oudere volwassenen. De ADS is opgenomen in de tool kit van cognitieve meetinstrumenten van het Universitair Netwerk Ouderenzorg en verdiende een plaats in de tweede, herziene druk van het Handboek neuropsychologische diagnostiek [ 2 ].

Tijdens de ontwikkeling van de ADS zijn destijds normeringsgegevens verzameld bij 107 niet-demente psychiatrische patiënten (65–92 jaar) en 131 even oude patiënten met een alzheimerdementie of vasculaire dementie. Gegevens voor alle zes subtests waren beschikbaar voor 89 psychiatrische en 104 demente patiënten [ 1 ].

Sinds de ontwikkeling van de ADS is, voor zover bekend, geen nieuw onderzoek gedaan bij niet-demente oudere volwassenen. Normeringsgegevens hebben een beperkte houdbaarheid [ 3 ]. Oudere generaties behalen gemiddeld lagere scores op cognitieve tests dan jongere. Dit staat bekend als het Flynn-effect, dat wordt toegeschreven aan generatieafhankelijke, gunstige veranderingen in opleiding, gezondheid, werkomstandigheden en sociale omgeving [ 4 ]. Van oudere volwassenen die geboren zijn na 1945 mag worden verwacht dat zij gemiddeld betere resultaten behalen op cognitieve tests dan ouderen uit eerdere geboortegeneraties. Het is voor diagnostische beslissingen over testuitslagen dan ook van groot belang dat normeringsgegevens up-to-date zijn.

In het kader van haar afstudeerproject aan de faculteit Psychologie van de Open Universiteit onderzocht de eerste auteur (MvT) 102 niet-demente ouderen met de ADS. De tweede auteur (HD) stelde ADS-gegevens beschikbaar die eerder waren verzameld bij 741 mensen met dementie [ 5 ]. Wij beogen de toepassing van de ADS te ondersteunen met nieuwe gegevens en analyses. De analyses waren gericht op de volgende doelen: (1) we onderzochten de invloed van leeftijd en opleiding op ADS-subtestscores van niet-demente ouderen, (2) we bepaalden voor elke ADS-subtest een klinische drempelwaarde voor een cognitieve beperking en we onderzochten het vermogen van de ADS om normale cognitieve veroudering te onderscheiden van dementie (3).

Bij honderd niet-demente deelnemers werd ook de uitgestelde reproductie en herkenning van de Achtwoordentest onderzocht. We geven de resultaten weer in een normtabel met percentielscores op basis van het aantal woorden dat bij onmiddellijke reproductie werd genoemd, en een normtabel voor uitgestelde herkenning die rekening houdt met het aantal woorden genoemd bij onmiddellijke en uitgestelde reproductie.

Methoden

Deelnemers

Niet-demente ouderen werden geworven via de website van de Stichting Alzheimer Nederland, een nieuwsbrief voor ouderen van een serviceflat, een nieuwsbrief voor vrijwilligers die werkzaam waren in een verpleeghuis en via mond-tot-mondreclame van de deelnemende ouderen zelf. Tevens werd een oproep gedaan via een alzheimercafé en aan een groep ouderen van een kerkelijke gemeente. Deelnemers waren 65 jaar of ouder. Uitsluitingscriteria waren dementie of een evidente cognitieve stoornis, een psychiatrische diagnose of visuele waarnemingsproblemen die testafname in de weg zouden staan. Afwezigheid van dementie werd gecontroleerd met behulp van de Mini-Mental State Examination en de Cognitieve Screening Test: een MMSE-score > 24 en een CST-score > 14 waren vereist [ 3 , 6 ]. Van de 105 personen die zich vrijwillig aanmeldden, werden er drie van verdere deelname uitgesloten omdat bij het kennismakingsgesprek en tijdens de testafname evidente cognitieve stoornissen merkbaar werden.

Met behulp van een gestandaardiseerde vragenlijst werd het zelfstandig functioneren bij complexe instrumentele activiteiten van het dagelijks leven onderzocht [ 7 ]. De eerste auteur en onderzoeker (MvT) is naast psycholoog ook verpleegkundige. Zij informeerde naar subjectieve klachten over geheugen en stemming, de ziektegeschiedenis, medicatiegebruik en somatische aandoeningen. Onderzoek bij de niet-demente ouderen vond plaats in de periode 2013–2015.

Gegevens voor de 741 ouderen met dementie (65 jaar of ouder) zijn afkomstig uit een databestand van achtereenvolgende deelnemers aan psychogeriatrische dagbehandeling, verzameld door de tweede auteur (HD). Deelnemers voldeden aan de DSM-4 criteria voor dementie en werden voor dagbehandeling verwezen door geriaters of neurologen van de regionale geheugenpoli’s. De ADS-gegevens werden verkregen in de periode 2002–2012. De ADS werd afgenomen in het kader van het reguliere cognitieonderzoek, met daaraan voorafgaand ook de Expanded Mental Control Test (EMCT) [ 8 ]. Voor de Achtwoordentest (Awt) waren gegevens van 496 patiënten beschikbaar, een subgroep van de totale groep van 741 deelnemers met dementie. In eerder onderzoek is vastgesteld dat de Awt geen diagnostische informatie toevoegt bij patiënten met zowel een lage score (onder het voor opleiding gecorrigeerde afkappunt) op de Expanded Mental Control Test (EMCT), als een lage score (<18) op de ADS-subtest Fluency [ 9 ]. Van patiënten met deze combinatie van scores behaalde 97 % (95 %-BI: 91–99 %) een score onder 22 op de Awt, passend bij een gewogen score 0 of minder [ 1 ].

Het onderzoek werd getoetst en goedgekeurd door de ethische commissie van de Open Universiteit Nederland (cETO).

Procedure

De ADS werd volgens de handleiding afgenomen. Onderzoek van de uitgestelde reproductie van de Achtwoordentest gebeurde bij de normale controlegroep ongeveer tien minuten na onmiddellijke reproductie. Tijdens het interval nam de onderzoeker de medische anamnese af en informeerde zij naar hobby’s, opleidingsniveau en andere demografische gegevens. Na uitgestelde reproductie volgde een ja-nee-herkenningstest voor acht eerder aangeboden en acht nieuwe woorden, zoals beschreven in de handleiding van de ADS. Uitgestelde reproductie van de Achtwoordentest is niet bij de dementiepatiënten onderzocht.

Analyses

Opleiding werd gecodeerd op een schaal van 1 tot 7 [ 10 ]. De associatie van leeftijd, opleiding en geslacht met ADS-scores werd onderzocht met multiple regressieanalyses voor elke ADS-subtest. Klinische drempelwaarden werden gedefinieerd als testscores met een specificiteit van 95 %, dat zijn scores die meer dan 95 % van de groep met een normale cognitie behaalde. Het vermogen van ADS-subtests om onderscheid te maken tussen deelnemers zonder en met dementie werd bepaald door de area under the receiver operating characteristics curve (AUC) te berekenen. De berekeningen werden uitgevoerd met behulp van R‑software [ 11 ].

Resultaten

Uit tab. 1 blijkt dat de meeste deelnemers met een normale cognitie geen beperkingen ondervonden bij het uitvoeren van complexe instrumentele activiteiten (IADL). Het meest frequent (92,2 %) was een beperking in het gebruik van openbaar vervoer. Ruim twee derde (68,8 %) van 93 deelnemers antwoordde bevestigend op de vraag of hun geheugen de laatste twee jaar was achteruitgegaan (de vraag is onbedoeld aan negen deelnemers niet gesteld). Ruim een kwart (27,5 %) had zich in het verleden depressief gevoeld, voor drie deelnemers was depressie een actuele klacht. Een op de vijf deelnemers (21,6 %) gebruikte meer dan vijf verschillende medicijnen. Twee derde van de deelnemers (65,7 %) had minstens één somatische aandoening (zoals hypertensie, hartproblemen, COPD, diabetes of een eerder doorgemaakt cva of delier), wat overeenkomt met de prevalentie van chronische ziekten in de oudere bevolking van Nederland [ 12 ].

Tabel 1 Demografische gegevens van 102 deelnemers met een normale cognitie (NC) en 741 deelnemers met dementie.

NC dementie
variabele N = 102 N = 741
vrouwen 58 (56,9 %) 434 (58,6 %)
mannen 44 (43,1 %) 307 (41,4 %)
leeftijd (gemiddelde; SD; bereik) 75,5; 7,3; 65–94 79,6; 5,4; 65–92
opleiding (code Verhage) n (%) n (%)
LO (1–3) 11 (10,8) 234 (31,5)
LBO (4) 14 (13,7) 144 (19,4)
MBO (5) 33 (32,4) 162 (21,9)
HAVO/VWO (6) 36 (35,3) 162 (21,9)
universitair (7) 8 (7,8) 39 (5,3)
IADL (aantal beperkingen) n (%) n (%)
0 88 (86,3)
1 12 (11,8)
2–3 2 (2,0)
aantal somatische aandoeningen n (%) n (%)
0 35 (34,3)
1 33 (32,4)
2 27 (26,5)
3–4 7 (6,9)
diagnose n (%) n (%)
alzheimerdementie 567 (76,5)
vasculaire dementie 126 (17,0)
overige dementie 48 (6,5)
dementieduur in jaren: mediaan (P25–P75) 2,9 (2,1–4,4)

Voor de groep NC zijn gegevens voor IADL (Instrumentele Activiteiten van het Dagelijks Leven) en somatische aandoeningen weergegeven. Voor deelnemers met dementie: diagnose en dementieduur bij aanvang van het onderzoek

Bij de deelnemers met dementie had driekwart een diagnose alzheimerdementie, 17 % vasculaire dementie en 6,5 % dementie wegens een andere aandoening, zoals ziekte van Parkinson of frontotemporale atrofie.

Deelnemers met een normale cognitie waren gemiddeld vier jaar jonger dan deelnemers met dementie (t = −6,86; df = 841; p < 0,001). Ook waren deelnemers met dementie gemiddeld minder hoog opgeleid dan niet-demente deelnemers (χ2 = 27,12; df = 4; p < 0,001). Het is daarom van belang de associatie van opleiding en leeftijd met resultaten op de ADS nader te onderzoeken.

Relatie van leeftijd en opleiding met ADS-scores van niet-demente deelnemers

Multiple regressieanalyse liet voor de subtests Visueel geheugen (VG) en Meander (ME) enkel een correlatie met leeftijd zien (tab. 2). Hogere leeftijd vergrootte de kans op fouten bij VG. De score op ME nam toe naarmate een deelnemer jonger was. Alleen opleiding was gecorreleerd met de subtests Natekenen en de Achtwoordentest (Awt). Met een hogere opleiding namen de gemiddelde scores voor Natekenen en Awt toe. De fluencyscore (som van verschillende dieren en beroepen genoemd in telkens één minuut) was gemiddeld groter voor deelnemers met hogere opleiding en lagere leeftijd. In geen van de multiple regressieanalyses hadden genderverschillen enige verklarende waarde.

Tabel 2 Regressiecoëfficiënten (beta) groter of kleiner dan nul (zie het 95 %-betrouwbaarheidsinterval) volgens multiple regressieanalyses bij 102 niet-demente deelnemers, met geslacht, leeftijd en opleiding als onafhankelijke, en ADS-subtestscores als afhankelijke variabelen.

leeftijd opleiding
ADS beta (95 %-BI) beta (95 %-BI)
visueel geheugen (fouten) 0,014 (0,001; 0,028)
oriëntatie
meander −0,021 (−0,033; −0,008)
fluency −0,286 (−0,520; −0,051) 2,436 (1,123; 3,749)
natekenen 0,182 (0,096; 0,268)
achtwoordentest 0,808 (0,141; 1,474)

Klinische drempelwaarden

Tab. 3 geeft de klinische drempelwaarden voor elke ADS-subtest in de vorm van de score die door 93 % tot 97 % van de groep met een normale cognitie werd behaald. Op de subtest Visueel geheugen (VG) maakte 96 % geen enkele fout. Eén of meer fouten op VG is onder de klinische drempelwaarde. Dat wijst, anders gezegd, op een beperking bij de desbetreffende subtest. Eenzelfde percentage behaalde de maximale score 4 op de subtest Oriëntatie (OR). Een score van 3 of minder op OR ligt onder de klinische drempelwaarde en duidt op een beperking. Voor de subtest Meander kan een score van 3 of 4 ‘normaal’ worden geacht, lagere scores duiden op een beperking. Op de subtest Natekenen behaalde 93 % van de groep met een normale cognitie een score van 12 of 13 punten. Bij de Achtwoordentest is een score van minstens 23 ‘normaal’ te achten, lagere scores (<23) duiden op een beperking.

Tabel 3 ADS-scores zoals behaald door 100 % (laagste score) en ongeveer 95 % van 102 niet-demente deelnemers (percentages en 95 %-betrouwbaarheidsinterval).

ADS laagste score ≈95 % % (95 %-BI)
visueel geheugen (aantal fouten) 6 0 96,1 (90,4; 98,5)
oriëntatie 3 4 96,1 (90,4; 98,5)
meander 1 ≥3 97,1 (91,7; 99,0)
fluency (deviatiescore)a −1,86 ≥−1,24 95,1 (89,0; 97,9)
natekenen 11 ≥12 93,1 (86,5; 96,6)
achtwoordentest (AWT) 19 ≥23 95,1 (89,0; 97,9)

aFluency (deviatiescore) = (ruwe score min verwachte score)/9,337, De verwachte score wordt als volgt berekend: 43,829–0,142*leeftijd −0,003*leeftijd2 −5,3*opleiding (laag) + 3,346*opleiding(hoog), Leeftijd = Kalenderleeftijd-50, opleiding (laag): codeer laag opleidingsniveau (code Verhage 1–4) als 1, anders als 0, opleiding (hoog): codeer hoog opleidingsniveau (code Verhage 6–7) als 1, anders als 0 [ 13 , 14 ]

Fluency kan niet worden geïnterpreteerd zonder rekening te houden met leeftijd en opleiding [ 13 ]. Eerder onderzoek in het kader van de Maastricht Aging Study (MAAS) bij 1825 deelnemers in de leeftijd van 21–84 jaar, leverde een regressievergelijking op voor een gestandaardiseerde deviatiescore die rekening houdt met leeftijd en opleiding [ 14 ]. In de hier onderzochte groep van 102 niet-demente deelnemers had 95 % voor Fluency een gestandaardiseerde deviatiescore ≥ −1,24. De website van het Tijdschrift voor Gerontologie en Geriatrie (zie onder de downloadknop boven dit artikel) en de auteurs stellen software beschikbaar voor berekening van deviatiescores.

Tab. 3 geeft ook de laagste scores van de groep met een normale cognitie. De oorspronkelijke normen laten voor 3 % tot 14 % van de niet-demente deelnemers scores zien onder de minima van de hier onderzochte vergelijkingsgroep [ 1 ]. Gebruik van de ‘oude’ normen leidt tot overschatting van de prestaties van onderzochten die nu 65–90 jaar zijn (Flynn-effect). Dit geldt vooral voor de Achtwoordentest (Awt). Volgens de ‘oude’ normen behaalde 9 % van de niet-demente deelnemers op de Awt een somscore van 14 of minder, terwijl in de hier beschreven groep geen somscores onder 19 voorkwamen. Bij somscores > 24 hoort volgens de ADS-handleiding een gewogen score (GS) + 2 [ 1 ]. Zo’n gewogen score duidt op een veel beter resultaat voor de destijds onderzochte niet-demente dan voor de demente deelnemers. Volgens de nieuwe normering, op basis van de hier onderzochte groepen, zijn meer dan 31 gereproduceerde woorden nodig voor een GS + 2.

Gegevens voor de deelnemers met dementie betreffen de periode 2002–2012. In theorie zou zich tussen 2002 en 2012 een Flynn-effect kunnen voordoen, al is de periode veel korter dan die van een generatie (25 jaar). We vonden voor geen van de ADS-subtests aanwijzingen dat de resultaten systematisch beter werden voor demente deelnemers uit een later geboortecohort.

Leeftijd, opleiding en klinische drempelwaarden

Hebben leeftijd en opleiding invloed op de klinische drempelwaarden van andere subtests dan Fluency? Dit is onderzocht door de niet-demente deelnemers te splitsen in twee even grote leeftijdsgroepen (≤75 en >75) en twee groepen met een relatief lage (≤5; n = 58) en een relatief hoge opleiding (>5; n = 44). Bij Visueel geheugen maakte 94 % van de oudste groep geen enkele fout. Voor de subtest Meander had 96 % van de oudste groep een ‘normale’ score, dat wil zeggen ≥3. Deze percentages wijken nauwelijks af van de norm van 95 %. Van de 58 deelnemers met een relatief lage opleiding behaalde 90 % bij Natekenen een score boven de drempelwaarde van 11 (95 %-betrouwbaarheidsinterval: 79,2 %; 95,2 %). Opleiding had bij de Achtwoordentest voornamelijk invloed op scores hoger dan 32, dat is ruim boven de klinische drempelwaarde van 23. De effecten van opleiding en leeftijd zijn, behalve voor Fluency, voor geen andere ADS-subtest groot genoeg om er voor de bepaling van klinische drempelwaarden rekening mee te houden. Er is een voorbehoud mogelijk voor Natekenen bij mensen met een opleiding minder dan HAVO/VWO. Tien procent behaalde bij Natekenen een score van 11, zodat een dergelijke score in een minder hoog opgeleide groep niet op een beperking hoeft te duiden [ 1 , 15 ].

Cognitieve beperkingen bij dementie

Tab. 4 geeft voor elke subtest de scores die op een beperking duiden, met daarachter de percentages niet-demente (NC) en demente deelnemers. Het onderscheidend vermogen van elke subtest wordt uitgedrukt door de AUC-coëfficiënt. Tab. 4 laat zien dat de Fluency-deviatiescore het best discrimineert tussen mensen zonder en mensen met dementie. De Achtwoordentest is een goede tweede. Ook de subtest Oriëntatie heeft een relatief hoog onderscheidend vermogen. Een AUC van 0,5 laat geen onderscheid toe tussen normaal functioneren en dementie. Voor elke ADS-subtest lag de ondergrens van het AUC 95 %-betrouwbaarheidsinterval ruim boven 0,5.

Tabel 4 Criteria voor een cognitieve beperking per ADS-subtest. In percentages het aantal deelnemers (zonder, respectievelijk met dementie) voor wie een beperking gold. Het vermogen van elke subtest om onderscheid te maken tussen normale cognitie (NC) en dementie wordt uitgedrukt door AUC (area under the curve) en het 95 %-betrouwbaarheidsinterval (BI).

ADS beperking NC

%

dementie

%

NC versus Dementie

AUC (95 %-BI)

N

NC; Dementie

visueel geheugen (aantal fouten) >0 3,9 48,3 0,726 (0,702; 0,750) 102; 739
oriëntatie <4 3,9 71,1 0,844 (0,825; 0,864) 102; 738
meander <3 2,9 43,4 0,726 (0,696; 0,755) 102; 737
fluency (deviatiescore) <−1,24 4,9 79,7 0,960 (0,944; 0,976) 102; 738
natekenen <12 6,9 38,8 0,760 (0,720; 0,799) 102; 737
achtwoordentest (Awt) <23 4,9 58,1 0,925 (0,896; 0,954) 102; 496

Met behulp van tab. 4 kan de psycholoog-onderzoeker uitspraken doen over het individuele patroon van beperkingen en behouden vaardigheden. Sommige patiënten tonen misschien beperkingen bij episodische geheugentests (Visueel geheugen, Oriëntatie, Achtwoordentest), maar behalen een normaal resultaat op andere onderdelen. Anderen behalen misschien een minder dan normale score op visuele taken (Visueel geheugen, Meander, Natekenen), maar presteren normaal bij de verbale subtests (Oriëntatie, Fluency, Achtwoordentest).

Selectieve beperkingen bij onderdelen die een beroep doen op complexe aandacht en uitvoerende mentale controle, zoals Meander, Fluency en Achtwoordentest, kunnen de DSM-5-diagnose vasculaire neurocognitieve stoornis ondersteunen, althans voor zover deze beperkingen in verband kunnen worden gebracht met een cerebrovasculaire aandoening [ 16 , 17 ].

De oorspronkelijke handleiding bevat een tabel met gewogen scores voor elke subtest [ 1 ]. Een gewogen score liet zien in welke mate de ruwe testscore onderscheid mogelijk maakte tussen de destijds onderzochte demente en niet-demente psychiatrische patiënten. Gewogen scores varieerden van −2 tot +2. Hoe hoger de gewogen score, des te groter de kans dat het resultaat paste bij ‘normale cognitie’. Lage gewogen scores pasten eerder bij ‘dementie’. Een gewogen score met de waarde 0 differentieerde niet of nauwelijks tussen dementie en normale cognitie. Gewogen scores werden opgeteld over subtests.

In dit onderzoek tellen we het aantal subtests waarop een onderzochte een score onder de klinische drempelwaarde behaalt. Een score onder de drempelwaarde duidt op een cognitieve beperking. Het aantal scores onder een drempelwaarde kan variëren van 0 tot 6.

Tab. 5 geeft een overzicht van het aantal beperkingen gevonden bij niet-demente (NC) en demente deelnemers voor drie combinaties van ADS-subtests: alle onderdelen (ADS6), de eerste vijf (zonder Awt) en de ADS3, bekend als de verkorte ADS, bestaande uit Visueel geheugen, Oriëntatie en Fluency [ 18 , 19 ]. Patiënten bij wie op basis van de eerder genoemde criteria niet de Awt werd afgenomen, tellen voor berekening van het aantal beperkingen in tab. 5 wel mee, ervan uitgaande dat hun Awt-score, indien wel verkregen, hoogstwaarschijnlijk onder de klinische drempelwaarde zou hebben gelegen.

Tabel 5 Aantal beperkingen (percentages) bij de complete ADS (ADS6), de eerste vijf subtests, zonder Achtwoordentest (ADS5), en de verkorte vorm (ADS3: Visueel geheugen, Oriëntatie en Fluency) voor deelnemers zonder dementie (NC) en deelnemers met dementie. AUC (area under the curve) en 95 %-betrouwbaarheidsinterval (BI) voor het onderscheid tussen normale cognitie en dementie.

beperkingena ADS6 ADS5 ADS3
NC (N = 102)

%

dementie (N = 721)

%

NC (N = 102)

%

dementie (N = 732)

%

NC (N = 102)

%

dementie (N = 736)

%

0 78,4 1,8 80,4 3,1 88,2 6,1
1 17,6 7,6 16,7 11,5 10,8 20,8
2 2,0 15,5 2,9 27,3 1,0 41,0
3 2,0 23,2 0,0 28,0 0,0 32,1
4 0,0 25,0 0,0 19,8
5 0,0 17,8 0,0 10,2
6 0,0 9,2
AUC (95 %-BI) 0,973 (0,960; 0,985) 0,964 (0,952; 0,977) 0,951 (0,936; 0,966)

aEen beperkingensomscore kon niet voor alle patiënten worden berekend wegens ontbrekende waarden bij een of meer ADS-subtests

Het aantal beperkingen (0 versus >0) varieerde bij deelnemers in de groep met een normale cognitie niet met leeftijd (jonger dan 76 versus ouder) of opleiding (minder dan HAVO/VWO versus hoger): χ2 = 0,12; df = 1; p = 0,73, respectievelijk χ2 = 0,23; df = 1; p = 0,63.

Tab. 5 laat zien dat twee of meer beperkingen bij ouderen zonder dementie (NC) weinig voorkwamen (4 % wanneer wordt uitgegaan van de volledige ADS6, 2,9 % bij de ADS5 en 1 % bij de ADS3). Bij mensen met dementie is het aantal beperkingen veel groter, wat ook tot uitdrukking komt in de hoge AUC-coëfficiënten voor de mate waarin het aantal cognitieve beperkingen discrimineert tussen mensen zonder dementie en patiënten met dementie.

Tab. 5 laat zien hoeveel beperkingen verwacht kunnen worden gegeven de diagnose: normale cognitie (NC) of dementie. Voor de klinisch (neuro)psycholoog is echter de omgekeerde conditionele waarschijnlijkheid interessanter, namelijk de kans op normale cognitie (respectievelijk dementie), gegeven het aantal beperkingen bij de ADS [ 20 ]. Het theorema van Bayes leert dat deze waarschijnlijkheid in hoge mate wordt beïnvloed door de vooraf te bepalen kans dat een onderzochte behoort tot de groep met een normale cognitie of de groep met dementie. De voorafkans op dementie is in een eerstelijnspraktijk of voor oudere mensen met lichte subjectieve geheugenklachten misschien 20 %, maar voor ouderen die verwezen worden naar een geheugenpoli mogelijk 70 % [ 21 , 22 , 23 ].

Waarschijnlijkheid van normale cognitie, gelet op de geschatte voorafkans en ADS-resultaat

Voor drie combinaties van de ADS-subtests geeft tab. 6 de waarschijnlijkheid van normale cognitie, nadat de voorafkans voor normale cognitie is gekozen en het aantal beperkingen is vastgesteld [ 20 , 24 ].

Tabel 6 Achterafkansen (in %) van normale cognitie naar diverse voorafkansen van normale cognitie en aantal beperkingen, voor drie combinaties van ADS-subtests (ADS6: alle subtests; ADS5: zonder Achtwoordentest; ADS3: Visueel geheugen, Oriëntatie, Fluency).

ADS6 geschatte voorafkans op normale cognitie (in %)
beperkingen 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95
0 70 83 88 92 94 95 96 97 97 98 98 98 99 99 99 99 100 100 100
1 11 20 29 37 44 50 55 61 65 70 74 78 81 84 87 90 93 95 98
2 1 1 2 3 4 5 6 8 9 11 13 16 19 23 28 34 42 53 71
3 0 1 1 2 3 3 4 5 6 8 9 11 14 16 20 25 32 43 62
ADS5 geschatte voorafkans op normale cognitie (in %)
beperkingen 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95
0 58 74 82 87 90 92 93 95 95 96 97 97 98 98 99 99 99 100 100
1 7 14 20 27 33 38 44 49 54 59 64 69 73 77 81 85 89 93 97
2 1 1 2 3 3 4 5 7 8 10 11 14 16 20 24 30 38 49 67
ADS3 geschatte voorafkans op normale cognitie (in %)
beperkingen 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95
0 43 62 72 78 83 86 89 91 92 94 95 96 96 97 98 98 99 99 100
1 3 5 8 11 15 18 22 26 30 34 39 44 49 55 61 68 75 82 91
2 0 0 0 1 1 1 1 2 2 2 3 4 4 5 7 9 12 18 32

We lichten het gebruik van tab. 6 met enkele voorbeelden toe. Een onderzochte wiens waarschijnlijkheid van normale cognitie relatief laag wordt getaxeerd op 30 %, laat op de ADS6 geen enkele beperking zien. De achterafkans van normale cognitie stijgt van 30 % naar 95 %, en ondersteunt daarmee de hypothese ‘normale cognitie’. Bij twee beperkingen op de ADS6 zou de achterafkans dalen van 30 % naar 5 %, een sterke aanwijzing om de hypothese ‘normale cognitie’ te verwerpen.

Bij een ander wordt de waarschijnlijkheid op normale cognitie hoog geschat, bijvoorbeeld op 80 %, omdat het klachtenpatroon of het niveau waarop instrumentele activiteiten van het dagelijks leven worden uitgevoerd niet past bij een vermoeden van dementie. Bij onderzoek worden geen beperkingen op de ADS6 gevonden. De waarschijnlijkheid van normale cognitie stijgt van 80 % naar 99 %. Bij drie beperkingen daalt de waarschijnlijkheid van normale cognitie naar 25 %. Bij vier of meer beperkingen is de waarschijnlijkheid van normale cognitie nul, omdat geen enkele deelnemer in de groep met een normale cognitie meer dan drie beperkingen liet zien.

Uitgestelde reproductie van acht woorden

In een multiple regressiemodel met leeftijd, opleiding en onmiddellijke reproductie van acht woorden (somscore over vijf trials) als onafhankelijke variabelen, en uitgestelde reproductie als afhankelijke variabele, bleek enkel onmiddellijke reproductie voorspellende waarde te hebben. De regressieformule voorspelt het aantal woorden bij uitgestelde reproductie als:

−3,55 + 0,28*onmiddellijke reproductie, met een standaardfout van 1,67. Het regressiemodel verklaart 35 % van de variantie in uitgestelde reproductie.

Tab. 7 geeft de percentielscores voor alle empirische combinaties van onmiddellijke en uitgestelde reproductie.

Tabel 7 Percentielscores voor uitgestelde reproductie bij de Achtwoordentest (Awt), onderscheiden naar resultaat bij onmiddellijke reproductie (kolom 1). Percentielscores >95 % of <5 % zijn uitzonderlijk hoog, respectievelijk uitzonderlijk laag.

awt percentielscores (N = 100)

uitgestelde reproductie (in %)

8 7 6 5 4 3 2 1 0
40 60 37 17 6 2 0
39 67 43 22 9 2 1
38 73 50 27 11 4 1
37 78 57 33 15 5 1
36 82 63 39 19 7 2 0
35 86 69 46 24 10 3 1 0
34 90 75 53 30 13 4 1 0
33 92 80 59 36 17 6 2 0
32 94 84 65 42 21 8 2 0
31 96 88 71 49 26 11 3 1 0
30 97 91 77 55 32 14 5 1 0
29 98 93 82 62 38 18 7 2 0
28 99 95 86 68 45 23 9 3 1
27 99 97 89 74 51 28 12 4 1
26 100 98 92 79 58 34 16 5 1
25 98 94 83 64 41 20 8 2
24 99 96 87 70 47 25 10 3
23 99 97 90 76 54 31 14 4
22 100 98 93 81 60 37 17 6
21 99 95 85 67 43 22 9
20 99 96 88 72 50 27 11
19 99 98 91 78 57 33 15
18 100 98 94 82 63 39 19
17 99 96 86 69 46 24
16 99 97 90 75 53 30
15 100 98 92 80 59 36
14 99 94 84 65 42
13 99 96 88 71 49
12 99 97 91 77 55
11 100 98 93 82 62
10 99 95 86 68
9 99 97 89 74
8 100 98 92 79
7 98 94 83
6 99 96 87
5 99 97 90
4 100 98 93
3 99 95
2 99 96
1 99 98
0 100 98

Bijvoorbeeld: een onderzochte behaalt bij Awt-onmiddellijke reproductie een totaalscore van 32. Indien zij bij uitgestelde reproductie vier woorden zou weten, levert dat een percentielscore van 21 % op. Percentielscores >5 % zijn ‘conform verwachting’. Uitgestelde reproductie van twee woorden of minder zou hier duidelijk lager zijn dan verwacht (de percentielscore is 2 %, ofwel: 98 % van deelnemers met een onmiddellijke reproductiescore van 32 behaalde een hogere score dan 2 op uitgestelde reproductie). De uitkomst van twee woorden bij uitgestelde reproductie kan in dit geval wijzen op snel vergeten.

Uitgestelde herkenning

Uitgestelde herkenning werd optimaal voorspeld door een regressieformule op basis van onmiddellijke en uitgestelde reproductie:

12,94 + 0,05* onmiddellijke reproductie + 0,19* uitgestelde reproductie, met een standaardfout van 0,78. Het regressiemodel verklaart 32,8 % van de variantie in uitgestelde herkenning.

Tab. 8 geeft de verwachte uitgestelde herkenning, gegeven de resultaten bij onmiddellijke en uitgestelde reproductie. Het verschil tussen feitelijke herkenning en verwachte herkenning moet worden gedeeld door de standaardfout van de regressieformule (0,78). Negentig procent van een normale groep heeft volgens het regressiemodel een empirische herkenningsscore die niet meer dan 1,3 punten (positief of negatief) afwijkt van de voorspelde score. Een verschil tussen een verkregen en een voorspelde score groter dan 1,3 (positief of negatief) kwam bij hoogstens 10 % van de deelnemers voor (5 % in een positieve, en 5 % in een negatieve richting). Uit een dergelijk verschil kan worden afgeleid dat de feitelijke herkenning beter of minder is dan verwacht op basis van de scores bij onmiddellijke en uitgestelde reproductie. Bij tachtig procent was het verschil tussen feitelijke en voorspelde herkenning niet groter dan 1 (10 % positief; 10 % negatief).

Tabel 8 Achtwoordentest (Awt): voorspelde uitgestelde herkenning onderscheiden naar resultaat bij onmiddellijke reproductie (verticaal) en uitgestelde reproductie (horizontaal).

awt voorspelde uitgestelde herkenning (N = 100)a

uitgestelde reproductie

8 7 6 5 4 3 2 1 0
40 16,3 16,1 15,9 15,7 15,5 15,3
39 16,3 16,1 15,9 15,7 15,5 15,3
38 16,2 16,0 15,8 15,6 15,4 15,2
37 16,2 16,0 15,8 15,6 15,4 15,2
36 16,1 15,9 15,7 15,5 15,3 15,2
35 16,1 15,9 15,7 15,5 15,3 15,1 14,9
34 16,0 15,8 15,6 15,4 15,3 15,1 14,9
33 16,0 15,8 15,6 15,4 15,2 15,0 14,8
32 15,9 15,7 15,5 15,4 15,2 15,0 14,8
31 15,9 15,7 15,5 15,3 15,1 14,9 14,7 14,5
30 15,8 15,7 15,5 15,3 15,1 14,9 14,7 14,5
29 15,8 15,6 15,4 15,2 15,0 14,8 14,6 14,5
28 15,8 15,6 15,4 15,2 15,0 14,8 14,6 14,4 14,2
27 15,7 15,5 15,3 15,1 14,9 14,7 14,6 14,4 14,2
26 15,5 15,3 15,1 14,9 14,7 14,5 14,3 14,1
25 15,4 15,2 15,0 14,8 14,7 14,5 14,3 14,1
24 15,4 15,2 15,0 14,8 14,6 14,4 14,2 14,0
23 15,3 15,1 14,9 14,8 14,6 14,4 14,2 14,0
22 15,1 14,9 14,7 14,5 14,3 14,1 13,9
21 15,0 14,9 14,7 14,5 14,3 14,1 13,9
20 15,0 14,8 14,6 14,4 14,2 14,0 13,8
19 15,0 14,8 14,6 14,4 14,2 14,0 13,8
18 14,7 14,5 14,3 14,1 14,0 13,8
17 14,7 14,5 14,3 14,1 13,9 13,7
16 14,6 14,4 14,2 14,1 13,9 13,7
15 14,4 14,2 14,0 13,8 13,6
14 14,3 14,2 14,0 13,8 13,6
13 14,3 14,1 13,9 13,7 13,5
12 14,3 14,1 13,9 13,7 13,5
11 14,0 13,8 13,6 13,4
10 14,0 13,8 13,6 13,4
9 13,9 13,7 13,5 13,3
8 13,7 13,5 13,3
7 13,6 13,4 13,3
6 13,6 13,4 13,2
5 13,5 13,4 13,2
4 13,3 13,1
3 13,3 13,1
2 13,2 13,0
1 13,2 13,0
0 12,9

aEen gestandaardiseerde deviatiescore voor uitgestelde herkenning wordt berekend door het verschil tussen de verkregen score en de voorspelde score in deze tabel te delen door 0,78 (de standaardfout van het regressiemodel)

Overigens behaalde 94 % van de normale groep een herkenningsscore van 14 of meer, de overige 6 % behaalde een score van 13. Een score van 13 is mogelijk afwijkend, maar kwam in de normale groep zes keer voor. Een score van 14 is in het algemeen niet afwijkend, maar zou relatief laag zijn bij een onderzochte die bij onmiddellijke reproductie een score van 32 en bij uitgestelde reproductie een score van 5 haalde. Het verschil tussen 14 en de voorspelde score van 15,4 (zie tab. 8) is −1,4, een deviatie in de onderste 5 % van de standaardnormaalverdeling. Een maximale herkenningsscore van 16 valt in de bovenste 5 % van de standaardnormaalverdeling bij een onderzochte met een onmiddellijke reproductiescore van 28 en een uitgestelde reproductie van 2, vanwege het verschil van +1,4 met de voorspelde herkenningsscore van 14,6 (zie tab. 8).

Lichte beperkingen

Sommige onderdelen van de ADS maken onderscheid mogelijk tussen een ‘beperking’ en een ‘lichte beperking’. Een beperking wordt gedefinieerd als een prestatie die minder dan 5 % van de niet-demente deelnemers behaalde, een lichte beperking is een resultaat dat minstens 5 %, maar minder dan 16 % behaalde [ 17 ]. Voor de onderdelen Visueel geheugen, Oriëntatie en Natekenen laten de scoreverdelingen geen onderscheid naar mate van beperking toe. Voor Meander kan een score 3 op een lichte beperking wijzen (87,3 % van niet-demente deelnemers behaalde een hogere score), voor Fluency wijst een deviatiescore tussen –0,703 en –1,24 op een lichte beperking (84,3 % scoorde −0,703 of hoger) en voor de Achtwoordentest een score van 23–26 (86,3 % scoorde hoger dan 26). Voor het bepalen van lichte beperkingen bij uitgestelde reproductie van de Achtwoordentest kan tab. 7 worden geraadpleegd (percentielscores >5 % en <16 % wijzen op een lichte beperking). Lichte beperkingen zijn van belang voor het onderscheid tussen een uitgebreide en een beperkte neurocognitieve stoornis [ 17 ].

Discussie

Gestandaardiseerde en genormeerde psychologische tests, zoals de hier onderzochte onderdelen van de ADS, bieden de klinisch neuropsycholoog een instrument om de aanwezigheid of afwezigheid van een neurocognitieve stoornis vast te stellen. De ADS bestrijkt diverse cognitieve domeinen. Voor onderzoek van het episodische geheugen zijn dat de subtests Visueel geheugen, Oriëntatie en de Achtwoordentest, waarvan de constructvaliditeit in verschillende studies is aangetoond [ 25 , 26 ]. De subtest Meander doet een beroep op uitvoerende mentale controlefuncties, onafhankelijk van individuele verschillen in visueel-constructieve vaardigheden, zoals bij Natekenen [ 27 ]. De Fluencytaak kan een perseveratietendens aan het licht brengen (sommige patiënten noemen na ‘beroepen’ spontaan weer ‘dieren’), waarmee deze taak gevoelig is voor verminderde responsinhibitie, een specifiek aspect van executief functioneren. Verminderde responsinhibitie kan voorkomen bij ziekte van Parkinson, frontotemporale lobaire degeneratie of Lewylichaampjesziekte [ 13 , 17 ].

Relatief lage scores (‘beperkingen’) op één of meer onderdelen van de ADS kunnen wijzen op een uitgebreide neurocognitieve stoornis. De uitgebreide neurocognitieve stoornis is in termen van de DSM-5 de nieuwe aanduiding voor ‘dementie’. Tevens onderscheidt de DSM-5 een minder ernstige mate van cognitieve beperking, de beperkte neurocognitieve stoornis, die een reden tot zorg kan zijn. Een resultaat zonder ‘beperkingen’ kan wijzen op normale cognitie. Echter bij onderzochten met een hoog opleidingsniveau hoeft een ‘normaal’ resultaat op de ADS niet te betekenen dat zij cognitief even goed functioneren als voorheen. Vergelijking met normen voor de algemene populatie kan bij mensen met een hoge eruditie of intelligentie een feitelijke cognitieve achteruitgang verhullen. Dat is wat Elkhonon Goldberg het ‘Einstein phenomenon’ noemt, naar de veronderstelling dat iemand als Albert Einstein bij een eventuele dementie nog een (zeer) hoog IQ zou behalen [ 28 ].

In dit onderzoek is het vermogen van de ADS onderzocht om onderscheid te maken tussen normale cognitie en een uitgebreide cognitieve stoornis, ofwel dementie. Het onderscheid tussen normale cognitie en een beperkte neurocognitieve stoornis (‘mild cognitive impairment’), of tussen een uitgebreide en beperkte neurocognitieve stoornis, kon niet worden onderzocht omdat we niet over gegevens van patiënten met de diagnose ‘beperkte neurocognitieve stoornis’ beschikten.

De niet-demente deelnemers meldden zich zelf aan. Zelfselectie levert geen representatieve afspiegeling van de populatie op. Daarvoor zou een algemene bevolkingssteekproef nodig zijn, een voorwaarde die maar weinig testontwikkelaars zich kunnen permitteren. De deelnemers zijn echter niet geselecteerd op een optimale gezondheid of afwezigheid van psychische of cognitieve klachten. Wij achten de deelnemers daarom representatief voor tal van oudere volwassenen die in onze samenleving zelfstandig en normaal functioneren.

Ook voor de deelnemers met dementie geldt dat zij geen at random getrokken steekproef maar een gelegenheidssteekproef vormden van deelnemers aan psychogeriatrische dagbehandeling. Overigens vond er binnen de dagbehandeling zelf geen selectie plaats. Elke deelnemer werd door de psycholoog onderzocht ter voorbereiding van het individuele zorg- en activiteitenplan. De resultaten vormen een reële afspiegeling van de scoreverdeling die mensen met een vastgestelde dementie op de verschillende onderdelen van de ADS laten zien.

 

Zie het XLS- bestand onder de downloadknop boven dit artikel voor berekening van deviatiescores.

Literatuurlijst

  1. Lindeboom J, Jonker C. In: Amsterdamse Dementie-Screeningstest. Lisse: Swets and Zeitlinger; 1989.
  2. Mulder J, Bouma A, Lindeboom J. Bouma A. Mulder J. Lindeboom J. Schmand B. Amsterdamse Dementie-Screeningstest (ADS-6). In: Handboek neuropsychologische diagnostiek. Tweede herziene druk. Amsterdam: Pearson Assessment and Information; 2012. pag. 765-774.
  3. Strauss E, Sherman EMS, Spreen O. In: A compendium of neuropsychological tests. Administration, norms, and commentary. Oxford: Oxford University Press; 2006.
  4. Bordone V, Scherbov S, Steiber N. Smarter every day: the deceleration of population ageing in terms of cognition. Intelligence. 2015;5290-96. 10.1016/j.intell.2015.07.005
  5. van Toutert MC. Een update van het onderscheidend vermogen van de Amsterdamse Dementie Screening Test. Heerlen: Open Universiteit; 2014.
  6. de Graaf A, Deelman BG. In: Cognitieve Screening Test. Lisse: Swets en Zeitlinger; 1991.
  7. Lawton MP, Brody EM. Assessment of older people: self-maintaining and instrumental activities of daily living. Gerontologist. 1969;9179-186. 10.1093/geront/9.3_Part_1.179
  8. Lindeboom J, Koene T, Matto D. De diagnostische waarde van tests voor mentale controle. Tijdschr Gerontol Geriatr. 1993;24105-109.
  9. Diesfeldt HFA. Selectief gebruik van de Acht-Woordentest (AWt) in de psychogeriatrie. Tijdschr Gerontol Geriatr. 1998;29292-297.
  10. Verhage F. Intelligentie en leeftijd bij volwassenen en bejaarden. Assen: Van Gorcum; 1964.
  11. Robin X, Turck N, Hainard A, Tiberti N, Lisacek F, Sanchez JC. pROC: an open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics. 2011;1277-10.1186/1471-2105-12-77
  12. Huisman M. De noodzaak van veerkracht. Tijdschr Gerontol Geriatr. 2015;46303-305. 10.1007/s12439-015-0162-0
  13. Diesfeldt HFA, van der Elst W, Jolles J. Klinische bruikbaarheid van categoriegebonden woordproductie voor het onderscheiden van dementie en normale cognitieve veroudering. Tijdschr Gerontol Geriatr. 2009;4054-71.
  14. van der Elst W, van Boxtel MPJ, van Breukelen GJP, Jolles J. Normative data for the Animal, Profession and Letter M Naming verbal fluency tests for Dutch speaking participants and the effects of age, education, and sex. J Int Neuropsychol Soc. 2006;1280-89.
  15. Diesfeldt HFA. Beïnvloedt opleiding de resultaten van de Amsterdamse Dementie-Screeningstest (ADS)?. Tijdschr Gerontol Geriatr. 2002;33264-271.
  16. Graham NL, Emery T, Hodges JR. Distinctive cognitive profiles in Alzheimer’s disease and subcortical vascular dementia. J Neurol Neurosurg Psychiatr. 2004;7561-71.
  17. Boom; 2014.
  18. Lindeboom J, Jonker C. Een korte test voor dementie-screening. Tijdschr Gerontol Geriatr. 1988;1997-102.
  19. Diesfeldt HFA. Screeningstests voor dementie: overeenstemming tussen CST14 en ADS3 is onvolledig. Tijdschr Gerontol Geriatr. 1996;27102-104.
  20. Gavett BE. The value of Bayes’ theorem for interpreting abnormal test scores in cognitively healthy and clinical samples. J Int Neuropsychol Soc. 2015;21249-257. 10.1017/S1355617715000168
  21. Verhey FRJ, Ramakers I, Jolles J, Scheltens P, Vernooij-Dassen M, Olde Rikkert MGM. Geheugenpoli’s in Nederland: ontwikkelingen sinds 1998. Tijdschr Gerontol Geriatr. 2007;38237-245. 10.1007/BF03074854
  22. Thissen AJAM, Van Bergen F, De Jonghe JFM, Kessels RPC, Dautzenberg PLJ. Bruikbaarheid en validiteit van de Nederlandse versie van de Montreal Cognitive Assessment (MoCA=D) bij het diagnosticeren van mild cognitive impairment. Tijdschr Gerontol Geriatr. 2010;41231-240. 10.1007/s12439-010-0218-0
  23. Ramakers IHGB, Verhey FRJ. Development of memory clinics in the Netherlands: 1998 to 2009. Aging Ment Health. 2011;1534-39. 10.1080/13607863.2010.519321
  24. Lindeboom J. Who needs cutting points?. J Clin Psychol. 1989;45679-683. 10.1002/1097-4679(198907)45:4<679::AID-JCLP2270450427>3.0.CO;2-L
  25. Diesfeldt HFA. Constructvaliditeit van enkele tests voor episodisch geheugen in de psychogeriatrie. Tijdschr Gerontol Geriatr. 2006;3759-66.
  26. Persoon A, Kessels RPC, Joosten-Weyn Banningh L, Verkoelen J, van Achterberg T, Olde Rikkert MGM. Assessment of memory function: the relation between daily observation and neuropsychological test performance. Int Psychogeriatr. 2011;23102-106. 10.1017/S1041610210000323
  27. Diesfeldt HFA. Visuographic tests of set shifting and inhibitory control. The contribution of constructional impairments. J Neuropsychol. 2009;393-105. 10.1348/174866407X272457
  28. Goldberg E. The wisdom paradox. New York: Gotham Books; 2006.