De Gedragsobservatieschaal voor de Psychomotorische Therapie voor demente ouderen (GPMTdem) werd ontwikkeld om het effect van psychomotorische groepstherapie op het cognitief, sociaal en emotioneel functioneren van ouderen met dementie binnen de therapiesituatie te kunnen evalueren. In het onderzoek dat hier wordt beschreven zijn de interbeoordelaarbetrouwbaarheid en interne consistentie van de tien subschalen en drie domeinen, alsmede de samenhang met andere observatieschalen (criteriumvaliditeit) onderzocht in twee verschillende patiëntgroepen.
De eerste onderzoeksgroep bestond uit cliënten die psychomotorische therapie ontvingen in een verpleeghuis of psychiatrisch ziekenhuis (N = 130). Interbeoordelaarbetrouwbaarheid (Cohens kappa) varieerde van 0,27 tot 1,00, de interne consistentie van de subschalen (Cronbachs alfa) tussen 0,46 en 0,86 en die van de domeinen tussen 0,76 en 0,81. Op basis van dit onderzoek zijn van de oorspronkelijke 88 items vijftien items verwijderd, vijf items verplaatst naar een andere subschaal en is de tekst van twee items gewijzigd. De interne consistentie van de subschalen en criteriumvaliditeit van deze gemodificeerde (73-item versie) GPMT-dem is vervolgens onderzocht bij 41 ouderen die deelnamen aan een ondersteuningsprogramma in Ontmoetingscentra voor mensen met dementie en hun verzorgers. Cronbachs alfa van de subschalen bleek in deze studie tussen de 0,47 en 0,86. Ter bepaling van de criteriumvaliditeit is de GPMTdem vergeleken met (subschalen van) de Beoordelingsschaal voor Oudere Patiënten (BOP), Gedragsobservatieschaal voor de Intramurale Psychogeriatrie (GIP), Brief Cognitive Rating Scale (BCRS) en de Cornell Rating Scale for Depression in Dementia. De correlaties met gerelateerde subschalen van de GPMT-dem varieerde tussen de 0,38 en 0,75. Geconcludeerd wordt dat de huidige 73-item versie van de GPMT-dem een bevredigende  interbeoordelaarbetrouwbaarheid en criteriumvaliditeit bezit. Zes subschalen zijn voldoende intern consistent te noemen en er worden aanbevelingen gedaan om de interne consistentie van de overige subschalen te verbeteren. In vervolgonderzoek zou de unidimensionaliteit en schaalbaarheid van de subschalen van de GPMT-dem getoetst moeten worden, alsmede het effect van de aanbevolen herformulering en verwijdering van items. Voordat de GPMT-dem in de praktijk kan worden toegepast dienen de psychometrische eigenschappen van de GPMT-dem73 bij een grotere en in ernst van dementie meer heterogene onderzoeksgroep verder te worden onderzocht, zodat ook uitspraken kunnen worden gedaan over de te hanteren normen in verschillende subgroepen van ouderen met dementie.

This article describes the development of the Behaviour observation scale for Psychomotor Therapy for elderly people with dementia (BPMT-dem). This scale was developed in the late 1980s in order to evaluate the effect of psychomotor group therapy on the cognitive, social, and emotional functioning of elderly people with dementia within the therapy situation.

The currently described research investigates inter-assessor reliability and internal consistency of the ten subscales (such as memory, orientation, contact with others, initiative, anxious behaviour, aggressive behaviour) and three domains, as well as the scale’s correlation with other observation scales (concurrent validity) in two different patient groups. The first group consisted of clients receiving psychomotor therapy in a nursing home or a psychiatric hospital (N = 130). Inter-assessor reliability (Cohen’s kappa) varied between 0.27 and 1.00, the internal consistency of the subscales (Cronbach’s alpha) was calculated between 0.46 and 0.86, and that of the domains between 0.76 and 0.81. Based on the findings of this study 15 of the original 88 items were removed, 5 items were moved to other subscales and the text of 2 items was changed. Next, the subscale internal consistency and concurrent validity of this modified (73-item version) BPMT-dem was investigated in a group of 41 elderly participating in a support programme in meeting centres for elderly people with dementia and their caregivers. Cronbach’s alpha for the subscales in this study was calculated between 0.47 and 0.86. To determine concurrent validity, the BPMT-dem was compared with (subscales of) the Assessment Scale for Elderly Patients (ASEP), Behavioural assessment for Intramural Psychogeriatrics (BIP), Brief Cognitive Rating Scale (BCRS) and the Cornell Scale for Depression in Dementia. Correlations with related BPMT-dem subscales varied between 0.38 and 0.75.

The inter-assessor reliability and concurrent validity of the 73-item version of the BPMT-dem are satisfactory. The internal consistency of 6 subscales is sufficient, and recommendations are proposed to improve the consistency of the remaining subscales. Further research to test the unidimensionality and scalability of the subscales of the BPMT-dem, as well as the effect of the recommended reformulation and removal of items, is recommended. Before the instrument can be used in actual practice, the psychometric qualities of the BPMT-dem73 need to be studied in a larger and in terms of severity of dementia more heterogeneous study sample, so that statements can also be made on which norms to use in various subgroups of elderly with dementia.


285 Weergaven
54 Downloads
Lees verder

Inleiding

Psychomotorische therapie (PMT) wordt sinds de zeventiger jaren veelvuldig in de psychiatrie toegepast. De laatste 15 jaar wordt zij in toenemende mate ook in psychogeriatrische verpleeghuizen gebruikt bij demente bewoners met gedrags en/of stemmingsproblemen waarvan vermoed wordt dat ze een psychosociale achtergrond hebben. 1 4 Men is bijvoorbeeld in een sociaal isolement terechtgekomen of emotioneel uit het evenwicht geraakt, of men heeft een negatief zelfbeeld ontwikkeld als gevolg van de dementie en de daarmee gepaard gaande veranderingen in het dagelijks leven. Wanneer gedrags- en stemmingsproblemen met dergelijke psychosociale problemen lijken samen te hangen, kan met psychomotorische therapie worden geprobeerd om de bewoner te begeleiden bij het opdoen van nieuwe sociale contacten, het hervinden van een emotioneel evenwicht en het herstellen van het zelfbeeld. Over het algemeen wordt bij ouderen met dementie gebruikgemaakt van bewegingsactiviteiten die aansluiten bij hun mogelijkheden en belevingswereld en/of van oefeningen waarbij de lichaamservaring centraal staat, zoals ontspanningsoefeningen. De therapie kan zowel individueel als in groepsverband worden aangeboden.

De evaluatie van de therapie vindt plaats op basis van verslaglegging door de therapeut en/of door middel van algemene gedragsobservatielijsten die binnen de psychogeriatrie worden toegepast, zoals de Gedragsobservatieschaal voor de Intramurale Psychogeriatrie 5 , de Beoordelingsschaal voor Oudere Patiënten 6 en de Neuropsychiatric Inventory 7 9 . Het voordeel van het gebruik van een algemene gedragsobservatieschaal is dat het de communicatie met het verzorgend personeel op de afdeling kan vergemakkelijken, indien deze van dezelfde schaal gebruikmaakt. Het nadeel van algemene observatieschalen voor gebruik binnen de therapie is dat in de items nogal eens gerefereerd wordt aan dagelijkse situaties en gebeurtenissen op de afdeling die zich tijdens de psychomotorische therapie niet voordoen. Voorbeelden van dergelijke items zijn: ‘Probeert uit het huis te ontsnappen, uit verzet tegen het verblijf hier’, ‘Lijkt blij met bezoek van familieleden’, Luistert naar de radio en/of kijkt televisie’. Door het ontbreken van informatie hierover kunnen de schalen niet volledig door de therapeut worden ingevuld. Omgekeerd tonen cliënten tijdens de therapiebijeenkomsten regelmatig gedrag dat in de bestaande algemene observatieschalen voor oudere patiënten niet voorkomt. Voor de therapeut is dit een gemis wanneer hij de therapie wil evalueren en over het resultaat van de behandeling wil rapporteren in het multidisciplinair overleg van het zorg- en behandelteam. Voorbeelden van gedragingen zoals hier bedoeld zijn: ‘(cliënt) Onderneemt zelfbedachte acties binnen de therapieopdracht’, ‘Heeft een afwerende of in zichzelf gekeerde lichaamshouding’, ‘Is angstig wanneer hij/zij gevraagd wordt een gezamenlijke activiteit uit te voeren’, ‘Houdt bij activiteiten rekening met de mogelijkheden van anderen’, ‘Heeft een gespannen gezichtsuitdrukking of houding’.

In de literatuur beschreven observatieschalen voor de beoordeling van gedrag tijdens de psychomotorische therapie zijn voornamelijk ontwikkeld voor andere doelgroepen dan ouderen met dementie en/of beoordelen het gedrag in bewoordingen en concepten die voor medewerkers van andere disciplines binnen het (psychogeriatrisch) verpleeghuis niet inzichtelijk of relevant zijn. Zo zijn de Leuvense observatieschalen voor doelstellingen in de psychomotorische therapie (LODIPT) 10 ontwikkeld om het bewegingsgedrag van psychiatrische patiënten (adolescenten en volwassenen) te beoordelen en staat in de lichaamstevredenheidslijst van Baardman en De Jong 11 de lichaamswaardering centraal. De lijst is bedoeld voor de evaluatie van de behandeling van een negatief lichaamsbeeld.

De problemen met betrekking tot het gebruik van bestaande algemene en PMT-specifieke observatieschalen als evaluatie-instrument voor de psychomotorische therapie bij ouderen met dementie, zijn aanleiding geweest om een nieuw instrument te ontwikkelen: de Gedragsobservatieschaal Psychomotorische Therapie voor demente ouderen (kortweg: GPMT-dem). Dit instrument beoogt het functioneren van ouderen met dementie tijdens de psychomotorische therapie in kaart te brengen, zodat systematische evaluatie van de behandeling mogelijk is.

De schaal is oorspronkelijk samengesteld in het kader van wetenschappelijk onderzoek naar het effect van psychomotorische therapie bij in het verpleeghuis opgenomen ouderen met dementie van het Alzheimer-type1. Deze eerste versie van de schaal bevatte vijf subschalen, waarvan vier waren afgeleid van subschalen van de Gedragsobservatieschaal voor de Intramurale Psychogeriatrie (GIP), te weten: geheugen, oriëntatie, niet-sociaal gedrag en apathie. 5 De items van de GIP werden in hun omschrijving waar nodig aangepast aan gedrag zoals dat voorkomt tijdens bewegingsactiviteiten. Sommige items van de GIP-schalen werden verwijderd omdat ze niet voor konden komen tijdens de therapiebijeenkomsten, andere items werden vanwege gedane gedragsobservaties tijdens de therapie toegevoegd. Dit laatste gold ook voor de items van de nieuwe subschaal ‘initiatief’.

Enige jaren later werd het oorspronkelijke instrument door Van der Mei en Van Roosmalen uitgebreid met enkele subschalen (agressief gedrag, achterdochtig gedrag, angstig gedrag en depressief gedrag) om een gedifferentieerder beeld van het gedrag van ouderen met dementie tijdens de therapiebijeenkomsten te kunnen krijgen. 12 Bij de selectie van de items gingen zij uit van de GIP 5 en de Beoordelingsschaal voor Oudere Patiënten (BOP). 6 Deze uitgebreide schaal werd onderworpen aan een betrouwbaarheidsonderzoek bij 100 patiënten met dementie, allen opgenomen op psychogeriatrische afdelingen van verpleeghuizen of psychiatrische ziekenhuizen. 12 Op basis van dit onderzoek vond een grondige herziening van het instrument plaats: onbetrouwbare items werden verwijderd, van sommige items werd de formulering gewijzigd en er werden nieuwe items en een subschaal (‘communicatie en handelen’) toegevoegd. 13 Bij de selectie van de nieuwe items werd gebruik gemaakt van de Diagnostic Manual for Mental Disorders en de Internationale Classificatie van Stoornissen, Beperkingen en Handicaps. 15 16 Aldus ontstond een instrument met 10 subschalen en 88-items.

In het hiernavolgende beschrijven we hoe de GPMT-dem is onderzocht op (interbeoordelaar-) betrouwbaarheid, interne consistentie en criteriumvaliditeit. De volgende vraagstellingen stonden daarbij centraal:

  1. In hoeverre worden de afzonderlijke items van de GPMT-dem eenduidig geïnterpreteerd door verschillende beoordelaars?
  2. Wat is de interne consistentie van de afzonderlijke subschalen en domeinen van de GPMT-dem?
  3. In hoeverre hangen de onderscheiden subschalen per domein (cognitief, sociaal, emotioneel) met elkaar samen?
  4. Wat is de samenhang tussen subschalen van de GPMT-dem en gerelateerde gedragsobservatie(sub-)schalen (criteriumvaliditeit)?

Methode

Onderzoeksgroep

Het onderzoek is deels uitgevoerd in verpleeghuizen en psychiatrische ziekenhuizen 13 en deels in ontmoetingscentra voor mensen met dementie en hun mantelzorgers 14 .

De eerstgenoemde groep wordt hierna aangeduid met ‘intramurale groep’ en de tweede als ‘ontmoetingscentragroep’.

De intramurale onderzoeksgroep bestond uit 130 mensen met dementie die in de periode 1992-1993 waren opgenomen op de psychogeriatrische afdelingen van zes verpleeghuizen en twee psychiatrische ziekenhuizen of deelnamen aan een dagbehandeling in een van deze instituten. Om deel te kunnen nemen aan het onderzoek zijn de volgende criteria gehanteerd:

  1. persoon lijdt aan een dementie syndroom of amnestisch syndroom volgens de criteria van de DSM-III-R;
  2. persoon functioneert op begeleidings- of verzorgingsbehoevend niveau, zoals vastgesteld door de deelnemende instituten;
  3. persoon is in staat deel te nemen aan psychomotorische groepstherapie.

De selectie werd uitgevoerd door de psychomotorisch therapeuten van de betrokken instellingen. Deze therapeuten waren allen lid van de landelijke werkgroep Psychomotorische therapie in de Psychogeriatrie. De gemiddelde opnameduur van deze patiënten was 1,5 jaar (min. 0,1; max. 20,0). De helft van de patiënten verbleef op een afdeling voor begeleidingbehoevende bewoners. Een kwart (24,5%) van de patiënten verbleef op een afdeling voor verzorgingsbehoevende bewoners. De overige patiënten namen deel aan een dagbehandeling, zij functioneerden op begeleidingsbehoevend of verzorgingsbehoevend niveau maar verbleven niet in het verpleeghuis of psychiatrisch ziekenhuis.

De ontmoetingscentragroep bestond uit 41 thuiswonende mensen met dementie die in de periode 1994-1996 deelnamen aan een ondersteuningsprogramma voor mensen met dementie en hun familie in vier Amsterdamse buurtcentra (project Amsterdamse Ontmoetingscentra 2 ). In het kader van dit ondersteuningsprogramma werd tevens psychomotorische therapie aangeboden. Het merendeel van de onderzoeksgroep was ouder dan 70 jaar (78%). Criteria voor deelname aan het onderzoek waren:

  1. persoon lijdt aan een dementiesyndroom volgens de criteria van de DSM-III-R 15 ;
  2. persoon heeft als gevolg van de dementie lichte tot (matig) ernstige beperkingen in het dagelijks functioneren (patiënten met zeer ernstige beperkingen werden van het onderzoek uitgesloten).

De selectie werd uitgevoerd op basis van diagnostische gegevens van de huisarts. Indien deze gegevens niet aanwezig waren vond alsnog een screening plaats in een geheugenpolikliniek of door de regionale instelling voor ambulante geestelijke gezondheidszorg (voorheen Riagg). Enkele gegevens van de geselecteerde onderzoeksgroepen zijn weergegeven in tabel 1. Eén persoon in deze groep functioneerde in verband met een visuele handicap op verplegingsbehoevend niveau. Normaliter nemen verplegingsbehoevende mensen met dementie niet deel aan een ondersteuningsprogramma in een ontmoetingscentrum.

Tabel 1 Gegevens van de geselecteerde patiëntengroepen.

kenmerk intramurale groep


(N = 130)

ontmoetingscentragroep


(N = 41)

geslacht vrouw 93 (71,5%) 18 (44%)
man 37 (28,5%) 23 (56%)
leeftijd gemiddeld 84 73
range 64 – 94 40 – 89
diagnose bij opname dementiesyndroom (nao) 80 (61,5%) 15 (36%)
dementie Alzheimer-type 2 (1,5%) 13 (32%)
amnestisch syndroom 41 (31.5%) 4 (10%)
multi-infarctdementie 1 (1%) 2 (5%)
overige 6 (4,5%) 7 (17%)
niveau van functioneren begeleidingbehoevend 67 (51,5%) 33 (80%)
verzorgingbehoevend 32 (24,5%) 7 (17%)
verplegingbehoevend 1 (3%)
dagbehandeling (begeleiding- of verzorgingbehoevend 31 (24%)
lichamelijke invaliditeit licht 95 (73%) 26 (64%)
matig 20 (15%) 14 (34%)
ernstig 15 (12%) 1 (2%)

Instrumenten

De Gedragsobservatieschaal Psychomotorische Therapie voor demente ouderen (GPMT-dem) is een beoordelingsinstrument waarmee enkele cognitieve, sociale en emotionele gedragsaspecten in het functioneren van ouderen met dementie in kaart kunnen worden gebracht. Het onderzoek bij de intramurale patiëntengroep is uitgevoerd met een 88-item versie van de GPMT-dem. Naar aanleiding van de resultaten van dit onderzoek werd het instrument aangepast en is een 73-item versie toegepast bij de ontmoetingscentra groep. De items zijn verdeeld over 10 subschalen en 3 domeinen, te weten:

  1. Cognitief functioneren: geheugen, oriëntatie, communicatie en handelen
  2. Sociaal functioneren: contact met anderen, initiatief
  3. Emotioneel functioneren: levendigheid, depressief gedrag, angstig gedrag, achterdochtig gedrag en agressief gedrag.

De items worden gescoord op een 3-puntsschaal (0,1,2), waarmee wordt aangegeven in welke mate het gedrag tijdens de therapie is voorgekomen. De somscore per subschaal is dus een maat voor het vertoonde gedrag tijdens de therapie. De aanbevolen observatieperiode is twee tot vier weken, afhankelijk van de frequentie van de behandeling (een of meerdere keren per week), en beslaat minimaal vier therapiebijeenkomsten.

De Gedragsobservatieschaal Intramurale Psychogeriatrie (GIP) is ontwikkeld om de ernst van uiteenlopende problemen op het gebied van affect, gedrag en cognitie bij ouderen met dementie te beschrijven. De schaal bestaat uit veertien subschalen met 4-puntsscoring. Voor alle subschalen is een Cronbachs alfa hoger dan 0,61 gevonden. 5

De Neuropsychiatric Inventory (NPI) is een meetinstrument voor de beschrijving van twaalf gedrags- en psychische symptoomdomeinen bij dementie en hun invloed op de naaste verzorger. 7 8 Op basis van een interview met de naaste verzorger van de persoon met dementie worden de symptoomdomeinen beoordeeld. De voor de klinische praktijk aangepaste NPI, de NPI-Questionnaire (NPI-Q), omvat dezelfde symptomen als de NPI maar wordt door de naaste verzorger zelf ingevuld met minder dan 5% verschil in symptoomrapportage in vergelijking met het interview. 16 De validiteit van de Nederlandstalige versie van de NPI-Q wordt onderbouwd door correlaties met de subschalen depressie- (0,51) en storend gedrag (0,79) van de Revised Memory and Behavioral Problems Checklist, zelfrapportage scores op de Geriatric Depression Scale (0,38), en emotionele belasting van de naaste verzorger (0,88). 9

De Global Deterioration Scale (GDS) is een schaal voor het beoordelen van cognitieve achteruitgang bij dementie en bevat gedetailleerde klinische beschrijvingen van zeven verschillende stadia van dementie 18 . Correlaties met 13 van de 19 cognitieve items van de Inventory of Psychic and Somatic Complaints in the Elderly en met Computer Tomografische metingen van ventriculaire dilatatie onderbouwen de validiteit van de GDS. 19 De schaal is in het Nederlands vertaald door Muskens. 20

De Brief Cognitive Rating Scale (BCRS) is gebaseerd op de GDS en bestaat uit acht aslijnen die ieder een specifiek onderdeel van het (cognitief) functioneren omvatten; vermogen zich te concentreren, geheugen betreffende recente gebeurtenissen, geheugen betreffende het (vroege) verleden, oriëntatie, functioneren en eigen verzorging, taal, motorisch functioneren en stemming en gedrag. 21 Het functioneren van de persoon met dementie wordt op een 7-puntsschaal beoordeeld en de totaalscore van de acht aslijnen correspondeert met de stadia van de GDS. De interne consistentie (Cronbachs alfa) van de BCRS is 0,90. 20

De Cornell Scale for Depression in Dementia is een uit 19 items bestaande waarderingsschaal voor de beoordeling van de mate van depressie bij mensen met dementie. De items worden gescoord op een 3-puntsschaal voor de afwezige, milde of soms voorkomende, en ernstige of regelmatig observeerbare symptomen van depressie. De schaal is ontworpen om afgenomen te worden door clinici. De gewogen kappa (waarbij grotere verschillen zwaarder worden gewogen) van de originele Amerikaanse versie van de schaal was 0,63. Dit wijst op een redelijke interbeoordelaarbetrouwbaarheid. Cronbachs alfa van de schaal is bepaald op 0,84. 22 De Nederlandse vertaling van Dröes werd in dit onderzoek gebruikt. 23

De Beoordelingsschaal voor Oudere Patiënten 6 (BOP) is een gedragsobservatieschaal afgeleid van de Stockton Geriatric Rating Scale. 24 De schaal bestaat uit 35 items en zes subschalen: hulpbehoevendheid, agressief gedrag, lichamelijke invaliditeit, depressief gedrag, psychische invaliditeit en inactiviteit. De items worden gescoord op een 3-puntsschaal (0-2), waarbij een hogere score wijst op meer beperking. De interne consistentie (Cronbachs alfa) van de subschalen varieert tussen 0,74 en 0,94. 6

Procedure

De gegevens van de intramurale groep zijn op basis van gedragsobservaties tijdens de psychomotorische therapiebijeenkomsten verzameld. De observaties vonden plaats tijdens zogenaamde standaardsessies. In deze standaardsessies volgt de therapeut een vaste procedure van werken en worden een aantal voorgeschreven spelactiviteiten aangeboden. De activiteiten in deze standaardsessie zijn zo gekozen dat de gedragsaspecten die in de GPMT-dem zijn opgenomen in principe voor kunnen komen. Observaties gedaan in tenminste drie eerdere (al dan niet gestandaardiseerde) bijeenkomsten zijn bij de beoordeling met de GPMT-dem meegenomen. De observaties zijn steeds door twee personen verricht: de therapeut en een studentonderzoeker. Direct na afloop van de bijeenkomsten is de GPMT-dem door beide observatoren, onafhankelijk van elkaar, ingevuld. Om de observaties zo nauwkeurig mogelijk te kunnen uitvoeren zijn per bijeenkomst niet meer dan twee cliënten geobserveerd. Deze cliënten werden op voorhand willekeurig gekozen uit de deelnemende groep. Deze procedure is gevolgd tot alle geselecteerde cliënten waren geobserveerd.

Vijftien psychomotorisch therapeuten zijn gevraagd om aan het onderzoek in de intramurale setting deel te nemen. Allen waren ten tijde van het onderzoek werkzaam op de psychogeriatrische afdelingen die aan het onderzoek deelnamen. Deze therapeuten fungeerden als eerste beoordelaar. Twee studentonderzoekers fungeerden als tweede beoordelaar. Allen ontvingen een observatorentraining aan de hand van een video-opname van een standaardtherapiesessie. Dit is gedaan om interpretatieverschillen bij het invullen van de GPMT-dem zoveel mogelijk te voorkomen. De studentonderzoekers zijn door een onderzoeker van de Faculteit der Bewegingswetenschappen van de Vrije Universiteit (RMD) getraind. De therapeuten ontvingen de training van de studentonderzoekers.

De gegevens van de ontmoetingscentragroep zijn verkregen uit gedragsobservaties tijdens de psychomotorische therapie in de vier dagsociëteiten van de Amsterdamse Ontmoetingscentra. Er is gebruik gemaakt van de gegevens die standaard in ontmoetingscentra worden verzameld een maand nadat de persoon met dementie tot het project is toegelaten. De observaties zijn uitgevoerd door de programmacoördinatoren van de centra, die daarvoor een training hadden ontvangen. Het invullen van de GPMT-dem, alsmede van de lijsten waarmee het functioneren in de dagsociëteit werd beoordeeld, geschiedde steeds na een observatieperiode van twee weken. Gedurende deze twee weken hadden de mensen met dementie aan vier tot zes therapiebijeenkomsten deelgenomen.

Analyses

Interbeoordelaarbetrouwbaarheid: Om de interbeoordelaarbetrouwbaarheid van de GPMT-dem in de intramurale groep (N = 130) te bepalen is voor alle items de relatieve overeenstemming en Cohens kappa berekend. Een kappa groter of gelijk aan 0,60 mag als betrouwbaar worden gezien. 25 Items met een onvoldoende kappa zijn getraceerd. Vervolgens is nagegaan of de itemtekst mogelijk verbeterd zou kunnen worden of dat de items verwijderd dienden te worden.

Interne consistentie van de subschalen: Om de interne consistentie van de verschillende subschalen te bepalen is Cronbachs alfa berekend voor de gegevens van de intramurale groep (N=130) verzameld door de eerste beoordelaars (de therapeuten). Afhankelijk van de formulering van de subschaal (zes subschalen zijn positief geformuleerd en 4 subschalen negatief) zijn itemscores positief dan wel negatief omgepoold.

Indien het aantal items in een schaal tien tot vijftien items bedraagt stelt men gewoonlijk als eis dat alfa groter dan 0,85 moet zijn. Omdat het aantal items van de verschillende GPMT-dem subschalen doorgaans lager is dan tien, werd de ondergrens van alfa op 0,70 gesteld. 26 Indien de alfa lager was dan 0,70 is aan de hand van de item-restcorrelatie onderzocht welke items de homogeniteit negatief beïnvloedden. Nagegaan werd of deze items inhoudelijk wellicht beter in een andere subschaal pasten. Indien dit niet het geval was werden zij verwijderd. Naar aanleiding van de resultaten bij de intramurale onderzoeksgroep is de GPMT-dem gemodificeerd en Cronbachs alfa opnieuw berekend met de gegevens van de ontmoetingscentragroep (N=41).

Interne consistentie van de domeinen: Per domein (cognitief, sociaal en emotioneel) is de Cronbachs alfa berekend om na te gaan in welke mate de items binnen het domein samenhangen. Hiervoor zijn de gegevens van de intramurale groep gebruikt (N=130). Om de samenhang tussen de subschalen binnen de verschillende domeinen te bepalen zijn Spearman rangcorrelaties berekend.

Criteriumvaliditeit: Voor de bepaling van de criteriumvaliditeit van de subschalen van de GPMT-dem is gebruik gemaakt van de gegevens van de ontmoetingscentra groep (N=41) en zijn Pearson correlaties (indien de scores normaal verdeeld bleken) of Spearman rangcorrelaties (wanneer de scores niet normaal verdeeld waren) berekend.

De GPMT-dem is in deze analyse vergeleken met de volgende instrumenten:

  1. de Nederlandse versie van de Global Deterioration Scale 18 20 (GDS),
  2. de subschalen 1 (niet-sociaal gedrag), 2 (apathisch gedrag), 11 (achterdochtig gedrag) en 14 (angstig gedrag) van de Gedragsobservatieschaal voor de Intramurale Psychogeriatrie 5 (GIP),
  3. de Nederlandse versie van de Cornell Scale for Depression in Dementia 22 23 en
  4. de subschalen 2 (agressief gedrag) en 4 (inactiviteit) van de Beoordelingsschaal voor Oudere Patiënten 6 (BOP).

Resultaten

Interbeoordelaarbetrouwbaarheid

Gedrag beschreven in drie items van de GPMT-dem is niet waargenomen in de onderzochte steekproef. Het betreft de items ‘Beweert in de gaten gehouden en/of achtervolgd te worden’, ‘Zegt zich eenzaam te voelen’ en ‘Uit hypochondrische wanen (mogelijk met nihilistische karakter)’. (Voor een meer uitgebreide weergave van de beschrijvende statistiek zie Meijer en Smit 13 ).

Zeventien van de 88 items van de GPMT-dem bleken een Cohens kappa onder de 0,60 te hebben. Veertien van deze items hadden tevens een relatieve overeenstemming lager dan 0,80. Drie items zijn hierom verwijderd (‘Is aarzelend of onzeker in het nemen van kleine beslissingen’, ‘Lijkt te vergeten met welke activiteit hij/zij bezig is’ en ‘De deelnemer voert de opdracht slechts uit als dit gevraagd wordt, onderneemt niets op eigen initiatief’.), de overige zijn gehandhaafd omdat ze belangrijke gedragskenmerken van de demente oudere weergeven (bijv. ‘Heeft moeite met het doelgericht uitvoeren van bewegingen’). De formulering van twee items (‘Reageert non-verbaal op uitlatingen van anderen’ en ‘Reageert verbaal op uitlatingen van anderen’) is gewijzigd en er zijn richtlijnen opgesteld voor meer eenduidige interpretatie van deze items.

Interne consistentie

Met de resterende 85 items zijn de interne consistentie (Cronbachs alfa) en de item-restcorrelaties van de subschalen berekend. De meeste subschalen bleken onvoldoende homogeen. In verband met zeer lage item-restcorrelaties en hun negatieve invloed op de interne consistentie van de subschalen zijn 12 items verwijderd. Vijf items zijn om inhoudelijke redenen verplaatst naar een van de andere subschalen waardoor de alfa van 6 subschalen (‘geheugen’, ‘contact met anderen’, ‘depressief gedrag’, ‘angstig gedrag’, ‘agressief gedrag’ en ‘levendigheid’) groter of gelijk aan 0,70 werd. Vervolgens is Cronbachs alfa per subschaal opnieuw bepaald met de gegevens van de ontmoetingscentragroep. Cronbachs alfa per subschaal (na verwijdering van 12 items) van zowel de intramurale als de ontmoetingscentra onderzoeksgroep zijn weergegeven in tabel 2. Verwijdering van enkele items en herformulering van andere kan tot een verbeterde interne consistentie leiden.

Tabel 2 Cronbachs alfa per subschaal van de GPMT-dem (73-itemversie) bepaald in de intramurale- en ontmoetingscentragroep.

subschaal Cronbachs alfa
(aantal items)
intramurale groep
(N = 130).
Cronbachs alfa
(aantal items)
ontmoetingscentra
groep (N = 41).
geheugen 0,74 (9) 0,76 (9)
oriëntatie 0,46 (10) 0,72 (9)
communicatie en handelen 0,53 (9) 0,74 (9)
contact met anderen 0,79 (8) 0,76 (8)
initiatief 0,60 (3) 0,70 (4)
depressief gedrag 0,71 (7) 0,69 (7)
angstig gedrag 0,80 (5) 0,86 (5)
achterdochtig gedrag * (4) 0,47 (4)
agressief gedrag 0,73 (6) 0,62 (6)
levendigheid 0,86 (12) 0,81 (12)

*: Bij de intramurale steekproef werd te weinig variantie in de items van de subschaal Achterdochtig gedrag waargenomen om Cronbachs alfa te kunnen berekenen 13 .

Het verwijderen van één item uit de subschaal ‘initiatief’ (‘Deelnemer is in staat keuzes te maken’), twee items uit de subschaal ‘depressief gedrag’ ( ‘Is somber of verdrietig’ en ‘Uit hypochondrische wanen’) en één item uit de subschaal ‘achterdochtig gedrag’ (‘Beweert dat anderen hem/haar niet mogen’) leidt vanwege lage inter-itemcorrelaties van deze items tot een verbeterde en bevredigende interne consistentie van deze subschalen (respectievelijk α = 0,83, α = 0,71 en α = 0,58). Herformulering van drie items (‘Groet en/of beantwoordt groet van aanwezigen bij binnenkomst en verlaten van therapieruimte’, ‘Praat met medegroepsleden’ en ‘Neemt deel aan groepsactiviteiten’) van de subschaal ‘contact met anderen’ zou in deze subschaal een positief effect kunnen hebben op de interne consistentie van de subschaal. Dit geldt ook voor enkele items (‘Gooit met materiaal wanneer dit niet de bedoeling is’ en ‘Schopt of slaat naar mededeelnemers of therapeut’) van de subschaal ‘agressief gedrag’.

De interne consistentie (Cronbachs alfa) van de verschillende domeinen van functioneren, te weten het cognitieve, het sociale en het emotionele domein, van de resterende 73-item versie van de GPMT-dem, was respectievelijk 0,78, 0,76 en 0,81. De Spearman rangcorrelaties binnen het cognitieve domein varieerden tussen 0,45 en 0,59, binnen het sociale domein was deze 0,21 en binnen het emotionele domein varieerden de correlaties tussen -0,04 en 0,26 (zie tabel 3).

Tabel 3 Spearman rangcorrelaties per subschaal binnen de domeinen van de GPMT-dem (73-itemversie).

domein cognitief sociaal emotioneel
subschaal geheugen oriëntatie comm.& handelen cont. met anderen intitiatief depressief angstig agressief levendigh.
cognitief

(alfa = 0,78)

geheugen 1,00
oriëntatie 0,59** 1,00
comm.& handelen 0,45** 0,48** 1,00
sociaal

(alfa = 0,76)

cont. met anderen 1,00
initiatief 0,21* 1,00
emotioneel

(alfa = 0,81)

depressief 1,00
angstig 0,26** 1,00
agressief -0,06 -0,05 1,00
levendigheid -0,04 0,20* -0,10 1,00

*: Correlatie is significant op 0,05-niveau, **: significant op 0,01-niveau.

Tabel 4 Correlaties tussen de subschalen van de GPMT-dem (73-itemversie) met de criterium gedragsobservatie(sub)schalen.

GPMT-73
(subschaal)
criterium gedragsobservatieschaal correlatie (r)
cognitief functioneren (A,B,C) BCRS ernst dementiesyndroom -0,75**
contact met anderen (D) GIP niet-sociaal gedrag -0,56**
initiatief (E) BOP inactiviteit -0,38*
depressief gedrag (F) Cornell Scale for depression 0,47**
angstig gedrag (G) GIP angstig gedrag 0,70**
achterdochtig gedrag (H) GIP achterdochtig gedrag 0,62**
agressief gedrag (I) BOP agressief gedrag 0,70**
levendigheid (J) GIP apathisch gedrag -0,40**

*: Correlatie is significant op 0,05-niveau, **: significant op 0,01-niveau

Criteriumvaliditeit

De correlaties met (subschalen uit) diverse gedragsobservatieschalen zijn weergeven in tabel 4 en variëren van 0,38 (Initiatief – BOP inactiviteit) tot 0,75 (Cognitief functioneren – BCRS ernst dementie syndroom).

Discussie

Dit onderzoek richtte zich op een eerste evaluatie van de betrouwbaarheid en criteriumvaliditeit van de GPMT-dem, een nieuwe observatieschaal om het functioneren van ouderen met dementie tijdens psychomotorische therapie te beoordelen. De interbeoordelaarbetrouwbaarheid en interne consistentie van de tien subschalen en drie domeinen van de GPMT-dem (zie tabel 2 en 3) zijn onderzocht bij een intramurale patiëntengroep (N=130). De interne consistentie en correlatie van de subschalen van de GPMT-dem met enkele (subschalen van) andere gedragsobservatieschalen zijn vervolgens onderzocht bij een steekproef van 41 mensen die psychomotorische therapie in een ontmoetingscentrum voor mensen met dementie en hun verzorgers aangeboden kregen.

Op basis van de relatieve overeenstemming en Cohens kappa kunnen we concluderen dat de items van de GPMT-dem over het algemeen betrouwbaar te scoren zijn. Drie items zijn verwijderd naar aanleiding van een lage Cohens kappa (< 0,60) in combinatie met een lage relatieve overeenstemming (< 0,80). De overige items werden gehandhaafd voor analyse van de interne consistentie van subschalen en domeinen.

De interne consistentie van zes subschalen blijkt, na verwijdering van 12 items op basis van lage Cronbachs alfa’s (< 0,70) en item-restcorrelaties, bevredigend intern consistent. Drie subschalen (depressief gedrag, achterdochtig gedrag en agressief gedrag) zijn in het vervolgonderzoek bij de ontmoetingscentragroep onvoldoende tot matig intern consistent gebleken.

Mogelijke redenen hiervoor zijn dat bepaalde items uit deze subschalen 1. gedrag scoren dat slechts beperkt voorkomt (bijv. ‘Schopt of slaat naar deelnemers of therapeut(e).’), 2. veel interpretatie vereisen van de beoordelaar (bijv. ‘Uit het verbaal/nonverbaal gedrag blijkt dat de bedoeling van de opdracht niet doordringt, ook niet na herhaalde demonstratie.’) of 3. de subschaal mogelijk uit meerdere dimensies bestaat (bijv. binnen de subschaal ‘oriëntatie’ kan mogelijk een onderscheid worden gemaakt in ‘oriëntatie in plaats, tijd en persoon’).

De bevindingen met betrekking tot de drie domeinen (cognitief, sociaal en emotioneel) zijn met alfa’s variërend tussen 0,76 en 0,81 bevredigend te noemen. De subschalen binnen het cognitieve domein zouden mogelijk beter samengevoegd kunnen worden om een beeld te krijgen van het cognitief functioneren van de oudere met dementie, omdat de afzonderlijke subschalen van het cognitieve domein een relatief lage interne consistentie bezitten. Onderling zijn ze echter sterk gecorreleerd. De samenhang tussen de subschalen binnen het sociale en binnen het emotionele domein is in tegenstelling tot die van het cognitieve domein laag. De subschalen van deze domeinen kunnen daarom beter afzonderlijk van elkaar worden beoordeeld en geïnterpreteerd. Uit de relatief lage correlaties tussen de subschalen van het emotionele en sociale domein kunnen we concluderen dat de verschillende subschalen, andere facetten van het sociaal en emotioneel functioneren meten.

De gevonden samenhang met andere (subschalen van) meetinstrumenten ondersteunt de validiteit van de GPMT-dem. De correlaties van de subschalen ‘depressief gedrag’ (r = 0,47), ‘initiatief’ (r = -0,38) en ‘levendigheid’ (r = -0,40) met hun externe criterium (respectievelijk de Cornell Scale for Depression 22 , de BOP 6 subschaal ‘inactiviteit’ en de GIP 5 subschaal ‘apathisch gedrag’) zijn opvallend lager dan de correlaties tussen de overige subschalen van de GPMT-dem en hun gerelateerde schaal. Een mogelijke verklaring voor deze resultaten is dat met de gerelateerde meetinstrumenten gedrag in de dagsociëteit van een ontmoetingscentrum werd beoordeeld terwijl de GPMT-dem werd ingevuld op basis van observaties in de PMT-setting. In het geval van de GPMT-dem subschalen ‘initiatief’ en ‘levendigheid’, is tevens een mogelijke verklaring dat deze niet geheel tegengesteld zijn aan de criterium-subschalen ‘inactiviteit’ van de BOPen ‘apathisch gedrag’ van de GIP. De correlaties tussen de subschalen van de GPMT-dem en de criterium gedragsobservatieschalen bleken overigens wel alle significant bij een significantie niveau van 0,01. Om de invloed van de situatie waarin het gedrag wordt geobserveerd zoveel mogelijk te beperken is het wellicht aan te bevelen de criteriumvaliditeit opnieuw te bepalen door de (sub-) schalen van de GPMT-dem73 te correleren met instrumenten die ook op basis van observaties binnen de PMT-situatie kunnen worden toegepast. Hierbij kan bijvoorbeeld worden gedacht aan de Neuropsychiatric Inventory (NPI-Q). 7 8 Ten tijde van het hier beschreven onderzoek was dit meetinstrument nog niet voorhanden.

De bepaling van de interbeoordelaarbetrouwbaarheid is mogelijk beïnvloed door het verschil in kennis en ervaring tussen de eerste observator (de therapeut) en de tweede observator (de studentonderzoeker). Hoewel alle observatoren gelijke training in het gebruik van de GPMT-dem ontvingen is het door deze onderzoeksopzet denkbaar dat de achtergrond van de observatoren mede bepalend is geweest voor de verschillen in hun oordelen.

Drie subschalen (‘oriëntatie’, ‘communicatie & handelen’ en ‘initiatief’) die in de intramurale onderzoeksgroep onvoldoende intern consistent bleken, zijn op basis van de resultaten van de ontmoetingscentra groep wel intern consistent te noemen. Twee subschalen (‘depressief gedrag’ en ‘agressief gedrag’) bleven daarentegen in de ontmoetingscentra groep onder de grens voor bevredigende interne consistentie terwijl in de intramurale groep alfa’s boven de 0,70 werden gevonden. Het verschil in samenstelling van de onderzoekspopulaties, alsmede het verschil in setting zijn een mogelijke verklaring voor deze waargenomen verschillen. De materiële en sociale omgeving en/of de dagindeling kunnen van invloed zijn op het gedragspatroon van de oudere met dementie. Daarnaast ligt het in de verwachting dat mensen met lichtere dementie (de meerderheid in de ontmoetingscentragroep andere gedragspatronen vertonen dan mensen met ernstiger dementie (de meerderheid in de intramurale groep) en dat de geschiktheid van het instrument zich mogelijk beperkt tot (een) bepaalde niveaugroep(en).

Hoewel verwijdering van diverse items de interne consistentie van een aantal subschalen verbetert is hier vooralsnog niet voor gekozen om de reden dat de resultaten gebaseerd zijn op een relatief kleine onderzoeksgroep (N = 41) en de items mogelijk bijdragen aan het onderscheidend vermogen van de betreffende subschaal. Onderzoek naar de interne consistentie van de GPMT-dem73 in een grotere steekproef is daarom aanbevolen.

De data van de steekproef van de hier beschreven deelstudies was te klein en onvoldoende normaal verdeeld om de factorlading van de items binnen de subschalen (en van de subschalen binnen de domeinen) te bepalen. In toekomstig onderzoek is een non-parametrische (Mokken-) schaalanalyse bij een grotere steekproef aan te bevelen om de schaalbaarheid van de GPMT-dem verder te onderzoeken.

De in deze studie bestudeerde psychometrische eigenschappen van de GPMT-dem zijn in het algemeen vergelijkbaar met de in de literatuur beschreven mate van interbeoordelaarbetrouwbaarheid, interne consistentie en criteriumvaliditeit van andere observatie- en meetinstrumenten. Zo ligt de interbeoordelaarbetrouwbaarheid (Pearson correlaties) van de subschalen van de GIP tussen de 0,76 en 0,79 5 en die voor de Cornell Scale for Depression in Dementia op 0,63 22 . De interne consistentie van de subschalen van de BOP ligt tussen de 0,74 en 0,94 en voor de Depressielijst voor stemmingsonderzoek in de psychogeriatrie worden Cronbachs alfas tussen de 0,59 en 0,66 gevonden. 27 Spearman rangcorrelaties van de NPI-Q met verschillende vragenlijsten en cognitieve tests zijn tussen de –0,08 en 0,88 gevonden. 9 Deze waarden komen overeen met de in het huidige onderzoek gevonden waarden voor de GPMT-dem met Cohens kappa gemiddeld 0,77, Cronbachs alfa variërend tussen 0,46 en 0,86 en rangcorrelaties tussen de –0,38 en 0,75.

Om het instrument bruikbaar te maken voor de praktijk dienen de psychometrische eigenschappen van de GPMT-dem bij een grotere en gevarieerde onderzoeksgroep in verschillende settingen verder te worden onderzocht, zodat ook uitspraken kunnen worden gedaan over de normen voor bepaalde patiëntgroepen in verschillende zorgsettingen en het onderscheidend vermogen van de (subschalen van de) GPMT-dem. Tevens is het aan te bevelen de unidimensionaliteit en schaalbaarheid van de subschalen van de GPMT-dem te toetsen en het effect van de aanbevolen herformulering en verwijdering van items op de interne consistentie van de GPMT-dem te onderzoeken.

Dankbetuiging

Langs deze weg bedanken we de psychomotorische therapeuten van de Landelijke werkgroep Psychomotorisch therapeuten in de Psychogeriatrie die aan dit onderzoek hebben meegewerkt. Tevens bedanken we Dr. R.J. Bosscher en Dr. P. van Wieringen voor hun commentaar op een eerdere versie van dit artikel.

 

Literatuurlijst

  1. Dröes RM. In beweging, over psychosociale hulpverlening aan demente ouderen. Nijkerk: Intro; 1991.
  2. Dröes RM. Amsterdamse ontmoetingscentra: een nieuwe vorm van ondersteuning voor dementerende mensen en hun verzorgers: over de gebruikers, de effectstudie en de implementatie in het reguliere aanbod – Eindrapport. Amsterdam: Thesis Publishers; 1996.
  3. Dröes RM. Beweeg met ons mee! Een activeringsprogramma in groepsverband voor dementerende mensen. Maarsen: Elsevier/De Tijdstroom; 1997.
  4. van Dasler J. Bewogen door beweging : bewegingsagogie en bewegingstherapie in de psychogeriatrie. Nijkerk: Intro; 1994.
  5. Verstraten PFJ, van Eekelen C. In: Handleiding voor de GIP: gedragsobservatieschaal voor intramurale psychogeriatrie. Deventer: Van Loghum Slaterus; 1987.
  6. van der Kam P, Mol F, Wimmers MFHG. In: Beoordelingsschaal voor Oudere Patiënten. Deventer: Van Loghum Slaterus; 1971.
  7. Cummings JL, Mega M, Gray K, Rosenberg-Thompson S, Carusi DA, Gornbein J. The Neuropsychiatric Inventory: comprehensive assessment of psychopathology in dementia. Neurology. 1994;44(12):2308-2314.
  8. Kat MG, de Jonghe JF, Aalten P, Kalisvaart CJ, Dröes RM, Verhey FR. Neuropsychiatrische symptomen bij dementie: psychometrische aspecten van de Neuropsychiatric Inventory (NPI) Nederlandse versie. Tijdschr Gerontol Geriatr. 2002;33(4):150-5.
  9. de Jonghe JF, Kat MG, Kalisvaart CJ, Boelaarts L. Neuropsychiatric inventory questionnaire (NPI-Q): A validity study of the Dutch form. Tijdschr Gerontol Geriatr. 2003;34(2):74-7.
  10. van Coppenolle H, Simons J. In: Van observatie naar psychomotorische therapie. Leuven/Amersfoort: Acco; 1986.
  11. Baardman I, de Jong JG. Het meten van lichaamswaardering. Bewegen en Hulpverlening. 1984;128-42.
  12. van der Mei SH, van Roosmalen R. In: Gedragsobservatieschaal voor de Psychomotorische Therapie bij demente ouderen. Interne publicatie. Faculteit der Bewegingswetenschappen – vakgroep Bewegingsagogiek. Amsterdam: Vrije Universiteit; 1992.
  13. Meijer AHH, Smit CH. In: Gedragsobservatieschaal voor de Psychomotorische Therapie bij demente ouderen: een vervolgonderzoek naar de betrouwbaarheid en de interne consistentie van de GPMT-92. Interne publicatie. Faculteit der Bewegingswetenschappen – vakgroep Bewegingsagogiek. Amsterdam: Vrije Universiteit; 1994.
  14. Flapper B. Een onderzoek naar de soortgenoot validiteit en de homogeniteit van de GPMT-73. Interne publicatie Faculteit der Bewegingswetenschappen – vakgroep Bewegingsagogiek. Amsterdam: Vrije Universiteit; 1998.
  15. American Psychiatric Association. Diagnostic and Statistical manual of Mental disorders (third edition revised). Washington DC: American Psychiatric Association, 1987.
  16. Hirs WM. Internationale classificatie van stoornissen, beperkingen en handicaps. Voorburg: Raad voor Gezondheidsresearch, TNO; 1981.
  17. Kaufer DI, Cummings JL, Ketchel P, Smith V, MacMillan A, Shelley T. Validation of the NPI-Q, a brief clinical form of the neurpsychiatric inventory. J Neuropsychiatry Clin Neurosci. 2000;12(2):233-9.
  18. Reisberg B, Ferris SH, de Leon MJ, Crook T. The Global Deterioration Scale for assessment of primary degenerative dementia. Am J Psychiatry. 1982;139(9):1136-9.
  19. Reisberg B, Auer SR, Monteiro I, Boksay I, Sclan SG. Behavioral disturbances of dementia: an overview of phenomenology and methodologic concerns. Int Psychogeriatr. 1996;8(2):169-182. 10.1017/S1041610297003335
  20. Muskens JB. Het beloop van dementie: een exploratief longitudinaal onderzoek in de huisartspraktijk. Nijmegen: SNN; 1993.
  21. Reisberg B, Schneck MK, Ferris SH, Schwarz GE, de Leon MJ. The Brief Cognitive Rating Scale: findings in primary degenerative dementia (PDD). Psychopharmacological Bulletin. 1983;1947-50.
  22. Alexopoulos GS, Abrams RC, Shamoian CA. Cornell scale for depression in dementia. Biological Psychiatry. 1988;23271-284. 10.1016/0006-3223(88)90038-8
  23. Dröes RM, Breebaart E. In: Amsterdamse Ontmoetingscentra: Een nieuwe vorm van ondersteuning voor thuiswonende ouderen en hun verzorgers – Eindrapport voorstudie. Amsterdam: Thesis Publishers; 1994.
  24. Meer B, Bakker JA. The Stockton Geriatric Rating Scale. J Gerontol. 1966;21392-403.
  25. van de Sande JP. Gedragsobservatie. Groningen: Wolters-Noordhoff; 1986.
  26. Nunnally JC. Psychometric theory. New York: McGraw-Hill; 1978.
  27. Diesfeldt HFA. De depressielijst voor stemmingsonderzoek in de psychogeriatrie: meetpretenties en schaalbaarheid. Tijdschr Gerontol Geriatr. 2004;35224-233.