7) De capaciteitentest
Deze onderzoeksmethode betreft een aan het onderwijs gerelateerde cognitieve test met onder andere taal- en rekenopgaven. De deelnemer dient de capaciteitentest in beperkte tijd op de iPad in te vullen en zoveel mogelijk goede antwoorden te geven.

Het afnemen van de capaciteitentest

De capaciteitentest is een onderwijsgerelateerde test die bestaat uit 45 taalopgaven, figurenreeksen, syllogismen en rekenopgaven. De deelnemer krijgt 40 minuten de tijd om op de iPad zoveel mogelijk goede antwoorden te geven. Omdat er onder tijdsdruk gepresteerd moet worden, is het belangrijk dat de deelnemer goed voorbereid is. Sommigen vinden het erg spannend. Het is gebruikelijk om de deelnemer de capaciteitentest in een aparte, rustige ruimte in te laten vullen.

Zodra de deelnemer de iPad met de capaciteitentest voor zich heeft liggen, wordt er gevraagd om leeftijd en hoogst genoten opleiding in te vullen. Eerst worden er twee oefenvragen gesteld om te wennen aan de inhoud en het invullen op de iPad. Deze tellen niet mee voor de score. Hierna verschijnt een scherm met uitleg, de mededeling dat er aantekeningen gemaakt mogen worden en dat hierna de échte test zal beginnen. Pas als de deelnemer op 'Start de test' klikt, gaan de 40 minuten in. Boven in beeld loopt een tellertje mee.

De deelnemer geeft antwoord op de vragen op basis van multiple choice. De antwoorden worden automatisch opgeslagen, maar kunnen gedurende de test gewijzigd worden. Middels knoppen onderaan de pagina of door te swipen kan genavigeerd worden door alle vragen. Het is mogelijk om vragen over te slaan en later in te vullen. Onderin beeld geeft een indicator aan welke vragen er al beantwoord zijn.

Indien de deelnemer klaar is met invullen, kan hij/zij de capaciteitentest zelf opslaan en afsluiten. Als de tijd verstreken is, gebeurt dit automatisch. Er verschijnt een mededeling met de vraag om de iPad terug te geven aan de assessor. De resultaten van de capaciteitentest zijn bij het opslaan naar de server verstuurd en direct beschikbaar in de assessmentrapportage. In het dashboard van de assessor wordt zichtbaar dat de test is ingevuld.

Scores in de capaciteitentest

De capaciteitentest rapporteert de cognitieve vaardigheden van de deelnemer als ruwe score en percentielscore.

Ruwe score capaciteitentest

Het totaal aantal goede antwoorden van de deelnemer wordt de ruwe score genoemd. Deze ruwe score is minimaal 0 en maximaal 45. Dezelfde test is ook voorgelegd aan een representatieve normgroep. In het geval van de capaciteitentest voor leraren bijvoorbeeld aan andere mensen met een lesbevoegdheid in Nederland. Representatief wil zeggen dat het er zo veel waren dat je volgens de geldende wetenschappelijke spelregels mag aannemen dat de uitslagen van deze normgroep representatief zijn voor de totale populatie van mensen met een lesbevoegdheid in Nederland.

Percentielscore capaciteitentest

De ruwe score van een een deelnemer wordt vervolgens omgezet naar een percentielscore. Dat wil zeggen dat de ruwe score van de deelnemer wordt vergeleken met de scores van de normgroep. Een percentielscore van 70 tot 80% bijvoorbeeld wil zeggen dat de ruwe score van de deelnemer beter is dan de ruwe score van 70% van de normgroep waarmee vergeleken wordt, ongeveer gelijk aan 10% van de normgroep en minder goed is dan de ruwe score van 20% van de normgroep.

Het nut van een capaciteitentest

Wat zeggen de resultaten van een cognitieve test over de kwaliteiten van onderwijsgevend personeel? Om daarover duidelijkheid te krijgen, keken we naar de bevindingen van de Amerikaanse onderzoekers Schmidt en Hunter (gepubliceerd in 1998, Psychological Bulletin). Zij hebben onderzocht wat de voorspellende validiteit is van toekomstig functiegedrag van diverse onderzoekmethoden. Dit wordt aangegeven in een correlatiecoëfficiënt tussen de score op de test en bijvoorbeeld de beoordeling een jaar later door de leidinggevende. “Als ik iemand aanneem die goed scoort, zal hij dan daadwerkelijk goed functioneren over een jaar?”

Een correlatie van 0.0 betekent dat selectie op grond van toeval (zoals loting) even goede resultaten zou opleveren. Een correlatiecoëfficiënt van 1.0 is een perfecte voorspelling. Een relatief eenvoudige techniek als een cognitieve vaardigheidstests blijkt een hoge validiteitcoëfficiënt op te leveren. Bovendien neemt de validiteit van deze capaciteitentests nog toe bij complexere functies.

Resultaten meta-analyse

In de onderstaande opsomming worden de resultaten van de meta-analyse van Schmidt en Hunter gepresenteerd. De tabel bevat validiteitcoëfficiënten van verschillende onderzoeksmethoden die zijn onderzocht.

  • Arbeidsproeven .54
  • Cognitieve vaardigheidstests .51
  • Gestructureerde interviews .51
  • Ongestructureerde interviews .38
  • Assessmentoefeningen (postbak, rollenspel) .37
  • Persoonlijkheidsvragenlijsten .31
  • Referenties .26
  • Jaren werkervaring .18
  • Jaren opleiding .10
  • Belangstellingsvragenlijsten .10
  • Grafologie .02
  • Leeftijd .01

Betrouwbaarheid capaciteitentest

Wil dat zeggen dat een capaciteitentest alleen betrouwbaar is in een selectie-assessment? Nee, zeker niet. In een ontwikkelassessment of beoordelend assessment wordt sterk gekeken naar het huidige functioneren, bijvoorbeeld op basis van de observatie (arbeidsproef / klassenbezoek) en het gestructureerde interview (STAR-methode). Ook in dit type assessments staat de vraag centraal in hoeverre en op welke manier het huidige functioneren over een bepaalde periode kan verbeteren. De capaciteitentest geeft een goede voorspelling van deze haalbaarheid (voorspelling toekomstig functioneren).

Staan deze wetenschappelijke bevindingen los van de praktijk? Het artikel van Schmidt en Hunter is juist gebaseerd op de praktijk, want ze analyseren allemaal gegevens die uit concrete praktijksituaties afkomstig zijn. Zij geven een samenvatting van alle meta-analyses, die de voorbije 85 jaar zijn uitgevoerd op grond van de validiteit van diverse technieken. Hierdoor zijn hun resultaten gebaseerd op meer dan 30.000 kandidaten. Kortom, stellen dat één lokale studie uitgevoerd in de “praktijk” de wetenschappelijke resultaten van Schmidt en Hunter ondergraaft is niet reëel.

Een zeer begaafd persoon kan toch ongeschikt blijken voor een bepaalde functie vanwege ontoereikende sociale vaardigheden? Inderdaad. Het probleem is dat sommigen denken dat Schmidt en Hunter ook poneren om alleen cognitieve vaardigheidstests te gebruiken. Dit is niet zo. Het artikel van Schmidt en Hunter bepaalt ook welke combinatie van technieken de beste voorspelling oplevert (incrementele validiteit). Hieruit valt glashelder te concluderen dat men de validiteit verkregen op grond van capaciteitentests nog kan verhogen indien men een persoonlijkheidsvragenlijst en gestructureerd interview toevoegt aan de selectieprocedure. Hetzelfde geldt voor de combinatie cognitieve vaardigheidstests en arbeidsproeven. We houden hier in de Competentie Thermometer rekening mee door deze diverse methoden te combineren.

Alleen voor assessoren

In ons (besloten) supportcentrum gaan we dieper in op de wetenschappelijke onderbouwing van de capaciteitentest, de correcte interpretatie van de uitslag en de invloed van dyslexie op de resultaten.

Laten afnemen of liever zelf doen?
Werk je op een school en wil je een assessment laten afnemen bij een leraar? Huur dan één van onze assessoren in. Doe je dat vaker óf werk je als adviseur? Dan is het slimmer om zelf assessor te worden. Laat ons je persoonlijk adviseren via e-mail of telefoon.

Zelf assessor worden Assessment laten afnemen