Wetenschappelijke verantwoording

De Competentie Thermometer is ontwikkeld door middel van intensieve samenwerking tussen arbeidspsychologen en ervaren onderwijsprofessionals. We leggen uit welke stappen we hebben gezet bij het construeren van een wetenschappelijk observatie-instrument.

Wetenschappelijk observatie-instrument

Voorwerk en inhoudsvaliditeit

De eerste stap bij het maken van een goed observatie-instrument voor het onderwijs is in onderzoekstermen ‘kwalitatief’ van aard. Werkgroepen en klankbordgroepen van verschillende gremia uit het onderwijs zijn van 2007 tot heden geraadpleegd door onze onderwijskundigen, arbeids- en organisatiepsychologen om een zo breed mogelijke spreiding van observatiepunten te krijgen vanuit het oogpunt van inhoudsvaliditeit. Deelnemers zijn externe adviseurs, leraren, intern begeleiders, teamleiders en algemeen directeuren in verschillende samenstellingen.

Eén van de centrale vragen hierbij is telkens; 'welk zichtbaar effectief gedrag laat een goede leraar zien?'Zoals gezegd is de Competentie Thermometer een levend instrument. Het raadplegen van het onderwijsveld houdt nooit op. Recente ontwikkelingen in regelgeving en onderwijsvernieuwingen maken continu nieuwe aanpassingen aan het assessmentprofiel noodzakelijk. Ook de keuzes voor het specifieke draaiboek en de SBL competenties komen voort uit deze eerste fase van het ontwikkelproces. De keuze voor een vast draaiboek (standaardisatie van procedure) op een vast moment (bij aanvang van de lesdag) zorgt ook voor een nog grotere betrouwbaarheid van het observatie instrument.

Bestaande informatie en onderzoeken

Om te zorgen dat de opbrengsten zo concreet mogelijk zijn en het daadwerkelijk over echt bewezen effectief leraargedrag gaat, wordt in de werkgroepen zoveel mogelijk gebruik gemaakt van bestaande onderzoeken, informatie en beroepsprofielen. Bijvoorbeeld vrij beschikbare informatie van de Onderwijscoöperatie (voorheen SBL), de Inspectie van het Onderwijs of uitsluitend voor dit doel ter beschikking gestelde kijkwijzers en informatie door participerende onderwijsbegeleidingsdiensten en besturen. Ook onderzoekswerk van bijvoorbeeld Hattie, Mitchell en Marzano wordt daarin meegenomen.

Dergelijke sessies met experts die brainstormen op basis van beschikbare informatie over de vraag naar effectief leraargedrag levert uiteraard zeer veel informatie op. Te veel informatie zelfs. Je moet je daarbij voorstellen dat na afloop van het kwalitatief voorwerk werkelijk honderden observatiepunten op de lijst stonden. Bedenk maar eens hoeveel punten je kunt inbrengen als je zelf een middag zou brainstormen met collega's over wat een goede leraar zou moeten laten zien tijdens het lesgeven.

Wel lang, maar nog lang niet klaar

We kunnen ons voorstellen dat deze eerste stap van het kwalitatieve voorwerk voor een onderwijsprofessional niet verrassend is. Als je je voorstelt hoe het opstellen van een observatie-instrument in zijn werk gaat, dan kom je waarschijnlijk ongeveer op bovenstaande titel uit. Toch? Veel van de in de markt beschikbare observatie-instrumenten zullen tot stand gekomen zijn door het om tafel zetten van een groep experts die gezamenlijk aangeven welk effectief gedrag zij van een leraar verwachten, gebaseerd op het onderzoek dat zij kennen. Hooguit kun je zeggen dat de Competentie Thermometer daarin wel heel erg grondig te werk is gegaan.

Zo'n lange lijst met observatiepunten die op deze manier tot stand komt klinkt wellicht goed onderbouwd, maar voldoet nog allerminst aan onze eigen kwaliteitseisen. De misvatting dat het ontwikkelproces na de bovenstaande stappen klaar is en dat een lange lijst met observatiepunten beter is dan een korte, is één van de drijfveren geweest om de Competentie Thermometer te ontwikkelen.

Uitwerken in concrete normen

De volgende stap is het specifiek maken van het observatie-instrument. Alle afzonderlijke observatiepunten zijn in de werkgroepen uitgewerkt tot drie niveau's van concreet omschreven zichtbaar gedrag (onder verwachting, naar verwachting en boven verwachting). Zoals al eerder geschreven vindt deze ontwikkeling en toetsing nog steeds met enige regelmaat plaats.

Sommige punten waar iedereen het aan tafel weliswaar over eens is, blijken nog niet zo eenduidig te concretiseren. In de meeste kijkwijzers, zelfs in de 'officiële', staan bijvoorbeeld observatiepunten zoals; 'creëert een veilige leeromgeving' en 'toont respect voor kinderen'. Geen enkel probleem om in te vullen met 'ja' of 'nee'. Alleen blijken we er allemaal nèt iets anders onder te verstaan. De één vindt kinderen een hand schudden bij binnenkomst respect uitstralen en dan ander zoekt dat respect juist in oogcontact maken en uit laten praten. En zelfs wanneer we het er wèl over eens zijn dat het respect tonen wordt geuit in kinderen uit laten praten. Hoe vaak mag een leraar dan een kind onderbreken voordat we vinden dat hij onvoldoende respect toont? Met andere woorden: veel observatiepunten zijn na het eerste kwalitatieve onderzoeksdeel nog niet concreet genoeg. Uitwerking in verschillende niveau's van concreet omschreven gedrag is nodig voor uniforme afname.

Eerlijk meten van constructen

Voor sommige (delen van) competenties is veel eenvoudiger om te observeren gedrag te bedenken dan voor andere (delen van) competenties. Voor 'het geven van een instructie' kunnen we bijvoorbeeld sneller met goede punten komen dan voor 'het bieden van extra zorg in de klas aan kinderen die dat nodig hebben'. Als je niet oplet, dan zijn er dus voor die (delen van) competenties veel meer observatiepunten in de lijst opgenomen en lijken ze daardoor belangrijker. Dat is niet de bedoeling, want dat zijn ze niet. Je moet dus uitkijken voor oververtegenwoordiging van 'wat makkelijk te verzinnen is' en bewaken dat alles goed verdeeld is over de verschillende competenties. Iedere competentie (ieder construct) dient ook daadwerkelijk volledig en eerlijk gemeten te worden.

Empirisch onderzoek en analyse van kwantitatieve gegevens

De volgende stap was het valideren van de theoretisch opgestelde normen. Dat wil zeggen dat er in klassen is geobserveerd (en dat nog steeds wordt) om te bepalen of normaal functionerende leraren inderdaad naar verwachting scoren op de in drie niveau's uitgewerkte observatiepunten. Op die manier zijn door middel van empirisch onderzoek veel kwantitatieve onderzoeksgegevens verkregen op basis waarvan de normen zijn getoetst en daar waar nodig bijgesteld.

De Competentie Thermometer beschikt dus niet alleen over een observatielijst, maar tevens over informatie op drie niveau's waarin aangegeven wordt hoe een leraar over het algemeen ‘scoort’ op deze niveau's (benchmark). Bij het opstellen van deze normen is overigens niet alleen gekeken naar wat over het algemeen door het werkveld als voldoende wordt aangemerkt (empirische onderzoeksgegevens), maar tevens naar wat een harde eis is vanuit de inspectie.

Door de observatie in de praktijk uit te proberen (eerst op papier, daarna in Excel op de laptop en later op de iPad in de applicatie) bleken veel observatiepunten toch minder concreet of minder vaak voor te komen dan gedacht. Dat bracht de lijst verder terug tot een beter hanteerbare omvang.

Itemontwikkeling en itemanalyse

Het vervolg is grotendeels een statistische aangelegenheid. Er wordt gekeken in hoeverre de uitkomsten van diverse items die samen een competentie meten met elkaar correleren. Vervolgens is er bijgesteld en waar nodig opnieuw getoetst. Items die volledig overeenkomen met een ander item zijn komen te vervallen of aangepast, want statistisch gesproken was dus geen sprake van twee items, maar van twee verschillende verwoordingen van hetzelfde item.

Door middel van verdere statische bewerking is gekeken of de verschillende onderdelen van het assessment inderdaad uiteenvallen in de te verwachten constructen (SBL-competenties). Op basis van de uitkomsten van deze factoranalyse is een flink aantal items afgevallen of op een andere manier ingedeeld.

Wat overblijft zijn ongeveer 50 observatiepunten verdeeld over de eerste vier SBL-competenties die worden vastgesteld gedurende een observatie van anderhalf uur aan de hand van een vast draaiboek. Het toevoegen van meer observatiepunten levert niet of nauwelijks meer informatie op over de kwaliteit van het lesgeven. De laatste drie SBL-competenties spelen zich niet af in het klaslokaal en kunnen daarom niet worden vastgesteld door middel van een lesobservatie.

Waardering / weging van observatiepunten

Het waarderen van de verschillende observatiepunten ten opzichte van elkaar is volgende stap in het ontwikkelen van het observatie-instrument geweest. Dit is wederom op basis van input van de expertgroepen gedaan. Het inspectiekader en de daarin genoemde elementen zijn daarbij als belangrijk uitgangspunt genomen. Eén observatiepunt uit het inspectiekader (voorbeeld: Differentiëren in verschillende niveaugroepen) telt dus zwaarder mee dan punten die wel belangrijk genoeg gevonden worden door assessoren, maar die niet in het inspectiekader zijn opgenomen (voorbeeld: Een opgeruimd klaslokaal).

Overeenstemming tussen uitkomst en intuïtief cijfer

Het instrument was toen in aanleg af, maar moest vanwege het instellen van de onderlinge gewichten weer opnieuw getoetst worden. Pas nadat we constateerden dat het invullen en het rekenwerk op de achtergrond ook gevoelsmatig bij alle experts die het instrument inzetten leidt tot herkenning (en erkenning) van de uitslag in relatie tot wat ze waargenomen hebben, wisten we dat het goed zat. Met andere woorden: er is een hoge mate van overeenstemming tussen de uitkomst van het observatie-instrument en het 'cijfer' dat de assessor in kwestie zelf had willen geven puur op basis van zijn intuïtie als professional. Alle onbewuste en bewuste kennis die de professional met zich meeneemt naar een observatie zijn door ons dus blijkbaar succesvol gevat in een instrument dat expliciet maakt waar op gelet is en hoe die punten zijn gescoord.

Scores op basis van triangulatie 

Denk er aan dat bij de Competentie Thermometer in de regel behalve de observatie nog andere methoden worden gebruikt om tot uitspraken te komen over competenties. Er wordt van verschillende onderzoeksmethoden gebruik gemaakt om betrouwbare conclusies te kunnen trekken over één bepaald construct of domein. Die wordt triangulatie genoemd. Het antwoord zal daardoor nog beter onderbouwd worden. Vanwege de hierboven beschreven doordachte manier van construeren biedt het observatie-instrument ook als zelfstandige methode een stevige houvast waarop je bevindingen en conclusies kunt baseren. De mogelijkheid om modulair af te nemen stelt een assessor ook in staat om (desgewenst) alleen met een observatie te werken.

Gebruikte literatuur

Aan de inhoudelijke totstandkoming en regelmatige periodieke bijstellingen van de Competentie Thermometer liggen diverse bronnen ten grondslag. Waar mogelijk is gebruik gemaakt van bestaande informatie en beroepsprofielen. Een viertal bronnen is hierbij leidend geweest, te weten de Bekwaamheidseisen Onderwijsgevend Personeel (2006), Leren zichtbaar maken (Hattie, 2013), Wat écht werkt (Mitchell, 2015) en Wat werkt op school (Robert R. Marzano, 2010). Voor de laatste drie bronnen geldt dat het verzamelingen van onderzoek betreffen waarbij met grote regelmaat wordt verwezen naar andere, achterliggende onderzoeken. In de onderhavige verantwoording worden deze achterliggende bronnen in bepaalde gevallen expliciet genoemd. Dit is het geval als er sprake is van een zeer duidelijke relatie met het betreffende item van de Competentie Thermometer.

Naast de inzichten van diverse onderwijswetenschappers waaronder Hattie, Mitchell en Marzano, is tevens gebruik gemaakt van het Toezichtkader PO/VO van de Inspectie van het Onderwijs, van de nieuwe bekwaamheidseisen voor onderwijspersoneel (Besluit van 16 maart 2017) en van informatie die aan Competentie Thermometer BV ter beschikking is gesteld door participerende onderwijsbegeleidingsdiensten en schoolbesturen. Ten aanzien van genoemde diensten en besturen is o.a. gebruik gemaakt van diverse kijkwijzers.

Tevens is gebruik gemaakt van de meest recente informatie betreffende de het in de CAO 2014-2015 afgesproken onderscheid tussen basis- en vakbekwaam.

Laten afnemen of liever zelf doen?
Werk je op een school en wil je een assessment laten afnemen bij een leraar? Huur dan één van onze assessoren in. Doe je dat vaker óf werk je als adviseur? Dan is het slimmer om zelf assessor te worden. Laat ons je persoonlijk adviseren via e-mail of telefoon.

Zelf assessor worden Assessment laten afnemen