Afbakening en inhoudelijke onderbouwing

Bij dit eerste cluster van kwaliteitscriteria uit het toetsingskader wordt ingezoomd op wat er qua inhoud in het instrument aan de orde komt, hoe dat is afgebakend en of dat is onderbouwd. Sluit het aan bij regelgeving, is het afgestemd op onderwijskundig beleid dan wel de onderwijsvisie van de school, biedt het ruimte voor maatwerk?

• [1] Inhoudsvaliditeit (content validity) kijkt naar de mate waarin de test het construct in kwestie meet. Is de test een representatieve afspiegeling van het kennisdomein? De volledigheid van de test speelt hierbij dus een rol;
• [2] Indruksvaliditeit (face validity, ook wel validiteit op zicht) betekent niet veel meer dan dat men (de onderzoeker in het bijzonder) de indruk heeft dat een meting valide is. Deze validiteit vertrouwt op het vermogen van mensen om intuïtief aan te voelen of een test wel of niet meet wat hij moet meten. Op het eerste gezicht lijken de testresultaten dan valide te zijn. Door middel van wetenschappelijke controle zouden de resultaten echter ontkracht kunnen worden.

Toelichting

De Competentie Thermometer is een wetenschappelijk onderbouwde methode en baseert zich met betrekking tot lerarenkwaliteit op de vigerende wet- en regelgeving. Dit houdt in dat wordt gewerkt op basis van de herijkte bekwaamheidseisen, te weten pedagogisch, vakdidactisch en vakinhoudelijk bekwaam. Eerder ontwikkelde observatielijsten zijn en blijven voor gebruikers[1] echter beschikbaar. Dit impliceert dat -rekening houdend met de precieze vraag van het onderzoek- de gebruiker over verschillende observatielijsten kan beschikken, waaronder een kijkwijzer gebaseerd op de gedragstermen zoals opgenomen in bijlage XVII van de cao PO ( uitgewerkt in de niveaus start-, basis- en vakbekwaam), twee door de Competentie Thermometer ontwikkelde en gevalideerde kijkwijzers maar ook meer uitgebreide competentieprofielen die betrekking hebben op aandachtsgebieden samenwerken met collega’s, samenwerken met de omgeving én reflectie en ontwikkeling.

Aan de inhoudelijke totstandkoming en regelmatige periodieke bijstellingen van De Competentie Thermometer liggen diverse bronnen ten grondslag, waaronder de Bekwaamheidseisen Onderwijsgevend Personeel, de wet BIO, het Toezichtkader van de Inspectie, Leren zichtbaar maken (John Hattie), Wat écht werkt (Dave Mitchell) en Wat werkt op school (Robert J. Marzano). Voor de laatste drie bronnen geldt dat het verzamelingen van onderzoek betreffen waarbij met grote regelmaat wordt verwezen naar andere, achterliggende onderzoeken. Tevens is gebruik gemaakt van de meest recente informatie betreffende het in de cao afgesproken onderscheid tussen basis- en vakbekwaam en de herijkte bekwaamheidseisen (maart 2017) die op 1 augustus 2017 in werking zijn getreden.

Tot slot is met betrekking tot de totstandkoming input geleverd door besturen, adviesdiensten en universiteiten. Het observatiesysteem[2] geeft de gebruiker gedetailleerde informatie over de voornoemde bronnen in relatie tot het betreffende observatie-item. Voor alle observatie-items geldt dat er in het voor gebruikers beschikbare supportcentrum een verantwoording is opgenomen waarin wordt aangegeven welke relatie er is met het kernkader van de inspectie, op welke wijze observatie-items samenhangen met de Hattie-ranking en op welke wijze observatie-items samenhangen met andere wetenschappelijke inzichten. In dit verband laat Excellente Scholen weten dat alle punten uit de top 20 over het handelen en het gedrag van de leerkracht op basis van het gedachtegoed van John Hattie (Leren zichtbaar maken) in De Competentie Thermometer in enigerlei vorm terugkomen.

Het systeem biedt de gebruiker de mogelijkheid om per observatie te bepalen welke aandachtspunten centraal staan. Het is tevens mogelijk om eigen aandachtspunten aan de rapportage toe te voegen. Voor bijvoorbeeld Jenaplan, Dalton of Montessorischolen geldt dus dat zij specifieke aandachtspunten mee kunnen rapporteren. Daarnaast is het ook mogelijk om een eigen werkvolgorde te hanteren (bijvoorbeeld eerst het didactisch handelen onder de loep nemen en daarna het pedagogisch handelen) of om de observatie toe te spitsen op enkele specifieke aandachtspunten (bijvoorbeeld alleen het didactisch handelen). De rapportage is dus geheel vrij te bewerken en daarmee uitermate flexibel in gebruik.

Uit extern onderzoek uitgevoerd door een universiteit in opdracht van de onderwijsinspectie blijkt dat De Competentie Thermometer één van de twee serieus wetenschappelijk gevalideerde instrumenten in Nederland is. Lees in dit verband bijvoorbeeld de publicatie ‘’Op naar betere lesobservaties’’ in Didactief (december 2016) en de publicatie ‘’Het doel van zelfevaluatie is dat je je als school ontwikkelt’’ in Kader Primair (april 2017) waarin o.a. wordt ingegaan op het belang van de kwaliteit van het observatie-instrument.

[1] Met gebruiker(s) wordt/worden observant(en) of assessor(en) bedoeld.

[2] De PO-Raad maakt onderscheid tussen de begrippen ‘instrument’/‘instrumentarium’ en ‘systeem’. De Competentie Thermometer is een observatiesysteem. Dit wil zeggen dat een training onlosmakelijk deel uitmaakt van het aanbod.