Toets-technische criteria

Bij dit tweede cluster staan de toets-technische criteria centraal. Het gaat dan om de wetenschappelijke opvattingen die gelden bij meetinstrumenten, zoals validiteit en betrouwbaarheid, en om de wijze waarop verkregen (observatie-)gegevens worden verwerkt. Differentieert het instrument tussen verschillende niveaus van beheersing? Wordt dichotoom (slechts twee antwoorden mogelijk, bijvoorbeeld ja of nee, of goed of fout) of ordinaal gescoord? Wordt gewerkt met losse items of schalen? Is het instrument uitgetest op bruikbaarheid, hebben betrouwbaarheidsanalyses plaatsgevonden en zo ja welke?

Differentiatie: niveaus van beheersing

Ja

Nee

Kan het instrument differentiëren tussen de in de cao onderscheiden stadia van bekwaamheid van leraren: startbekwaam, basisbekwaam en vakbekwaam?

Normering: normgerichte interpretatie

Ja

Nee

N.v.t.

Zijn normgegevens voor de scores beschikbaar en zijn de groepen waarop deze gebaseerd zijn representatief en groot genoeg?

Scoring op ordinaal niveau

Ja

Nee

Wordt bij het scoren van lerarengedrag wordt zowel het zichtbare gedrag gescoord wordt getoond (nominale scoring, Zie 1.), als de mate van getoonde beheersing (ordinale scoring, Zie 2.)?

Schaalconstructie *

Ja

Nee

Deels

Worden items geclusterd tot schalen voor het meten van de onderscheiden aspecten van lerarengedrag?

Proefafnames *

Ja

Nee

Is het instrument in een authentieke context uitgetest op bruikbaarheid?

  1. Nominale scoring is het eenvoudigste meetniveau dat bestaat. Daarbij gaat het, zoals de naam al aangeeft (Latijn: nomen, naam) bij het meten slechts om het benoemen, om de naam van hetgeen gemeten wordt. Enkele voorbeelden zijn: geslacht (man/vrouw) en de diersoorten;
  2. Ordinale scoring kent een natuurlijke ordening. Enkele voorbeelden zijn: de rangen in het leger en de onderverdeling tussen opleidingsniveaus vmbo, havo, vwo.

Toelichting

De Competentie Thermometer is ontwikkeld door middel van intensieve samenwerking tussen arbeidspsychologen en ervaren onderwijsprofessionals. Op deze pagina wordt uitgelegd welke stappen zijn gezet bij het construeren van een wetenschappelijk observatie-instrument. Er wordt o.a. ingegaan op het kwalitatieve voorwerk dat is verricht, maar ook op het empirisch onderzoek dat heeft plaatsgevonden en op de wijze waarop de observatiepunten worden gewogen.

Na en tijdens de ontwikkelfase is het observatiesysteem op scholen getest op bruikbaarheid. Hierbij is een beroep gedaan op diverse onderwijsspecialisten waaronder adviseurs, leidinggevenden en leraren. De Competentie Thermometer is een levend systeem. Als gevolg van nieuwe inzichten en ontwikkelingen en als gevolg van wijzigingen in wet- en regelgeving, wordt het systeem blijvend aangepast en op bruikbaarheid getest.

Met regelmaat vinden betrouwbaarheidsanalyses plaats met als doel om te bepalen of de observatie-items van de verschillende aandachtsgebieden (bekwaamheden) samen een betrouwbare samenstelling vormen. Met oog op de betrouwbaarheid worden observatie-items zo nodig weggelaten, aangepast of toegevoegd. Gebruikers van het systeem hebben via het uitsluitend voor hen beschikbare supportcentrum de beschikking over gedetailleerde informatie met betrekking tot genoemde analyses (werkwijze en uitkomsten).

Concreet waarneembaar leraargedrag wordt in het observatiesysteem conform cao beschreven op de niveaus start, basis- en- vakbekwaam. Bij het scoren wordt niet alleen gekeken of het gedrag voorkomt, maar ook naar de mate van beheersing. Het observatieverslag geeft vervolgens de feitelijke score van de leraar aan zoals vastgesteld door de gebruiker gedurende de observatie overeenkomstig de hiervoor genoemde niveaus. Aan observatie-items die een samenhang vertonen met het waarderingskader van de inspectie en observatie-items die op basis van wetenschappelijke inzichten essentieel zijn, wordt een zwaardere weging toegekend.