Search

In gesprek met toetsdeskundige Nicole – Nieuw toetsaanbod in Take Care


Vanaf dit schooljaar hebben Take Care-gebruikers toegang tot een nieuwe toetsomgeving en tot een uitgebreider aanbod toetsen. Maar hoe verloopt zo’n creatieproces van nieuwe toetsen? We vroegen het Nicole, toetsdeskundige en één van de eindredacteuren van dit project.

Welke stappen zet je in het creëren van toetsen?

‘Allereerst begin je met het uitdenken van een concept. Wat is het doel van de verschillende theoriestudies en -toetsen? En welke taxonomieniveau past daarbij? Wij hebben gekozen voor de taxonomie van Bloom.Vervolgens hebben we bepaald welke niveaus van Bloom we aan bod laten komen in de theoriestudies- en toetsen voor niveau 3 en 4. Ook hebben we gekeken welke verhouding, contexten en vraagtypes we daarvoor in willen zetten. Op basis daarvan hebben we toetsmatrijzen gemaakt, die de basis vormen voor de constructie van de toetsvragen.’





Hoe zorg je voor een goede koppeling naar de praktijk?

‘Bij het maken van de toetsen hebben we inhoudelijke experts gekoppeld aan onderwijskundigen of toetsdeskundigen zoals ik. De auteurs zijn vrijwel allemaal inhoudelijke experts die in de praktijk werken of hebben gewerkt. Zij bedenken de daadwerkelijke vragen aan de hand van relevante praktijkvoorbeelden. Zo kunnen we bij het bevragen van de theorie een mooie vertaalslag maken naar de praktijk. In een toets willen we namelijk niet alleen vragen ‘Welke verschillende type infusen zijn er?’ De vertaalslag moet er ook zijn; de student moet de kennis kunnen toepassen in een praktijksituatie. Dit doen we bijvoorbeeld door casussen te gebruiken in de vragen, zoals: ‘Meneer X is in shock en moet snel vocht toegediend krijgen. Welk type infuus is het meest geschikt in deze situatie?’ De mate waarin er een vertaalslag wordt gemaakt met de beroepspraktijk hangt samen met de Bloom-niveaus, dit gebeurt met name bij vragen op de niveaus ‘toepassen’ en ‘analyseren’. In de toetsen hebben we gezocht naar een goede balans tussen theorie en praktijk: hoe kunnen we de Bloom-niveaus in een goede verhouding aan bod laten komen en daarbij de vertaalslag maken naar de beroepspraktijk van de verzorgende IG (niveau 3) en verpleegkundige (niveau 4).’



Wat is jouw rol als toetsdeskundige?
‘Mijn expertise zit echt op de toetstechnische kant, ik weet veel van hoe je goede toetsvragen maakt. Tijdens de eindredactie check ik bijvoorbeeld of foutieve antwoordmogelijkheden écht fout zijn en of er geen instinkers tussen zitten. Ook kijk ik kritisch of de toetsvragen functioneel zijn door telkens de vraag te stellen: ‘Is het belangrijk dat de student het antwoord op deze vraag kan geven?’

Zijn de oude toetsen herzien?

‘Jazeker. Voor de oude toetsen zijn ook toetsmatrijzen gemaakt. Ook is een weging aangebracht tussen toetsopgaven en zijn de toetsen aangepast naar de nieuwe indeling op basis van de taxonomie van Bloom. Daarnaast is beoordeeld of de vraagtypes in de oude toetsen passend zijn of dat er beter een ander (nieuw digitaal) vraagtype kan worden gebruikt. Bij de formulering van de vragen hebben ons de vraag gesteld; zijn ze specifiek en duidelijk voor de student? Zo hebben we een mooie kwaliteitsslag gemaakt voor de oude toetsen.’

 

Even een aantal praktische vragen.

Hoe kun je zien wat de moeilijkheidsgraad van een toets is?

‘Als de toetsen digitaal zijn afgenomen bij studenten kan je heel mooi de P-waarde (de proportie correcte antwoorden) van de afzonderlijke toetsvragen uitrekenen. Een p-waarde van 0.8 betekent bijvoorbeeld dat 80% van de studenten die vraag goed maakt. Op die manier kan je met zekerheid bepalen wat de moeilijkheidsgraad van verschillende vragen is. Bij de oude toetsen hebben we de P-waardenoverzichten geanalyseerd en zijn vragen die door weinig studenten goed zijn gemaakt kritisch bekeken. Waar nodig hebben we vragen vervangen of aangepast.

Natuurlijk wil je ook vóórdat toetsen worden afgenomen weten of de moeilijkheidsgraad passend is. Hier gebruiken we onder andere de taxonomieniveaus van Bloom voor. Van tevoren hebben we per niveau bepaald wat de verhouding van de verschillende vragen moet zijn. Zo hebben we voor de theoriestudies voor niveau 3 gekozen voor: 45% onthouden, 30% begrijpen en 25% toepassen. Voor niveau 4 is dat: 40% onthouden, 25% begrijpen, 25% toepassen en 10% analyseren. De verhouding van de toetsvragen is gelijk voor niveau 3 en 4: 45% onthouden, 30% begrijpen en 25% toepassen. Daarnaast hebben de auteurs door hun praktijkervaring een goed beeld van wat studenten straks in de beroepspraktijk moeten weten en kunnen en welke moeilijkheid van vragen hier bij past.’


Hoe weet je als student of je alle leerdoelen hebt gehaald?

‘Het toetssysteem geeft naast een toetsscore voor de hele toets ook een score per taxanomieniveau, paragraaf én leerdoel. Deze informatie is zichtbaar voor studenten als de docent de toets heeft vrijgegeven. Zo kan je als student goed zien waar je staat in de beheersing van de stof.’




Zijn er toetsen met open vragen?

‘In de theoriestudies voor niveau 3 en 4 zitten invulvragen, dit zijn kort-antwoordvragen. Een vraag kan zijn: ‘Hoeveel dagen is medicijn X na opening houdbaar?’ Studenten vullen hier dan een getal of woord in. De invulvragen hebben maar één goed antwoord en worden automatisch nagekeken.

In de theoriestudies voor niveau 4 zijn daarnaast ook open vragen (lang-antwoordvragen) opgenomen voor het Bloom-niveau ‘analyseren’. Dit zijn open vragen waar studenten een hele alinea als antwoord kunnen typen, bijvoorbeeld: ‘Geef twee voor- en twee nadelen van methode X en leg je antwoord uit.’ Bij deze vragen kunnen vaak meerdere antwoorden goed zijn. De studenten beoordelen hun antwoord op deze vragen zelf aan de hand van een antwoordmodel. De score is hierdoor minder betrouwbaar, maar voor een theoriestudie is dat niet erg. Het doel is namelijk ‘leren’ en kijken waar je staat. Als studenten alles goed rekenen bij zichzelf, hebben ze daar alleen zichzelf mee.

De theorietoetsen moeten juist een betrouwbare uitslag geven, die wil je de studenten liever niet zelf laten beoordelen. Je zou de docent deze open vragen kunnen laten beoordelen, maar dit betekent weer een grotere nakijkbelasting. Daarom is gekozen om in de theorietoetsen alleen gesloten vragen op te nemen die automatisch worden beoordeeld.’


Wat is er veranderd in de weging van de toetsvragen?

‘In de oude theorietoetsen hadden alle toetsvragen dezelfde weging: 1 punt. In de nieuwe toetsen is gekozen om een weging aan te brengen in de toetsvragen. Dat betekent dat voor sommige toetsvragen 1 punt te verdienen is en voor andere toetsvragen 2 punten. Studenten kunnen in totaal 40 punten verdienen voor 30 toetsvragen. Hiermee spelen we in op de behoefte van docenten, zij hadden het gevoel dat sommige vragen belangrijker, moeilijker of groter zijn dan andere. Dit geldt alleen voor de theorietoetsen, in de theoriestudies is geen weging aangebracht tussen de vragen.’

 

Wat wil jij meegeven aan docenten die gaan werken met de nieuwe toetsen?

‘Haal de informatie eruit die je eruit kunt halen! Toetsen worden vaak ingezet als afsluiting voor een onderdeel. Dan krijgen studenten een cijfer en gaan ze door naar een volgend onderdeel. Maar de toetsen zeggen veel meer dan alleen een cijfer. Door de opbouw van de theoriestudies en -toetsen in paragrafen, leerdoelen en taxonomieniveaus kan je als docent veel informatie uit de toetsen halen om studenten te begeleiden. Deze informatie kunnen studenten ook zélf gebruiken om zicht te krijgen op waar ze staan en te weten waar ze aan moeten werken. De theorietoetsen kunnen dus zowel worden ingezet voor summatieve als voor formatieve doeleinden. Het is zonde om alleen naar het cijfer te kijken, terwijl er zo veel meer informatie uit de toetsen te halen is!’