Rubrics met R

Een nieuw curriculum aan de PThU. Dat betekent: nieuwe studiehandleidingen. En dus ook: nieuwe toetsing. Dat is veel en vaak ook vervelend werk.

Het meest interessant is het ontwerpen van toets-criteria vanuit leerdoelen: wat toets je en welk niveau is gewenst? De didactiek van constructive alignment schrijft voor dat toetsing, leerdoelen en onderwijsactiviteiten op elkaar zijn afstemd. De samenhang tussen toetsing en leerdoelen is daarom van groot belang. Hier komen creativiteit, vakkennis en onderwijskunde bij elkaar.

Maar dan begint de ellende.

Want: hoe zorg je ervoor dat de zorgvuldig ontworpen rubrieken (‘rubrics’) ook nog een beetje netjes in de studiehandleiding terechtkomen? Om nog maar te zwijgen over de formulieren om de toetsing transparant te communiceren met studenten en met het oog op dossiervorming vast te leggen. Natuurlijk, Word en Excel zijn geduldig. Maar één aanpassing in de rubrieken, en je moet op 3 plekken tegelijk teksten aanpassen. En om het helemaal leuk te maken: stel je vraagt studenten een portfolio te maken dat bestaat uit 5 onderdelen en elk onderdeel wordt afzonderlijk aan de hand van rubrieken beoordeeld…

De oplossing: automatisering. Met als doel: wijzigingen op één plek invoeren en alle rubrieken en score-formulieren in één overzichtelijk document met een heldere layout.

De oplossing die ik bedacht heb heeft twee stappen:

1. ontwerp de rubrieken in Excel. Elk werkblad bevat een apart onderdeel voor een groter portfolio. Het eerste werkblad bevat per onderdeel een titel, een instructie bij de opdracht, en een score percentage dat de grens tussen voldoende of onvoldoende markeert. Bijvoorbeeld: voor dit onderdeel ben je geslaagd met een score van 70%.

2. voer een script uit op dit werkblad. De programmacode zorgt er vervolgens voor dat:

• de Excelwerkbladen afzonderlijk worden omgezet naar rubrieken die op een A4 passen en dat ze bij lange rubrieken gesplitst worden;
• vanuit de rubrieken een score-formulier wordt ontworpen;
• elk score-formulier een heldere tabel bevat waarin het aantal punten dat is behaald wordt gekoppeld aan een cijfer, gebaseerd op het percentage dat voor de opdracht nodig is om voldoende te halen.

De oplossing heb ik geprogrammeerd in R. Software die ik ook gebruik voor data-analyse. Dit was een mooie gelegenheid om mijn programmeervaardigheden wat uit te breiden. Het mooie van R is, dat het vrij beschikbaar is ( FOSS). Het nadeel: R heeft het een nogal steile leercurve ¹.

De code bevat één Rmarkdown-document ( portfolio-manual.Rmd). Dit document heeft een aantal R-libraries nodig om goed te kunnen functioneren (dependencies) én een paar speciaal geprogrammeerde functies om rubrieken te zetten en toetsingsformulieren met score-tabellen te ontwerpen.

Het script dat ik heb geschreven creeërt een PDF² met alle opdrachten, rubrieken en score-formulieren. Bovendien maakt het van alle rubrieken en formulieren een afbeeldingsbestand dat los te gebruiken is in Word of Powerpoint.

De code van mijn script voor het maken van een PDF met rubrieken en scoreformulieren is te vinden op Github.

De eerste versie werkt naar behoren. Er zijn nog wel een paar wensen: de code is niet zo netjes en kan ongetwijfeld een stuk efficiënter. Maar de echt volgende stap, als ik tijd kan vinden: een Excelbestand genereren waarin per student elk onderdeel kan worden beoordeeld en cijfers automatisch worden uitgerekend.

Maar nu eerst de zomervakantie in.