Wil jij aan de slag gaan met programmatisch toetsen (PT)?
In dit artikel vind je de bronnen gemaakt en/of verzameld door O&O|FMR op een rijtje:
*Powerpoint Informatiebijeenkomst FMR programmatisch toetsen 18 november 2021
**Randvoorwaarden en misverstanden programmatisch toetsen
Q: Hoe verhoudt ontwikkelingsgericht beoordelen zich tot programmatisch toetsen?
A: Programmatisch toetsen is één van de concepten op basis waarvan ontwikkelingsgericht beoordelen kan worden uitgewerkt en ingericht.
Programmatisch toetsen is een holistische benadering waarbij wordt gekeken naar de gehele ontwikkeling van de student over een langere periode. Doelen zijn: a) het optimaliseren van betrouwbaarheid van beslissingen, en b) stimuleren van het leerproces van de student.
De leeruitkomsten van het opleidingsprogramma vormen de ruggengraat, die richting geeft aan beslissen en faciliteren van ontwikkeling.
Ontwikkelingsgericht beoordelen of formatief toetsen wordt gezien als een doelgericht, cyclisch proces. Dit berust op een combinatie van de principes van ‘assessment for learning’ en ‘data-based decision making’ of ‘informatierijk beslissen’. Doel is het stimuleren van hogere orde leren, belangrijk voor het bereiken van leerresultaten op eindniveau en leren dat beklijft. Uit onderzoek blijkt dat docenten het verschil kunnen maken, door alle fasen van de formatieve toetscyclus in samenhang toe te passen. Bijvoorbeeld met toepassing van didactisch coachen. Aandachtspunten zijn o.a. feedback koppelen aan leerdoelen, mogelijkheden tot verbetering aanreiken en structuur bieden bij peer- en zelf-assessments. Uitdagingen zijn o.a. doelgericht aanpassen van onderwijs n.a.v. analyse en differentiëren. Bij ‘informatierijk beslissen’ op basis van (feedback op) prestaties en voortgang is het gewenst dat er een gemeenschappelijke visie is op de kwaliteit van onderwijs en toetsing, de rollen van studenten, docenten en andere betrokkenen.
Bronnen:
Q: Woorden als datapunten, leeropbrengsten, leeractiviteiten en dergelijke worden door elkaar gebruikt. Klopt het dat dat ongeveer naar hetzelfde verwijst?
A: De letterlijke definitie van datapunt is: “een betekenisvolle en bewust gekozen leeractiviteit met informatie over waar de student staat op weg naar de eindkwalificaties”. Daarbij is het belangrijk dat studenten op verschillende momenten en op verschillende manieren aan de leeruitkomsten kunnen werken en dat de datapunten verschillende type producten en handelingen zijn, om zo een allround beeld te geven. Voorbeelden van datapunten zijn: scores op toetsen, reflectieverslagen, peer-evaluaties, beroepstaken, etc. Kenmerkend voor datapunten is dat ze feedback opleveren, geen studiepunten. De datapunten zijn een middel in het dialoog tussen student en docent. De student kan datapunten gebruiken om feedback te vragen op de leeruitkomsten die daar voor staan, wellicht aangevuld met eigen datapunten en bijbehorende feedback. Deze feedback is naast kwalitatief, ook kwantitatief: het moet wat zeggen over in hoeverre een student een bepaalde competentie beheerst.
Door het op een juiste wijze inzetten van de mix van datapunten worden de beoogde leeruitkomsten meerdere keren beoordeeld, zonder dat daar een beslissing aan vasthangt. Een zwaarwegende beslissing (high stake) wordt pas genomen, als er voldoende datapunten zijn verzameld om een betrouwbare of robuuste beslissing te kunnen garanderen.
Idealiter wordt een toetsprogramma voor het hele curriculum opgesteld. Bij PT vallen onderwijs en toetsing meer samen. Dit betekent dat docenten didactische- en toetsbekwaamheden nodig hebben . Alle docenten moeten een helder beeld hebben van de beroepsbekwaamheid en van ‘de lat’ (competentieniveaus) in verschillende fasen van de opleiding. Als het curriculum bestaat uit kleine losse modules in plaats van doorlopende leerlijnen, dan is PT een grote stap die een curriculumherziening vraagt. PT vereist dat docenten feedback kunnen geven gericht op doorgaande leerlijnen.
Q: Hoe begin je klein als je eigenlijk een ontwikkelingslijn tussen vakken/modules wil organiseren?
A: Een voorbeeld is om te beginnen met een pilot in een minor of in de praktijklijn.
Inspiratie:
Q: Soms wordt er gesproken over enkel low en high stakes. Is het een mogelijkheid om ook medium stakes toe te voegen?
A: Bij een low stake moment staat er niets op het spel, bij een high stake moment alles.
Sommige opleidingen werken alleen met low stake en high stake momenten, andere hebben ook medium stake momenten. De onderwijsvisie geeft richting aan de keuze hierover. Deze moet passen bij de beroepsbekwaamheid, de opleiding en de studenten (bijvoorbeeld voltijd, deeltijd, bachelor, master).
Een low stake gesprek met de coach / SB’er levert de student feedback op over de achterliggende periode en feed forward voor (bijsturen van) de ontwikkeling naar een volgend feedback moment. Dus geen cijfer. In het gesprek wordt samen de balans opgemaakt over waar de student staat, welke leeruitkomsten (nog niet) voldoende zijn en of de student zijn leerstrategieën kan aanpassen om (nog) effectiever te leren. De uitkomst van het low stake gesprek wordt vastgelegd en kan een nieuw datapunt zijn.
Een medium stake gesprek levert een tussentijdse beslissing op. Het gesprek is gericht op diagnose, leerdoelen voor vervolg en remediering. De keuze om ook medium stake momenten in te voeren hangt af van het ontwerp van het toetsprogramma en de omvang van onderwijseenheden. Een voorbeeld van een medium stake moment is een ontwikkelingsgericht assessment.
Op een high stake moment krijgt een student een summatieve beoordeling en studiepunten. ‘High stake’ geeft aan dat alles op het spel staat. Een high stake beoordeling mag nooit een verrassing zijn. Door de voorafgaande low stake en medium stake momenten heeft de student steeds inzicht in waar hij staat.
Q: Hoe past een assessment in programmatisch toetsen?
A: Een assessment, waarin de student middels een portfolio zijn ontwikkeling op de opleidingscompetenties aantoont, past goed bij de integrale benadering van programmatisch toetsen, waarbij het totaalbeeld van de student richting beroepsbekwaamheid centraal staat.
Q: Een doel van PT is om de koppeling met de beroepspraktijk te versterken; er wordt getoetst met toetsen die relevant zijn voor de beroepspraktijk. Welke ervaringen zijn daarmee?
A: PT moet passen bij de onderwijsvisie en bij de beroepsbekwaamheid. Het concept PT past goed bij een constructivistische benadering van onderwijs en bij beroepen waarbij de professional mede bepalend is voor de kwaliteit en de resultaten; er is zelden sprake van goed of fout. Hierbij past ook een holistisch beoordelingskader. De beroepsbekwaamheid is het uitgangspunt van PT. Het toetsprogramma is gebaseerd op een ‘ruggengraat’ van competenties of leeruitkomsten, die de basis vormen voor de datapunten en beslissingen.
Q: Programmatisch toetsen wordt vaak gepromoot als een manier om onderwijs inclusiever te maken. Zo kunnen studenten met een functiebeperking getoetst worden op een manier die past of mantelzorgers op een moment dat ze uitkomt. Dat betekent wel dat PT op een specifieke manier moet worden ingericht, In hoeverre neem je inclusiviteit mee als doel van PT in het ontwerp?
A: Als een opleiding meer inclusief onderwijs en toetsing wil aanbieden, dan dient dit helder verankerd te zijn in de onderwijsvisie. PT kan hierop worden ingericht. Bij de praktische uitwerking kun je denken aan keuzemogelijkheden in toetsvormen, afname-, en inleverperiode (i.p.v. moment), of aan leerwegonafhankelijke toetsing.
Q: Hoe krijgen we voor elkaar dat de feedbackcyclus in de opbouw naar de eindkwalificaties voor docenten en studenten inzichtelijk blijft. Kan Brightspace daarin een centrale rol vervullen?
A: Brightspace en ingebedde tools, zoals Feedbackfruits kunnen studenten, docenten en examinatoren inzicht geven in de stand van de ontwikkeling op verschillende momenten in de feedbackcyclus. Het is belangrijk dat alle betrokkenen feedback geletterd zijn. Dit omvat ook het kunnen hanteren van de technologie die de feedbackcyclus ondersteunt. Technologie kan een student inzicht geven in waar hij staat in zijn eigen leerproces, en ten opzichte van de standaard en van medestudenten. Technologie helpt docenten bij het analyseren van de voortgang van de ontwikkeling op groeps- en individueel niveau, gekoppeld aan leerdoelen, zwakke én sterke punten én misconcepties.
Let op: Helaas heeft de HvA nog geen digitaal portfolio of andere mogelijkheid om de longitudinale ontwikkeling van de student bij te houden. Hier wordt echter wel hard aan gewerkt. Wil je hier meer informatie over? Neem dan contact op met Sam Selling via s.f.c.selling@hva.nl
Q: Kiezen studenten zelf datapunten of doen zij dat samen met docent?
A: Je kunt er voor kiezen om studenten zelf datapunten te laten kiezen, in dialoog met de begeleider, maar dat hoeft niet. Hierbij kan het gaan om de invulling van de datapunten in een (onderdeel van) het programma. Het kan ook gaan om datapunten die een aanvulling zijn op een aantal verplichte datapunten. De rol van de begeleider is belangrijk voor de mate van learner agency die studenten ervaren. Dit geldt ook voor duidelijkheid.
Als studenten de datapunten zelf kunnen invullen, dan moet er transparantie zijn over hoe zij dit kunnen doen, zowel procedureel als inhoudelijk. Denk aan tijdpad, frequentie, afspraak over (min – max) aantal datapunten per competentie of leeruitkomst, en variatie in datapunten, bijvoorbeeld verschillende perspectieven en contexten, zoals werkomgeving of doelgroep. De keuzes hierover hangen samen met de beroepsbekwaamheid en met kwaliteitseisen. Hiervoor kunnen handvatten gemaakt, zoals kaders, richtlijnen, procedures, formulieren, checklists etc.
Q: Hoe organiseer je de high stake momenten met elkaar. Ik kan me voorstellen dat daar veel uren per docent voor nodig zijn, is dat haalbaar? Hoe los je dat in de praktijk op?
A: Op een high stake moment is er sprake van het ‘meer ogen-principe’. Hoeveel ogen dit zijn, hangt af van het ontwerp van het toetsprogramma: Hoeveel high stake momenten zijn er? Waar gaat de beslissing over? Gaat het bijvoorbeeld om het behalen van een module, toelating tot de hoofdfase of de beroepsbekwaamheid? Hoeveel studiepunten worden er toegekend? Als het gaat om een zak/slaag beslissing en toekenning van studiepunten voor een module van 15 EC, dan volstaat ‘vier ogen’. Als de beslissing kritisch is voor de waarde van het diploma en er worden veel studiepunten toegekend, dan wordt een beoordelingscommissie aanbevolen.
Q: In programmatisch toetsen tellen alle datapunten in meer of mindere mate mee. Hoe is borging van al die datapunten te realiseren? Hoe borgen we ook zaken als “betekenisvolle feedback”?
A: De afspraken over kwaliteitsborging moeten passen bij de keuzes over het totale ontwerp en de inrichting van programmatisch toetsen in het onderwijs- en toetsprogramma: Hoe ziet de variatie aan datapunten er uit? Zijn het diverse ‘klassieke’ toetsvormen, of beroepsproducten met onderbouwing en feedback (-formulieren), onderwijsproducten zoals logboeken, reflectieformulieren, e.d.? Zijn er verplichte datapunten? Wat draagt een datapunt bij aan de beroepsbekwaamheid?
De borging hangt ook samen met de keuzes ten aanzien van het aantal low, medium en high stakes momenten in het programma. Zijn er geregeld low en/of medium stakes momenten? Zijn er diverse high stakes momenten of slechts een of twee? Kwaliteitseisen voor deze momenten zijn: proportionaliteit en betekenisvolle triangulatie; beslissen op basis van rijke informatie en diverse bronnen over alle competenties/leeruitkomsten. Het begrip ‘saturatie’ geeft aan dat er voldoende informatie is om een geïnformeerde beslissing te nemen; nieuwe datapunten voegen geen belangrijke informatie meer toe over het kennen en kunnen van de student.
Q: Hoe houd je in de praktijk overzicht over alle informatie (datapunten, low/high stake momenten, feedback etc)?
A: Met een studentvolgsysteem en/of een digitaal onderwijsportfolio.
Een portfolio is bij uitstek een hulpmiddel voor de student voor het verzamelen, analyseren en reflecteren op datapunten in relatie tot de langere termijn ontwikkeling van de beroepsbekwaamheid.
Let op: Op dit moment is er nog geen goed digitaal portfoliosysteem binnen de HvA, waarin makkelijk overzicht is te houden. Wel zijn er ontwikkelingen en draaien er pilots. Mocht je hier meer informatie over willen, bijvoorbeeld over de laatste stand van zaken, neem dan contact op met Sam Selling via s.f.c.selling@hva.nl
Q: Ik kan me voorstellen dat als de student zelf datapunten mag voorstellen, je als docententeam ook echt aandacht moet geven aan de vraag of de combinatie van datapunten daadwerkelijk leidt tot eindbeoordeling die valide en betrouwbaar is. Kost dat niet veel extra tijd, nog los van evt. kalibratie?
A: Dit hangt af van de scope van programmatisch toetsen en de impact op de kwaliteit van het diploma: Gaat het om een heel examenprogramma, een leerlijn of een module? Als het gaat om een volledig examenprogramma of een leerlijn, dan moet dit in het ontwerp zijn uitgewerkt. Dit betekent dat vooraf voor het hele programma duidelijk is, wat een datapunt is, wat mogelijke vormen zijn en aan welke kwaliteitseisen deze moeten voldoen. Ook moeten de beoordelingscriteria en de uitwerking daarvan in instrumenten voor feedback en beoordeling op opleidingsniveau zijn uitgewerkt. Alle docenten (-teams) handelen binnen deze kaders en afspraken. Iedereen moet een helder beeld hebben van de beroepsbekwaamheid en wat de prestatie die op aan de orde is daar aan bijdraagt. Dus minder werk aan ontwerpen van beoordelingsinstrumenten, meer kalibreren.
Q: Programmatisch toetsen lijkt me alleen werken als je een hecht samenwerkend team hebt. Hoe kun je dat borgen?
A: Dit is een aandachtspunt, niet alleen in de startfase, ook daarna. Organiseren in leergemeenschappen (LG) kan bijdragen aan samenwerking rond een studentengroep. Om PT te laten slagen is voldoende deskundigheid nodig, niet alleen op het gebied van toetsing en beoordeling, ook over de bijbehorende didactiek. Er moet een gemeenschappelijke visie zijn op de beroepsbekwaamheid, over het waarom en hoe van PT en wat dit van docenten en onderwijsteams vraagt. Zorg dat er in ieder geval regelmatig sprake is van kalibreren over high stakes en voor onderlinge afstemming en uitwisselen op curriculumniveau. Zorg voor een duidelijk verhaal met concrete voorbeelden om studenten en ook het werkveld en andere betrokkenen bij het onderwijs en toetsing in hun (nieuwe) rollen nieuwe mee te nemen in PT.
Q: Welke rol hebben examencommissies genomen/gekregen bij opleidingen waar programmatisch toetsen al ingang gevonden heeft?
A: Programmatisch toetsen brengt een herontwerp van het hele curriculum mee. De examencommissie geeft goedkeuring aan een verandering van het bestaande examenprogramma. Het advies is dan ook om de examencommissie in de ontwerpfase mee te nemen.
Q: Hoe zit het met de deskundigheid over PT?
A: Bij PT moeten alle betrokkenen een helder beeld hebben van de ‘lat’ en de praktische uitwerking ervan in rubrics, feedbackformulieren en andere handvatten voor evaluatie en beoordeling. Bij voorbeeld studenten, docenten, praktijkbegeleiders en examinatoren. Vanuit het principe van constructive alignment is dit het uitgangspunt voor:
Bij PT is toetsing een integraal onderdeel van het onderwijs. Toetsing wordt ingezet om van te leren. Dit vereist dat er tijdens het leerproces en bij de afsluiting daarvan zorgvuldige beslissingen worden genomen. Dit betekent dat alle docenten een verantwoordelijkheid hebben voor de toetskwaliteit. Vandaar dat in het kader van de BKE/SKE gesproken wordt van de toetsbekwame hbo-docent.
Het docententeam neemt studenten mee in PT. Hiervoor is inzicht nodig in de beroepsbekwaamheid, de ontwikkeling ervan in persoonlijke leerpaden gedurende de opleiding, en de samenhang tussen low, (medium) en high stake momenten. Docenten moeten oog hebben voor de kwaliteit en van valkuilen en misconcepties van PT.
Voor studenten en docenten is feedback geletterdheid belangrijk, en feedback vaardigheden in de context van opleiding en beroep. De uitdaging voor docenten is om zodanig feedback te geven dat het: a) houvast biedt aan studenten b) impact heeft op het leren 3) leidt tot robuuste beslissingen.
Beoordelaars (commissie) op high stake momenten moeten inzicht hebben in de kritische aspecten van de beroepsbekwaamheid, kwaliteitscriteria van PT. Ze moeten het evaluatie-/beoordelingskader, de procedures en andere afspraken goed in de vingers hebben.
Q: Kunnen we het PT van een andere opleiding overnemen?
A: Een team dat zich oriënteert op de mogelijkheden van PT kan zeker leren van de praktijken van andere opleidingen. Ga er niet van uit dat je een visie en ontwerp PT van een andere opleiding 1 op 1 kunt overnemen. Het ontwerp, de inrichting en uitvoering van PT moeten passen bij de kenmerken en (on-) mogelijkheden van de eigen opleiding, studenten, docenten en beroepsbekwaamheid!
Houd er bij leren van praktijken van andere instellingen rekening mee, dat de HvA-eigen kaders, ambities en (on)mogelijkheden heeft.
Je hebt nog geen lijsten, maak er eerst een aan.