Het samenstellen van een toets en het maken van vragen hiervoor zijn tijdrovende bezigheden voor docenten. Een geautomatiseerd toetssysteem kan hierbij uitkomst bieden. Wat zijn nu precies de voor- en nadelen van geautomatiseerd toetsen en hoe worden deze tegen elkaar afgewogen?

Voorbeeld uit de praktijk

Een docent werkt bij de Faculteit Civiele Techniek (TU Delft) en geeft daar twee vakken. Aan beide vakken nemen grote aantallen studenten (180, 90) deel. Door een geautomatiseerd toetsprogramma te gebruiken, bespaart hij tijd die hij anders kwijt was aan nakijkwerk en zijn de cijfers sneller bekend. Ook kan hij andere soorten toetsvragen gebruiken en feedback en hints gebruiken. Op de lange termijn verwacht hij sneller toetsen samen te kunnen stellen, veel variatie in toetsen aan te kunnen brengen en veel variatie in opgaven aan te kunnen brengen. Hij is vorig jaar met het gebruik van het programma gestart en heeft sindsdien 5 tentamens ermee afgenomen. Hij bouwt zijn vraagverzameling gaandeweg op: voor elk tentamen maakt hij nieuwe vragen die hij aan de verzameling toevoegt. Het heeft hem ongeveer 1 week gekost om het programma te leren kennen. Hij heeft hiervoor de handleiding doorgelezen en is daarna gewoon begonnen. Het in het systeem stoppen van de eerste 8 vragen heeft hem 1,5 week gekost; daarna is dat sneller gegaan. Hij heeft ook de ondersteuning van een student-assistent hierbij.

Een andere docent werkt bij de Faculteit Technische Bestuurskunde (TU Delft) en geeft een vak op meerdere faculteiten. Ook zij gebruikt een geatomatiseerd toetsprogramma om studenten de mogelijkheid te geven te oefenen met de leerstof zonder dat dit een extra tijdsinvestering van de docent vraagt. De toets moet een stimulans zijn om het boek te lezen; het is belangrijk dat dit vroeg in de cursus gebeurt. In eerste instantie heeft het gebruik van het toetsprogramma veel extra tijd gekost. Het leren kennen van het systeem heeft weinig tijd gekost; daarna heeft ze het vullen van het systeem aan een student-assistent overgelaten.

Doel

Dit IDEE wil docenten inzicht geven in situaties waarin het gebruik van een toetsservice systeem voordeel kan bieden.

Wanneer te gebruiken

Dit instrument is bedoeld voor docenten of opleidingen die overwegen om geautomatiseerd te gaan toetsen. Het instrument wil docenten argumenten bieden bij het maken van een gefundeerde keuze.

Aandachtspunten bij de uitvoering

Aan het gebruik van een geautomatiseerd toetssysteem kleven voor- en nadelen. Deze worden hieronder uitgewerkt. Vervolgens wordt aangegeven in welke situatie de baten de kosten overstijgen.

Voordelen

• Verbetering kwaliteit van de toetsvragen. Door een itembank op te zetten, toetsvragen aan collega’s voor te leggen en zelf kritisch over de toetsvragen na te denken, wordt de kwaliteit al bevorderd. Bovendien bieden de resultaten van toets- en vraaganalyse vaak aanwijzingen om de kwaliteit van de toetsvragen te verbeteren.
• Tijdswinst. Het verantwoord hergebruik van toetsvragen levert tijdswinst op. Het gebruik van een itembank bij het samenstellen van toetsen is efficiënter. Het geautomatiseerd nakijken van toetsvragen levert ook tijdswinst op.
• Betrouwbaarheid vergroten. Het is gemakkelijker om verschillende toetsen samen te stellen die een vergelijkbare moeilijkheidsgraad hebben. Zo kan voor alle studenten een unieke toets worden samengesteld, waardoor afkijken onmogelijk wordt.
• Oefentoetsen. Er kunnen oefentoetsen worden samengesteld die door studenten onafhankelijk van tijd en plaats kunnen maken, met direct feedback mogelijkheden. Door het gebruik van parameters kunnen toetsvragen uniek gemaakt worden. Meerdere antwoordpogingen zijn toegestaan.

Nadelen

• Tijd. Het vullen van een itembank kost veel tijd. Het volstaat niet om een verzameling vroeger ontwikkelde toetsvragen in te voeren. U zult goed moeten nadenken over de structuur van de itembank en de kenmerken die u aan de toetsvragen wilt koppelen. Alle toetsvragen moeten eerst kritisch beoordeeld worden voordat ze in de itembank worden opgeslagen.
• Beheer. Een efficiënt gebruik van een itembank vergt een continu beheer van de itembank.

Wanneer valt een kosten-batenanalyse positief uit?

Geautomatiseerd toetsen is een haalbare optie voor u als:

• Het onderwijs stabiel is.
• De beschikbare menskracht groot is.
• Het uitgangsmateriaal voor het opzetten van een classificatie concreet is.
• De frequentie van tentamineren hoog is
• De studentenaantallen groot zijn.
• Er meer gebruik wordt gemaakt van gesloten vraagvormen.

Randvoorwaarden

Opzetten en beheren van een itembank is een grote investering. Een opleiding moet zich serieus afvragen of de baten opwegen tegen de kosten.;Om geautomatiseerd te kunnen toetsen, dient u beschikking te hebben over toetssoftware.

Voor het afnemen van toetsen kunt u gebruik maken van de mogelijkheden die uw digitale leeromgeving biedt. Daarnaast zijn er gespecialiseerde pakketten hiervoor op de markt (zie de Internetlinks bij Achtergrond).

Achtergrondinformatie

Binnen een geautomatiseerd toetssysteem wordt een groot aantal toetsvragen in een database opgeslagen. Zo’n database wordt een itembank genoemd. Aan de toetsvragen zijn allerlei kenmerken of eigenschappen gekoppeld. Het kan gaan om 1) inhoudelijke kenmerken, zoals onderwerpen of trefwoorden, 2) administratieve kenmerken, zoals de datum van invoering in de itembank, of 3) psychometrische kenmerken, bijvoorbeeld de moeilijkheidsgraad van de toetsvraag. Met behulp van die kenmerken kan een toetsprofiel worden opgesteld op basis waarvan een ad random een toets kan worden getrokken uit de itembank. Vervolgens kan de gegenereerde toets worden afgenomen. Hier zijn twee mogelijkheden: de toets kan worden afgedrukt en schriftelijk aan studenten aangeboden of de toets kan achter de computer worden afgenomen.

Bij online afname ligt automatisch nakijken voor de hand. Bij schriftelijke afname is dit ook mogelijk door middel van speciale schrapkaarten of antwoordformulieren die door een scanner kunnen worden ingelezen. Vervolgens kunnen de gegevens worden verwerkt en kan de kwaliteit van de toets en de afzonderlijke toetsvragen worden bepaald via toets- en vraaganalyse. De resultaten in de vorm van cijfers kunnen vervolgens naar de studenten worden gerapporteerd en de resultaten van de vraaganalyse kunnen worden teruggekoppeld naar de itembank. Deze informatie kan weer worden gebruikt om een nieuwe gelijkwaardige toets samen te stellen.

Interessante links:

Een greep uit beschikbare toetssoftware:

• Egel: http://www.tokobv.nl/toko/2008/Ned/html/index.html
• Etude: http://www.icto.tudelft.nl/icto-support/etude-online-toetssysteem/
• Question Mark: http://www.questionmark.com/ned/home.htm
• Test central: http://www.test.com/
• Wintoets: http://www.drp.nl/wintoets/index.htm

Toetsen met de computer in het hoger onderwijs:

• Toetsen met ICT van de Vrije Universiteit Amsterdam: http://www.icto.vu.nl/Bronnen/toetsen.htm

Ontleend aan

Dopper, S. (2002). Online toetsen met Etude. Onderwijskundige handleiding bij versie 2.2. Delft: TU-Delft, Sectie EduTec.

Zie ook

Welke vraagvormen zijn er mogelijk voor geautomatiseerde toetsen?

Hoe ontwerp je een itembank voor geautomatiseerd toetsen?

Met behulp van een discussieforum kun je studenten elkaar feedback laten geven op elkaars producten (peer review). Een effectief middel en voor de docent tijdsbesparend.

Voorbeeld uit de praktijk

In een schrijfcursus bij het vak Nederlands van de Rijksuniversiteit Groningen wordt gebruik gemaakt van peer review. Studenten schrijven een artikel en plaatsen dit in het discussieforum. Twee medestudenten geven in datzelfde discussieforum feedback op het schrijfproduct. De docent kan zo zowel de schrijfproducten zelf als de feedback die studenten op elkaar geven goed volgen en zo mogelijk bijsturen.

Doel

Studenten elkaars werk kunnen laten becommentariëren en daar als docent zelf overzicht op houden.

Wanneer te gebruiken

Als (veel) studenten (veel) werkstukken/schrijfproducten moeten maken waarbij feedback van mede studenten op het product van studenten wenselijk is.

Aandachtspunten bij de voorbereiding

• Formuleer een (schrijf)opdracht. Voorbeelden zijn:
  • Laat studenten zelf een casus beschrijven en laat andere studenten feedback geven om de kwaliteit van de casus te verbeteren.
  • Laat studenten een artikel (of een deel van een artikel) schrijven en laat medestudenten daar feedback op geven.
  • Laat studenten een onderzoeksopzet schrijven en laat medestudenten daar feedback op geven.
• Open een discussieforum in een digitale leeromgeving. Bij hele grote groepen is het aan te bevelen subgroepen te maken en binnen de subgroepen een discussieforum te open.
• Geef het discussieforum een duidelijke naam (bijvoorbeeld: Opdracht 3, Beschrijf een casus en geef feedback).
• Maak tijdens het college afspraken met de groep over:
  • Het tijdstip van ‘inleveren’ van de opdracht in het discussieforum.
  • Het aantal te leveren reacties op werk van anderen.
  • Wie op wie reactie geeft. Maak eventueel een schema en plaats dat in de tekst van de opdracht in het discussieforum. Nummer bijvoorbeeld de studenten en laat nummer 1 feedback geven op nummer 2 en 3, nummer 2 geeft feedback op nummer 3 en 4 enz.
  • Hoe de opdracht in het discussieforum wordt gezet. Bijvoorbeeld: elke student geeft een nieuwe thread op het forum. De feedback wordt gegeven in een reply.
  • Maak duidelijk welk soort feedback wordt verwacht en aan welke kwaliteiten de feedback moet voldoen.
  • Geef aan of het deelnemen aan opdracht verplicht is, danwel leidt tot een hoger eindcijfer voor de cursus.

Aandachtspunten bij de uitvoering

• Bekijk regelmatig de ingeleverde opdrachten en geleverde feedback om te controleren of het niveau en de aard van de feedback adequaat zijn.
• Kom tijdens het college regelmatig terug op het niveau van de opdrachten en de aard van de feedback. Geef aan wat er in het algemeen goed gaat en verbeterd kan worden.

Randvoorwaarden

• Studenten en docent moeten kunnen beschikken over een digitale leeromgeving met een discussieforum.
• Studenten moeten over enige vaardigheid beschikken in het werken met een discussieforum.

Achtergrondinformatie

Jervell & Häkkinen (2002) beschrijven een onderwijsproject waarbinnen studenten elkaar feedback geven op door de studenten zelf geschreven casussen. Het blijkt in dat onderzoek dat als een docent duidelijk maakt hoge (maar wel reële) verwachtingen te hebben van de te leveren casussen en de te leveren feedback dat dit de kwaliteit van de opdrachten en feedback duidelijk verbetert.

Web-based Cases in Teaching and Learning -the Quality of Discussions and a Stage of Perspective Taking in Asynchronous Communication, Sanna Jervell &
Päivi Häkkinen. In Interactive Learning Environments 10 (2002) p. 1-22.

Dit IDEE beschrijft op welke manier docenten met behulp van chat een online spreekuur kunnen houden waarin studenten direct antwoord krijgen op vragen die ze hebben ten aanzien van de leerstof.

Voorbeeld uit de praktijk

Een docent van het D1 vak ‘Beleidsprocessen’ aan de faculteit Sociale Wetenschappen (Erasmus Universiteit Rotterdam) organiseerde in de aanloop naar het tentamen vier chatsessies met studenten over de tentamenstof. Gepland waren 2 bijeenkomsten van 1 uur en 2 van anderhalf uur. Door de belangstelling van de studenten liepen de bijeenkomsten in de regel uit (met name de bijeenkomst tijdens de avond voor het tentamen). De docent beschreef zijn ervaringen met het gebruik van Blackboard als volgt:
“De boeiendste ervaring deed ik op bij het chatten. Hoeveel studenten hieraan hebben meegedaan, kan ik niet geheel naar waarheid vertellen, aangezien mij niet bekend is of studenten kunnen meelezen zonder zich bekend te maken (uit het aantal bits maakte ik wel op dat er (veel) meer studenten participeerden dan zich op ‘the floor’ hadden gemeld. Studenten bleken na afloop van de chatsessies (zeer) tevreden. Zij waardeerden het zeer dat ze deze ruime mogelijkheid kregen om vragen over de tentamenstof te stellen. Zelf was ik in ieder geval bijzonder verrast door de geweldige feedback die ik hierdoor op het college en op de literatuur kreeg. Chatten is blijkbaar zo laagdrempelig dat studenten veel meer durven te vragen dan tijdens een werkcollege (het chatten gebeurt overigens niet anoniem, aangezien een ieder zich onder zijn eigen naam bekend moet maken). In ieder geval heb ik twintig jaar college geven nimmer zo’n goede feedback gehad. Zo kwam ik na twee chatsessies tot de conclusie dat mijn collegedictaat op enkele plaatsen echt aanvulling en verduidelijking behoefte (‘Waarom stellen ze toch steeds die ene vraag…?’). Een week voor het tentamen heb ik derhalve een uitgebreidere en aangepaste versie van mijn collegedictaat via Blackboard ter beschikking gesteld (en daarvan de studenten per e-mail op de hoogte gebracht).”

Doel

De docent kan online en op een interactieve manier vragen beantwoorden die studenten hebben over de leerstof.

Wanneer te gebruiken

• Wanneer er weinig contactmomenten zijn.
• In een periode waarin studenten behoefte hebben aan extra verduidelijking van de leerstof (bijvoorbeeld vlak voor een tentamen).

Aandachtspunten bij de uitvoering

• Stel studenten op de hoogte van het doel en de tijdstippen van de virtuele spreekuren.
• Groet iedereen bij binnenkomst in de chatruimte en laat iedereen weten dat de sessie gaat beginnen.
• Leg kort uit hoe de sessie in zijn werk gaat.
• Probeer kort en krachtig antwoord te geven op vragen van studenten.
• Vraag na het geven van antwoord aan de student die de vraag stelde of de vraag zo voldoende beantwoord is. Vraag ook aan de andere studenten of iedereen het begrepen heeft. Ga daarna verder met de volgende vraag.
• Kondig aan het einde van de sessie aan dat het online spreekuur is afgelopen en laat iedereen weten dat je de chatruimte verlaat.

Tips

• Plan spreekuren van één tot anderhalf uur.
• Laat studenten op een gestructureerde manier (niet allemaal door elkaar) vragen stellen. Op die manier houd je het online spreekuur voor iedereen overzichtelijk.

Randvoorwaarden

• Zowel de docent als de studenten moeten toegang tot Internet hebben.
• Er moet een chat-programma voorhanden zijn.

Zie ook

Welke afspraken kun je maken om een chatsessie ordelijk en overzichtelijk te laten verlopen? (Chat etiquette)

Voor een geautomatiseerd toetssysteem wordt een database met vragen opgezet. Wat zijn de uitgangspunten voor het ontwerpen van een dergelijke ‘itembank’?

Voorbeeld uit de praktijk

Geen praktijkvoorbeeld beschikbaar. Bijdragen zijn welkom.

Doel

Dit IDEE wil docenten concrete handvatten bieden bij het ontwerpen van een itembank voor een geautomatiseerd toetssysteem.

Wanneer te gebruiken

U kunt dit IDEE gebruiken als u besloten hebt of overweegt om geautomatiseerd te gaan toetsen en hiervoor een itembank aan wilt gaan leggen. Een itembank kan u helpen om de kwaliteit van toetsvragen te verbeteren, levert tijdwinst op, vergroot de betrouwbaarheid van uw toets en biedt de mogelijkheid voor oefentoetsen.

Aandachtspunten bij de voorbereiding

Om een itembank te kunnen maken, moeten verschillende stappen worden gezet. Deze worden hierna verder uitgewerkt.

1. Bedenk voor welk doel de itembank gebruikt gaat worden en welke consequenties dit heeft.

Diagnostisch gebruik
Het geven van informatie over de sterke en zwakke punten van de individuele student met als uiteindelijk doel de zwakke punten op te heffen.Bij diagnostisch gebruik dient de toets alle onderwerpen te dekken waarop een diagnose uitgevoerd dient te worden. Per onderwerp moeten toetsvragen van verschillende moeilijkheidsgraad in de itembank aanwezig zijn. De toets kan op verschillende momenten worden afgenomen. Om het leereffect van de toets te vergroten kan inhoudelijke feedback aan de items gekoppeld worden.

Selectief gebruik
Een uitspraak willen doen of en in welke mate de student de gestelde doelen heeft bereikt, bijvoorbeeld in termen van slagen of zakken. Bij selectief gebruik dient de toets alleen de onderwerpen te dekken waarop geselecteerd dient te worden. De toetsvragen dienen een moeilijkheidsniveau te hebben dat ligt rond het slaag/ zak niveau. De toets dient onder gecontroleerde omstandigheden te worden afgenomen zodat fraude onmogelijk wordt.

Evaluatief gebruik
Sterke en zwakke punten van het aangeboden onderwijs te signaleren en vervolgens maatregelen te nemen ter verbetering van het onderwijs. Bij evaluatief gebruik is de toets vooral bedoeld om informatie voor de docent te leveren. Het maken van de toets is daarom vrijblijvender voor de student. De inhoud van de toets wordt bepaald door de informatiebehoefte van de docent.

2. Ontwerp een structuur voor de itembank

Structuur op basis van vakinhoud
Een vakinhoudelijke structuur is in ieder geval noodzakelijk, zonder dat kan een itembank niet functioneren. Meestal is er sprake van een boomstructuur van een aantal niveaus. Elk niveau bevat een aantal onderwerpen, die weer zijn onderverdeeld in eventuele subonderwerpen. Op het laagste niveau bevinden zich de items.

Structuur op basis van gedragscategorie
De leerstof kan ook worden geordend op basis van gedragscategorieën. Deze categorieën geven aan op welk niveau de student de leerstof dient te beheersen. De volgende categorieën worden onderscheiden:

1. Kennis: Reproductie van kennis. In hoeverre kan de student feiten, observaties en definities reproduceren, herkennen en/of de strekking ervan kan weergeven.
2. Begrip: Het richt zich op het maken van gevolgtrekkingen, het aangeven van consequenties van theorieën of het met eigen woorden geven van beschrijvingen.
3. Toepassing: Het toepassen van begrippen, principes, regels, methoden of technieken uit de leerstof.
4. Denken: Productief en creatief denken met als doel nieuwe oplossingen te vinden.

Structuur op basis van een toetsmatrijs: combinatie van vakinhoud en gedragscategorie

Vakinhoud en gedragscategorie kunnen gecombineerd worden in een toetsmatrijs. Dit is een tabel waarin de rijen van de tabel worden gevormd door de vakinhoudelijke ordening en de kolommen gevormd worden door de ordening naar gedragscategorie. In de cellen die zo ontstaan kan worden ingevuld hoeveel toetsvragen op dat snijpunt geformuleerd gaan worden. De toetsmatrijs is het ontwerp van de toets en kan gebruikt worden om de itembank inhoudelijk te structureren en om de toets op samen te stellen en te genereren. Hier vindt u een voorbeeld van een toetsmatrijs.

3. Bepaal welke itemkenmerken wilt opslaan

Gebruiksgegevens

In veel itembanksystemen worden gebruiksgegevens bij de items opgeslagen. Voorbeelden hiervan zijn: datum van opname in de itembank, datum van wijziging, herkomst van het item (auteur, boek), laatste afname datum, aantal malen dat een item gebruikt is voor een tentamen, vraagvorm (meerkeuzevraag, open rekenvraag). De meeste van dit soort gegevens zijn van belang voor het onderhouden van de itembank, sommige zijn ook handig om te gebruiken bij het selecteren van een toets (bijvoorbeeld laatste afnamedatum).

Psychometrische gegevens

Als een tentamen verwerkt is met een toetsverwerking programma kunnen psychometrische gegevens worden berekend over de afzonderlijke items en over de toets als geheel. Deze psychometrische gegevens geven een indicatie voor de kwaliteit van het item. In veel itembanksystemen kunnen psychometrische gegevens worden bijgeschreven in de itembank en eventueel worden gebruikt voor de selectie van items voor een toets. Het gebruik van psychometrische gegevens kan er toe bijdragen dat alleen de goede items in de bank blijven en dat u een kwalitatief steeds betere itembank krijgt, waar kwalitatief steeds betere toetsen uit geselecteerd kunnen worden. De meest gebruikte psychometrische gegevens van een item zijn:

• p-waarde (de moeilijkheidsgraad van het item).
• a-waarde (de aantrekkelijkheid van de afleiders).
• rit-waarde (de mate waarin het item discrimineert tussen studenten die de stof wel en studenten die de stof niet beheersen).

Randvoorwaarden

• Om geautomatiseerd te kunnen toetsen, dient u beschikking te hebben over toetssoftware.
• Opzetten en beheren van een itembank is een grote investering. Een opleiding moet zich serieus afvragen of de baten opwegen tegen de kosten.

Achtergrondinformatie

Binnen een geautomatiseerd toetssysteem wordt een groot aantal toetsvragen in een database opgeslagen. Zo’n database wordt een itembank genoemd. Aan de toetsvragen zijn allerlei kenmerken of eigenschappen gekoppeld. Het kan gaan om 1) inhoudelijke kenmerken, zoals onderwerpen of trefwoorden, 2) administratieve kenmerken, zoals de datum van invoering in de itembank, of 3) psychometrische kenmerken, bijvoorbeeld de moeilijkheidsgraad van de toetsvraag. Met behulp van die kenmerken kan een toetsprofiel worden opgesteld op basis waarvan een ad random een toets kan worden getrokken uit de itembank. Vervolgens kan de gegenereerde toets worden afgenomen.

Hier zijn twee mogelijkheden: de toets kan worden afgedrukt en schriftelijk aan studenten aangeboden of de toets kan achter de computer worden afgenomen. Bij online afname ligt automatisch nakijken voor de hand. Bij schriftelijke afname is dit ook mogelijk door middel van speciale schrapkaarten of antwoordformulieren die door een scanner kunnen worden ingelezen. Vervolgens kunnen de gegevens worden verwerkt en kan de kwaliteit van de toets en de afzonderlijke toetsvragen worden bepaald via toets- en vraaganalyse. De resultaten in de vorm van cijfers kunnen vervolgens naar de studenten worden gerapporteerd en de resultaten van de vraaganalyse kunnen worden teruggekoppeld naar de itembank. Deze informatie kan weer worden gebruikt om een nieuwe gelijkwaardige toets samen te stellen.

Een greep uit beschikbare toetssoftware:

• Egel: http://www.tokobv.nl/toko/2008/Ned/html/index.html
• Etude: http://www.icto.tudelft.nl/icto-support/etude-online-toetssysteem/
• Question Mark: http://www.questionmark.com/ned/home.htm
• Test central: http://www.test.com/
• Wintoets: http://www.drp.nl/wintoets/index.htm

Ontleend aan

Dopper, S. (2002). Online toetsen met Etude. Onderwijskundige handleiding bij versie 2.2. Delft: TU-Delft, Sectie EduTec.

Zie ook

Wel of niet geautomatiseerd toetsen?

Een overzicht van de vraagvormen die gebruikt kunnen worden in geautomatiseerde toetssystemen.

Voorbeeld uit de praktijk

Geen praktijkvoorbeeld beschikbaar. Bijdragen zijn welkom.

Doel

Het doel van dit IDEE is docenten een overzicht te bieden van de vraagvormen die mogelijk zijn bij het geautomatiseerd toetsen.

Wanneer te gebruiken

Als docenten besloten hebben om of overwegen om geautomatiseerd te gaan toetsen en inzicht willen hebben in de vraagvormen die dan mogelijk zijn.

Aandachtspunten bij de uitvoering

Hieronder worden verschillende vraagvormen besproken. In de bijlagen vindt u concrete voorbeelden van deze vraagvormen.

Meerkeuzevraag (1 uit m)
Een 1 uit m meerkeuzevraag bestaat uit een stam en meestal vier alternatieven. Eén alternatief kan door de student worden aangevinkt. De stam bestaat meestal uit een directe vraag of een niet afgemaakte zin. Soms worden in de stam ook 2 stellingen geponeerd met juist/onjuist combinaties als alternatieven.

Meerkeuzevraag (n uit m)
Dit zijn meerkeuzevragen waarbij de student 2 of meer antwoorden kan aanvinken. Studenten moeten er wel op worden gewezen dat er meer antwoorden goed kunnen zijn. Meerkeuzevragen, zowel 1 uit m als n uit m zijn bij uitstek geschikt om het onderscheidingsvermogen van studenten te toetsen. Bijvoorbeeld het kiezen van geschikte instrumenten voor een bepaalde meting. Classificeren, rubriceren, ordenen, herkennen en benoemen zijn vormen van onderscheiden. Het kan hierbij gaan om zowel kennis, begrip als toepassing. U kunt n uit m vragen het beste formuleren in de trant van: Welke van
– is/zijn van belang voor, bruikbaar voor, van toepassing op?

Ja/nee, waar/onwaar of juist/onjuist vragen
Juist/onjuist vragen zijn gemakkelijker te formuleren dan meerkeuzevragen, omdat de alternatieven niet hoeven te worden geconstrueerd. Een misverstand is dat met juist/onjuist vragen alleen maar feitenkennis getoetst kan worden, ook begrips- en toepassingsvragen zijn heel goed mogelijk. Een juist/onjuist vraag is net als een meerkeuze vraag heel geschikt om het onderscheidingsvermogen van studenten te toetsen. De student krijgt een vraag, stelling of bewering voorgelegd en moet vervolgens de vraag beantwoorden met ja of nee, van de bewering aangeven of deze waar of onwaar is en van de stelling of deze juist of onjuist is. Belangrijk is dat de vraag of stelling onbetwistbaar goed of fout is. Nadeel van een juist/onjuist vraag is de hoge raadkans (50%). Dit kan ondervangen worden door veel vragen aan te bieden, geadviseerd wordt minimaal 80 vragen. Een juist/onjuist vraag ziet er als volgt uit:

• Context (eventueel)
• Vraag/Bewering/stelling
• ja/waar/juist
• nee/niet waar/onjuist

Open numerieke vragen

Bij een open vraag moet de student zelf het antwoord formuleren. In geval van de open numerieke vraag bestaat het antwoord uit een geheel getal of een getal met een drijvende komma (al dan niet in E-formaat). Dit type vragen komt veel voor in het technische onderwijs.Vaak begint een open numerieke vraag met een casus of gevalsbeschrijving, waarover één of meer vragen worden gesteld. De student wordt uitgenodigd tot het oplossen van het ‘probleem’ door een aantal berekeningen uit te voeren. De opgave bestaat vaak uit een aantal deelvragen en meestal moeten deelresultaten verderop in de opgave weer worden gebruikt. Bij de open numerieke vraag kunt u gebruik maken van variabelen. De variabelen kunt u opnemen in de opgavetekst. Bij afname wordt er op de plaats van de variabele een willekeurig getal neergezet, waarmee de student moet rekenen, bijvoorbeeld h = 10 km.

Kort-antwoord vraag of invulvraag

De kort-antwoord vraag is een vraag waarbij het antwoord bestaat uit één of twee woorden, die de student zelf moet bedenken. De kort-antwoord vraag is dus een open vraag, waarbij de lengte van het antwoord dat de student moet geven is gelimiteerd tot maximaal twee woorden. Kort-antwoord vragen kunnen op verschillende manieren worden geformuleerd:

1. Als een volledige zin met een vraagteken op het eind.
2. Als een uitspraak die de student met één of twee woorden moet aanvullen (aanvulvraag).
3. Als uitspraak of stelling waaruit één of twee sleutelwoorden zijn weggelaten, die de student moet invullen.

Voordeel van de kort-antwoord vraag ten opzichte van een meerkeuze vraag is dat de kans dat de student het juiste antwoord raadt zeer gering is. Een nadeel is dat er bij automatische correctie altijd een kans bestaat dat de student een ander goed antwoord geeft, waar bij het opstellen van de vraag geen rekening mee is gehouden. Ook kunnen spelfouten, ondanks de mogelijkheid tot instellen van foutenmarges, er soms toe leiden dat een antwoord dat eigenlijk goed is toch fout wordt gerekend.

Hotspot vraag
De hotspot vraag wordt ook wel een aanwijsvraag genoemd. Het gaat erom dat de student in staat is op een afbeelding een bepaald onderdeel aan te wijzen, bijvoorbeeld op een landkaart een bepaald land, of op een afbeelding van het menselijk skelet, een bepaald botje. Een hotspot betekent letterlijk een ‘gevoelig gebied’. De student geeft zijn antwoord door met de muis op de afbeelding te klikken, als de student binnen het ‘gevoelige gebied’ klikt is het antwoord goed, klikt de student buiten het ‘gevoelige gebied’ dan is het antwoord fout. Het is ook mogelijk een aantal hotspots op een afbeelding aan te brengen, waarbij de student de verschillende onderdelen van de afbeelding in een bepaalde volgorde moet aanwijzen. Uiteraard zijn de hotspots voor studenten onzichtbaar.

Matching vraag
Bij een matching vraag moet de student steeds twee zaken met elkaar combineren. Bijvoorbeeld aan de linkerkant staat een rijtje met namen van landen en aan de rechterkant staat een rijtje met hoofdsteden. De student moet dan aangeven welk land bij welke hoofdstad hoort.

Achtergrondinformatie

Binnen de TU-Delft is een geautomatiseerd toetssysteem ontwikkeld, Etude genaamd: http://www.icto.tudelft.nl/icto-support/etude-online-toetssysteem/.
De voorbeelden zoals hiervoor genoemd zijn uit Etude afkomstig, in andere toetsystemen zijn deze vraagvormen ook mogelijk, maar dit verschilt per systeem. Het voorbeeld van de matching vraag is afkomstig uit Blackboard, Etude heeft dit vraagtype niet.

Ontleend aan

Dopper, S. (2002). Online toetsen met Etude. Onderwijskundige handleiding bij versie 2.2. Delft: TU-Delft, Sectie EduTec.

Dit IDEE helpt docenten kiezen welke vormen van feedback zij kunnen gebruiken in hun digitale leeromgeving.

Doel

Het doel van dit IDEE is om docenten te helpen kiezen welke vormen van feedback zij kunnen gebruiken in hun digitale leeromgeving.

Wanneer te gebruiken

• Als een docent de student tijdens het leerproces inzicht wil geven in zijn cognitieve beheersing van de lesstof;
• Als een docent de student tijdens het leerproces inzicht wil geven in zijn studeergedrag of -houding;
• Als de student moet leren feedback te geven op prestaties of houding van medestudenten of anderen (bijvoorbeeld patiënten).

Aandachtspunten bij de voorbereiding

1. Ga vooraf na waarop je de student feedback wilt geven:
   • op de cognitieve beheersing van de lesstof?
   • op de mate van inzicht in de stof?
   • op zijn of haar studeergedrag?
2. Hoeveel tijd kun je in het geven van de feedback steken? Is het met de beschikbare tijd mogelijk om alle studenten individueel commentaar te geven of zoek je naar andere vormen?
3. Zoek in het onderstaande schema naar een passende vorm van feedback.
4. Kijk bij “zie ook” naar uitgewerkte voorbeelden van deze vormen van feedback.

Aandachtspunten bij de uitvoering

Bijgaande plaatje geeft een overzicht van mogelijke vormen van feedback binnen de digitale leeromgeving en overwegingen die de keus bepalen.

Tip

Voor het groepsproces kan het van belang zijn om individuele feedback te geven en dit tegelijkertijd ook aan de andere groepsleden kenbaar te maken. Bijvoorbeeld als iemands gedrag navolging verdient. Als de feedback alleen voor de ontvanger van waarde is kun je dat beter individueel houden.

Achtergrondinformatie

Feedback betekent “terugkoppelen” en is onlosmakelijk verbonden aan leerprocessen: het is bedoeld om studenten inzicht in hun eigen leerproces of functioneren te geven. Dit is bedoeld om het leren effectiever te maken.
Feedback geven is in feite informatie verstrekken over hoe het gedrag van iemand door een ander wordt waargenomen, begrepen en ervaren. Het doel is dat dit gedrag versterkt wordt of verandert.
Er kan een onderscheid gemaakt worden in de vorm en de inhoud van feedback. Een veel gebruikte vorm van feedback is procesmatige feedback, die terugkoppeling geeft over leergedrag of houding van iemand in het onderwijsproces. Inhoudelijke feedback geeft informatie over cognitieve vorderingen van de student.

Daarnaast kan feedback verschillende doelen dienen: ondersteunend of corrigerend. Ondersteunende feedback (of positieve feedback) zorgt ervoor dat goed werk beloond wordt en effectief gedrag wordt versterkt. Voorbeelden hiervan zijn een goed cijfer voor een proeftoets, een bedankje voor de interessante bijdrage aan een discussie of een concrete aanbeveling om het te maken werkstuk te verbeteren. Deze vormen van feedback zijn erop gericht het zelfvertrouwen van de student groter te maken, meer inzicht te geven in het eigen functioneren en het studievertrouwen te vergroten.
Corrigerende feedback (of negatieve feedback) is bedoeld om ‘slecht’ werk te verbeteren en niet-effectief gedrag bij te sturen en te veranderen. Voorbeelden hiervan zijn een slechte score op een tentamen of een onvoldoende beoordeling door een medestudent. Het gevolg van dergelijke feedback kan zijn dat de student zijn of haar gedrag verandert: de stof beter gaat bestuderen of een actievere leerhouding aanneemt.
Om daadwerkelijk een verandering teweeg te brengen, is het zinvol een alternatief aan te bieden: aangeven welk gedrag men wel wenst van de student of welke fouten gemaakt zijn.

Het doel van de feedback is dus om de student de kans te geven de lesstof beter te bestuderen of de houding te veranderen. In een activerende leeromgeving is het belangrijk om de studenten gemotiveerd te houden en te stimuleren hun eigen leerproces in de hand te nemen. Door versterking/beloning van gedrag, door het corrigeren van bestaand gedrag en door het geven van alternatieven kan de student effectiever gaan leren. Soms is het handig daarbij gebruik te maken van een digitale leeromgeving.

Uit een omvangrijke meta-analyse van Black & Wiliam (1998) blijkt dat formatieve (diagnostische) toetsen in veel gevallen een duidelijk positief resultaat heeft op leerresultaten van studenten, mits de student feedback krijgt bij de gegeven antwoorden. Het is voor de student immers niet alleen van belang inzicht te krijgen in de relatieve positie in de totale groep studenten, maar ook in de eigen tekortkomingen (Dousma e.a., 1997).
Dousma e.a. (1997) noemen als belangrijke voordelen van formatieve toetsen dat de student zijn leren eerder kan bijsturen en bijvoorbeeld door een extra inspanning tijdverlies kan voorkomen. Dat kan alleen als er gerichte feedback is over de goede en foute antwoorden. Verder kan er met formatieve toetsen meer ruimte worden geboden voor individuele verschillen in leertempo.

Literatuur

Black, P. & D. Wiliam (1998). Assessment and classroom learning. In: Assessment in Education: Prin-ciples, Policy & Practices, Vol 5, 1, p. 7-68
Dousma, T. A. Horsten & J. Brants (1997). Tentamineren. Hoger Onderwijs Reeks. Groningen: Wolters-Noordhoff

Zie ook

Hoe laat je studenten feedback aan elkaar geven via een discussieplatform?

Hoe maak je zelfdiagnostische toetsen met feedback?

Bijlage

Feedback