Auteur(s): Dr. M.J. Verkroost Organisatie(s): TU-Delft, Sectie EduTec

Het samenstellen van een toets en het maken van vragen hiervoor zijn tijdrovende bezigheden voor docenten. Een geautomatiseerd toetssysteem kan hierbij uitkomst bieden. Wat zijn nu precies de voor- en nadelen van geautomatiseerd toetsen en hoe worden deze tegen elkaar afgewogen?

Voorbeeld uit de praktijk

Een docent werkt bij de Faculteit Civiele Techniek (TU Delft) en geeft daar twee vakken. Aan beide vakken nemen grote aantallen studenten (180, 90) deel. Door een geautomatiseerd toetsprogramma te gebruiken, bespaart hij tijd die hij anders kwijt was aan nakijkwerk en zijn de cijfers sneller bekend. Ook kan hij andere soorten toetsvragen gebruiken en feedback en hints gebruiken. Op de lange termijn verwacht hij sneller toetsen samen te kunnen stellen, veel variatie in toetsen aan te kunnen brengen en veel variatie in opgaven aan te kunnen brengen. Hij is vorig jaar met het gebruik van het programma gestart en heeft sindsdien 5 tentamens ermee afgenomen. Hij bouwt zijn vraagverzameling gaandeweg op: voor elk tentamen maakt hij nieuwe vragen die hij aan de verzameling toevoegt. Het heeft hem ongeveer 1 week gekost om het programma te leren kennen. Hij heeft hiervoor de handleiding doorgelezen en is daarna gewoon begonnen. Het in het systeem stoppen van de eerste 8 vragen heeft hem 1,5 week gekost; daarna is dat sneller gegaan. Hij heeft ook de ondersteuning van een student-assistent hierbij.

Een andere docent werkt bij de Faculteit Technische Bestuurskunde (TU Delft) en geeft een vak op meerdere faculteiten. Ook zij gebruikt een geatomatiseerd toetsprogramma om studenten de mogelijkheid te geven te oefenen met de leerstof zonder dat dit een extra tijdsinvestering van de docent vraagt. De toets moet een stimulans zijn om het boek te lezen; het is belangrijk dat dit vroeg in de cursus gebeurt. In eerste instantie heeft het gebruik van het toetsprogramma veel extra tijd gekost. Het leren kennen van het systeem heeft weinig tijd gekost; daarna heeft ze het vullen van het systeem aan een student-assistent overgelaten.

Doel

Dit IDEE wil docenten inzicht geven in situaties waarin het gebruik van een toetsservice systeem voordeel kan bieden.

Wanneer te gebruiken

Dit instrument is bedoeld voor docenten of opleidingen die overwegen om geautomatiseerd te gaan toetsen. Het instrument wil docenten argumenten bieden bij het maken van een gefundeerde keuze.

Aandachtspunten bij de uitvoering

Aan het gebruik van een geautomatiseerd toetssysteem kleven voor- en nadelen. Deze worden hieronder uitgewerkt. Vervolgens wordt aangegeven in welke situatie de baten de kosten overstijgen.

Voordelen

  • Verbetering kwaliteit van de toetsvragen. Door een itembank op te zetten, toetsvragen aan collega’s voor te leggen en zelf kritisch over de toetsvragen na te denken, wordt de kwaliteit al bevorderd. Bovendien bieden de resultaten van toets- en vraaganalyse vaak aanwijzingen om de kwaliteit van de toetsvragen te verbeteren.
  • Tijdswinst. Het verantwoord hergebruik van toetsvragen levert tijdswinst op. Het gebruik van een itembank bij het samenstellen van toetsen is efficiĆ«nter. Het geautomatiseerd nakijken van toetsvragen levert ook tijdswinst op.
  • Betrouwbaarheid vergroten. Het is gemakkelijker om verschillende toetsen samen te stellen die een vergelijkbare moeilijkheidsgraad hebben. Zo kan voor alle studenten een unieke toets worden samengesteld, waardoor afkijken onmogelijk wordt.
  • Oefentoetsen. Er kunnen oefentoetsen worden samengesteld die door studenten onafhankelijk van tijd en plaats kunnen maken, met direct feedback mogelijkheden. Door het gebruik van parameters kunnen toetsvragen uniek gemaakt worden. Meerdere antwoordpogingen zijn toegestaan.

Nadelen

  • Tijd. Het vullen van een itembank kost veel tijd. Het volstaat niet om een verzameling vroeger ontwikkelde toetsvragen in te voeren. U zult goed moeten nadenken over de structuur van de itembank en de kenmerken die u aan de toetsvragen wilt koppelen. Alle toetsvragen moeten eerst kritisch beoordeeld worden voordat ze in de itembank worden opgeslagen.
  • Beheer. Een efficiĆ«nt gebruik van een itembank vergt een continu beheer van de itembank.

Wanneer valt een kosten-batenanalyse positief uit?

Geautomatiseerd toetsen is een haalbare optie voor u als:

  • Het onderwijs stabiel is.
  • De beschikbare menskracht groot is.
  • Het uitgangsmateriaal voor het opzetten van een classificatie concreet is.
  • De frequentie van tentamineren hoog is
  • De studentenaantallen groot zijn.
  • Er meer gebruik wordt gemaakt van gesloten vraagvormen.

Randvoorwaarden

Opzetten en beheren van een itembank is een grote investering. Een opleiding moet zich serieus afvragen of de baten opwegen tegen de kosten.;Om geautomatiseerd te kunnen toetsen, dient u beschikking te hebben over toetssoftware.

Voor het afnemen van toetsen kunt u gebruik maken van de mogelijkheden die uw digitale leeromgeving biedt. Daarnaast zijn er gespecialiseerde pakketten hiervoor op de markt (zie de Internetlinks bij Achtergrond).

Achtergrondinformatie

Binnen een geautomatiseerd toetssysteem wordt een groot aantal toetsvragen in een database opgeslagen. Zo’n database wordt een itembank genoemd. Aan de toetsvragen zijn allerlei kenmerken of eigenschappen gekoppeld. Het kan gaan om 1) inhoudelijke kenmerken, zoals onderwerpen of trefwoorden, 2) administratieve kenmerken, zoals de datum van invoering in de itembank, of 3) psychometrische kenmerken, bijvoorbeeld de moeilijkheidsgraad van de toetsvraag. Met behulp van die kenmerken kan een toetsprofiel worden opgesteld op basis waarvan een ad random een toets kan worden getrokken uit de itembank. Vervolgens kan de gegenereerde toets worden afgenomen. Hier zijn twee mogelijkheden: de toets kan worden afgedrukt en schriftelijk aan studenten aangeboden of de toets kan achter de computer worden afgenomen.

Bij online afname ligt automatisch nakijken voor de hand. Bij schriftelijke afname is dit ook mogelijk door middel van speciale schrapkaarten of antwoordformulieren die door een scanner kunnen worden ingelezen. Vervolgens kunnen de gegevens worden verwerkt en kan de kwaliteit van de toets en de afzonderlijke toetsvragen worden bepaald via toets- en vraaganalyse. De resultaten in de vorm van cijfers kunnen vervolgens naar de studenten worden gerapporteerd en de resultaten van de vraaganalyse kunnen worden teruggekoppeld naar de itembank. Deze informatie kan weer worden gebruikt om een nieuwe gelijkwaardige toets samen te stellen.

Interessante links:

Een greep uit beschikbare toetssoftware:

Toetsen met de computer in het hoger onderwijs:

Ontleend aan

Dopper, S. (2002). Online toetsen met Etude. Onderwijskundige handleiding bij versie 2.2. Delft: TU-Delft, Sectie EduTec.

Zie ook

Welke vraagvormen zijn er mogelijk voor geautomatiseerde toetsen?

Hoe ontwerp je een itembank voor geautomatiseerd toetsen?

Geplaatst op 28-05-2002 in Online toetsen door adminComments Off on Wel of niet geautomatiseerd toetsen?

Reageren is niet mogelijk.