Auteur(s): Dr. M.J. Verkroost Organisatie(s): TU-Delft, Sectie EduTec

Voor een geautomatiseerd toetssysteem wordt een database met vragen opgezet. Wat zijn de uitgangspunten voor het ontwerpen van een dergelijke ‘itembank’?

Voorbeeld uit de praktijk

Geen praktijkvoorbeeld beschikbaar. Bijdragen zijn welkom.

Doel

Dit IDEE wil docenten concrete handvatten bieden bij het ontwerpen van een itembank voor een geautomatiseerd toetssysteem.

Wanneer te gebruiken

U kunt dit IDEE gebruiken als u besloten hebt of overweegt om geautomatiseerd te gaan toetsen en hiervoor een itembank aan wilt gaan leggen. Een itembank kan u helpen om de kwaliteit van toetsvragen te verbeteren, levert tijdwinst op, vergroot de betrouwbaarheid van uw toets en biedt de mogelijkheid voor oefentoetsen.

Aandachtspunten bij de voorbereiding

Om een itembank te kunnen maken, moeten verschillende stappen worden gezet. Deze worden hierna verder uitgewerkt.

1. Bedenk voor welk doel de itembank gebruikt gaat worden en welke consequenties dit heeft.

Diagnostisch gebruik
Het geven van informatie over de sterke en zwakke punten van de individuele student met als uiteindelijk doel de zwakke punten op te heffen.Bij diagnostisch gebruik dient de toets alle onderwerpen te dekken waarop een diagnose uitgevoerd dient te worden. Per onderwerp moeten toetsvragen van verschillende moeilijkheidsgraad in de itembank aanwezig zijn. De toets kan op verschillende momenten worden afgenomen. Om het leereffect van de toets te vergroten kan inhoudelijke feedback aan de items gekoppeld worden.

Selectief gebruik
Een uitspraak willen doen of en in welke mate de student de gestelde doelen heeft bereikt, bijvoorbeeld in termen van slagen of zakken. Bij selectief gebruik dient de toets alleen de onderwerpen te dekken waarop geselecteerd dient te worden. De toetsvragen dienen een moeilijkheidsniveau te hebben dat ligt rond het slaag/ zak niveau. De toets dient onder gecontroleerde omstandigheden te worden afgenomen zodat fraude onmogelijk wordt.

Evaluatief gebruik
Sterke en zwakke punten van het aangeboden onderwijs te signaleren en vervolgens maatregelen te nemen ter verbetering van het onderwijs. Bij evaluatief gebruik is de toets vooral bedoeld om informatie voor de docent te leveren. Het maken van de toets is daarom vrijblijvender voor de student. De inhoud van de toets wordt bepaald door de informatiebehoefte van de docent.

2. Ontwerp een structuur voor de itembank

Structuur op basis van vakinhoud
Een vakinhoudelijke structuur is in ieder geval noodzakelijk, zonder dat kan een itembank niet functioneren. Meestal is er sprake van een boomstructuur van een aantal niveaus. Elk niveau bevat een aantal onderwerpen, die weer zijn onderverdeeld in eventuele subonderwerpen. Op het laagste niveau bevinden zich de items.

Structuur op basis van gedragscategorie
De leerstof kan ook worden geordend op basis van gedragscategorieƫn. Deze categorieƫn geven aan op welk niveau de student de leerstof dient te beheersen. De volgende categorieƫn worden onderscheiden:

  1. Kennis: Reproductie van kennis. In hoeverre kan de student feiten, observaties en definities reproduceren, herkennen en/of de strekking ervan kan weergeven.
  2. Begrip: Het richt zich op het maken van gevolgtrekkingen, het aangeven van consequenties van theorieƫn of het met eigen woorden geven van beschrijvingen.
  3. Toepassing: Het toepassen van begrippen, principes, regels, methoden of technieken uit de leerstof.
  4. Denken: Productief en creatief denken met als doel nieuwe oplossingen te vinden.

Structuur op basis van een toetsmatrijs: combinatie van vakinhoud en gedragscategorie

Vakinhoud en gedragscategorie kunnen gecombineerd worden in een toetsmatrijs. Dit is een tabel waarin de rijen van de tabel worden gevormd door de vakinhoudelijke ordening en de kolommen gevormd worden door de ordening naar gedragscategorie. In de cellen die zo ontstaan kan worden ingevuld hoeveel toetsvragen op dat snijpunt geformuleerd gaan worden. De toetsmatrijs is het ontwerp van de toets en kan gebruikt worden om de itembank inhoudelijk te structureren en om de toets op samen te stellen en te genereren. Hier vindt u een voorbeeld van een toetsmatrijs.

3. Bepaal welke itemkenmerken wilt opslaan

Gebruiksgegevens

In veel itembanksystemen worden gebruiksgegevens bij de items opgeslagen. Voorbeelden hiervan zijn: datum van opname in de itembank, datum van wijziging, herkomst van het item (auteur, boek), laatste afname datum, aantal malen dat een item gebruikt is voor een tentamen, vraagvorm (meerkeuzevraag, open rekenvraag). De meeste van dit soort gegevens zijn van belang voor het onderhouden van de itembank, sommige zijn ook handig om te gebruiken bij het selecteren van een toets (bijvoorbeeld laatste afnamedatum).

Psychometrische gegevens

Als een tentamen verwerkt is met een toetsverwerking programma kunnen psychometrische gegevens worden berekend over de afzonderlijke items en over de toets als geheel. Deze psychometrische gegevens geven een indicatie voor de kwaliteit van het item. In veel itembanksystemen kunnen psychometrische gegevens worden bijgeschreven in de itembank en eventueel worden gebruikt voor de selectie van items voor een toets. Het gebruik van psychometrische gegevens kan er toe bijdragen dat alleen de goede items in de bank blijven en dat u een kwalitatief steeds betere itembank krijgt, waar kwalitatief steeds betere toetsen uit geselecteerd kunnen worden. De meest gebruikte psychometrische gegevens van een item zijn:

  • p-waarde (de moeilijkheidsgraad van het item).
  • a-waarde (de aantrekkelijkheid van de afleiders).
  • rit-waarde (de mate waarin het item discrimineert tussen studenten die de stof wel en studenten die de stof niet beheersen).

Randvoorwaarden

  • Om geautomatiseerd te kunnen toetsen, dient u beschikking te hebben over toetssoftware.
  • Opzetten en beheren van een itembank is een grote investering. Een opleiding moet zich serieus afvragen of de baten opwegen tegen de kosten.

Achtergrondinformatie

Binnen een geautomatiseerd toetssysteem wordt een groot aantal toetsvragen in een database opgeslagen. Zo’n database wordt een itembank genoemd. Aan de toetsvragen zijn allerlei kenmerken of eigenschappen gekoppeld. Het kan gaan om 1) inhoudelijke kenmerken, zoals onderwerpen of trefwoorden, 2) administratieve kenmerken, zoals de datum van invoering in de itembank, of 3) psychometrische kenmerken, bijvoorbeeld de moeilijkheidsgraad van de toetsvraag. Met behulp van die kenmerken kan een toetsprofiel worden opgesteld op basis waarvan een ad random een toets kan worden getrokken uit de itembank. Vervolgens kan de gegenereerde toets worden afgenomen.

Hier zijn twee mogelijkheden: de toets kan worden afgedrukt en schriftelijk aan studenten aangeboden of de toets kan achter de computer worden afgenomen. Bij online afname ligt automatisch nakijken voor de hand. Bij schriftelijke afname is dit ook mogelijk door middel van speciale schrapkaarten of antwoordformulieren die door een scanner kunnen worden ingelezen. Vervolgens kunnen de gegevens worden verwerkt en kan de kwaliteit van de toets en de afzonderlijke toetsvragen worden bepaald via toets- en vraaganalyse. De resultaten in de vorm van cijfers kunnen vervolgens naar de studenten worden gerapporteerd en de resultaten van de vraaganalyse kunnen worden teruggekoppeld naar de itembank. Deze informatie kan weer worden gebruikt om een nieuwe gelijkwaardige toets samen te stellen.

Een greep uit beschikbare toetssoftware:

Ontleend aan

Dopper, S. (2002). Online toetsen met Etude. Onderwijskundige handleiding bij versie 2.2. Delft: TU-Delft, Sectie EduTec.

Zie ook

Wel of niet geautomatiseerd toetsen?

Geplaatst op 20-05-2002 in Online toetsen door adminComments Off on Itembank voor geautomatiseerd toetsen

Reageren is niet mogelijk.