Een digitale toets is meer dan het ‘online zetten’ van bestaande papieren toetsvragen. Dit IDEE beschrijft een stappenplan voor het bepalen van de inhoud en de structuur van een digitale toets.

Voorbeeld uit de praktijk

Bij het eerstejaarsvak Plantenfysiologie maken studenten biologie aan de Vrije Universiteit in de eerste les een Opfristoets. Het doel van deze toets is voor de docent om een beter inzicht te krijgen in de voorkennis van de studenten. De toets bestaat uit 22 afbeeldingen met een bijbehorende vraag. Als studenten de toets afhebben, zien ze direct welke vragen ze goed en fout hebben beantwoord. De toets wordt behalve aan het begin van de cursus ook later in het vak ingezet. Na verwerking van de uitslagen wordt de toets vrijgegeven, zodat studenten zo vaak kunnen oefenen als ze willen. Dit gebeurt in de praktijk veel, vooral ook omdat de studenten weten dat een van de tentamenvragen uit de oefentoets komt. Om studenten extra te stimuleren is er ook een prijs voor wie uiteindelijk de hoogste score heeft. De toets is ontwikkeld in blackboard en ziet er als volgt uit:

Via een link wordt het bijbehorende plaatje opgevraagd:

Doel

De docent kan de inhoud en de structuur bepalen voor een digitale toets.

Wanneer te gebruiken

• Wanneer de behoefte bestaat aan het regelmatig beoordelen van de prestaties van studenten en het regelmatig verschaffen van informatieve feedback aan studenten ter ondersteuning of bijsturing van hun inspanningen
• Wanneer de behoefte bestaat om de voorkennis van studenten te meten
• Wanneer het gebruik van audio- en/of videofragmenten in de toets wenselijk is
• Bij voorkeur heeft de studentpopulatie wel een redelijke omvang (>25), anders wegen de kosten zeker niet op tegen de baten (zie ook IDEE Wel of niet geautomatiseerd toetsen?)
  • De meeste toetsprogramma’s zijn in staat om bepaalde typen open vragen, zoals een kort antwoord vragen of numerieke open vragen te beoordelen. In het geval van langere antwoorden (bijv bij een essayvraag) worden de antwoorden vaak naar de docent gemaild. Er bestaan ook speciale programma’s voor het beoordelen van open vragen, zoals CODAS (zie Hoe kunt u de computer antwoorden op open vragen laten nakijken?).
  • Het gebruik van verschillende typen vraagvormen kan aan de ene kant motiverend werken, aan de andere kant kan het ook verwarrend of zelfs storend zijn voor studenten. Het is in ieder geval van belang om per vraagtype duidelijk aan te geven wat van de student verwacht wordt (zie IDEE Hoe gebruik je hints en feedback in een digitale toets?).

Aandachtspunten bij de voorbereiding

1. Zoek uit welke programma’s beschikbaar zijn binnen je instelling voor het maken van een digitale toets. Dit kunnen specifieke toetsprogramma’s zijn (bijvoorbeeld Questionmark Perception, Testvision en Etude) of de gebruikte elektronische leeromgeving (Blackboard, WebCT). Bestudeer de mogelijkheden en onmogelijkheden van de beschikbare tools. Aspecten waar je hierbij op kunt letten zijn: vraagtypen, gebruik van media, typen feedback, scoring, gebruiksgemak, etc. Over het algemeen bieden specifieke toetsprogramma’s meer mogelijkheden dan de toetsmodules van de gebruikte DLO’s (zie bijlage 1).
2. Bepaal de doelgroep, het onderwerp en de functie van de toets.
   Bij het bepalen van het onderwerp en de functie van de toets is het goed om stil te staan bij de meerwaarde die het digitaal afnemen van de toets in dit geval kan bieden. Dit kan bijvoorbeeld liggen in het gebruik van multimedia (bijv. voor een toets muziektheorie) of in het aanbieden van een zelftest (bijv bij het vak wetgevingsleer). In sommige gevallen kan een schriftelijke afname de voorkeur hebben. Zie voor een beschrijving van mogelijke functies van een toets het IDEE Hoe ontwerp je een itembank voor geautomatiseerd toetsen?
3. Bepaal de te toetsen leerdoelen en maak (eventueel) een toetsmatrijs.
   In een toetsmatrijs geef je aan welke onderwerpen aan de orde moeten komen en op welke (gedrags)niveaus ( bijv. kennis, begrip, toepassing) je deze wilt toetsen. Een voorbeeld van een toetsmatrijs is te vinden in de bijlagen.
4. Bepaal de lengte van de toets

Tips

• Houd er rekening mee dat de benodigde tijd voor het online beantwoorden van vragen kan afwijken van een schriftelijke afname. Test dit eventueel uit met één of meerdere proefpersonen.
• Bepaal de structuur voor de toets
  In de toetsstructuur leg je vast uit welke ‘bouwstenen’ de toets bestaat. Voorbeelden van ‘bouwstenen’ zijn een losse opgave of een groepje opgaven bij een casus. Zo kan een toets uit vier losse opgaven bestaan, of uit twee onderwerpen met elk drie losse opgaven.
• Meestal zul je als docent kiezen voor een toets bestaande uit losse opgaven. Afhankelijk van het gebruikte toetsprogramma kun je echter ook kiezen voor een adaptieve of interactieve toets.
  Bij een adaptieve toets wordt de moeilijkheidsgraad aangepast aan de kennis van de student. Dit gebeurt op basis van de score op de voorgaande opgaven. Bij een interactieve toets bepaalt het resultaat op een opgave de keuze voor de vervolgopgave. Voor deze typen toetsen heb je een itembank nodig (zie IDEE Hoe maak je een voorkennistoets in een digitale leeromgeving?)
• Kies de te gebruiken vraagvormen
  Een online toets kan verschillende vraagvormen bevatten (zie IDEE Welke vraagvormen zijn er mogelijk voor geautomatiseerde toetsen?). De keuze voor een type vraag is in eerste instantie afhankelijk van de leerstof. Andere belangrijke argumenten zijn het gemak waarmee studenten een antwoord kunnen invoeren en de mogelijkheid van de computer om het antwoord adequaat te beoordelen.
• Maak de toetsopgaven
  Bij het maken van de toetsopgaven kun je op twee manieren te werk gaan: het aanpassen van bestaande vragen en het schrijven van nieuwe vragen (zie bijlage).
• Bepaal de opbouw van de toets
  Bij de opbouw van de toets gaat het om de vraag in welke volgorde de vragen aan de student worden aangeboden en welke informatie nog meer gepresenteerd wordt. Zie de bijlagen voor een voorbeeld van een toets opbouw. Mogelijke onderdelen van een toets zijn: instructies, oefenopgave, toetsopgaven en feedback (zie IDEE Hoe gebruik je hints en feedback in een digitale toets?).
• je kunt overwegen een oefenopgave te gebruiken wanneer studenten nog geen of nauwelijks ervaring hebben met online toetsen, of wanneer de wijze van beantwoorden van de vraag onbekend is
• toetsopgaven kunnen op verschillende wijzen gegroepeerd worden. Denk bijvoorbeeld aan oplopende moeilijkheid, per onderwerp/casus of per vraagtype.
• Feedback kan op verschillende momenten aangeboden worden, bijvoorbeeld direct na iedere vraag of aan het eind van de toets (zie IDEE Hoe gebruik je hints en feedback in een digitale toets?).
• Veel toetsprogramma’s bieden de mogelijkheid om de toetsvragen in een willekeurige volgorde (at random) aan te bieden. Voordeel is dat de kans op fraude bij een klassikale afname vermindert. Didactisch gezien is het echter niet altijd wenselijk en ook niet altijd mogelijk (bijv. bij vragen behorende bij een casus).
• Creëer de overige onderdelen van de toets (instructies, oefenopgave, feedback) en stel de toets samen zoals beschreven in de opbouw van de toets. (zie IDEE Hoe gebruik je hints en feedback in een digitale toets?).
• Houd bij het creëren van de toets ook rekening met gebruikersvriendelijkheid (zie IDEE Hoe ontwerp ik een gebruikersvriendelijke digitale toets?)

Aandachtspunten bij de uitvoering

1. Stel de toets beschikbaar aan de studenten.
   De beschikbaarheid van een toets is afhankelijk van de functie:Oefentoets/ zelftoets
   Kan gedurende een langere periode beschikbaar gesteld worden. Indien gewenst kan de student de mogelijkheid krijgen om de toets zo vaak te maken als hij of zij dat zelf wil.Tussentoets/Eindtoets
   Is slechts beschikbaar op een bepaald tijdstip, gedurende een vastgestelde tijdsperiode. Eventueel kan het beschikbaar stellen van een toets gekoppeld worden aan bepaalde voorwaarden, zoals het behalen van een voldoende op een voorgaande toets.
2. Informeer de studenten over de aard, het doel en de beschikbaarheid van de toets. Geef ook aan waar ze terecht kunnen met vragen over de toets (bijvoorbeeld per e-mail of via discussieforum)
3. Regel bij een eindtoets tevens een locatie en supervisie voor de afname.

Tip

Probeer de toets vooraf uit op de computer(s) waarop de toets wordt afgenomen. Dit is met name van belang bij het gebruik van video.

Randvoorwaarden

Voor het ontwikkelen en aanbieden van een online toets is een digitale toetsomgeving nodig (bijv Question Mark Perception). Binnen de meeste digitale leeromgevingen (bijv Blackboard) kunnen ook (toets)vragen aangemaakt worden, maar de mogelijkheden zijn dan wel beperkt (qua vraagvormen, interactiviteit e.d.).

Ontleend aan

• Jager, K.M. (2000). Wereldwijd toetsen. Toetsen via een WWW-omgeving in het basisonderwijs van de Wereldschool : implicaties en nieuwe mogelijkheden voor leerlingen, ouders en docenten. Enschede: ToPos.
• Het praktijkvoorbeeld is ontleend aan http://www.surffoundation.nl/documents/HandboekFlexibiliseringvanToetsing.pdf

Zie ook

Hoe gebruik je hints en feedback in een digitale toets?

Hoe ontwerp ik een gebruikersvriendelijke digitale toets?

Hoe maak je een voorkennistoets in een digitale leeromgeving?

Wel of niet geautomatiseerd toetsen?

Welke vraagvormen zijn er mogelijk voor geautomatiseerde toetsen?

Hoe ontwerp je een itembank voor geautomatiseerd toetsen?

Hoe kies je tussen vormen van feedback in een digitale leeromgeving?

Internationalisering wordt steeds belangrijker voor hogescholen en universiteiten. Steeds vaker gaan studenten voor stage naar het buitenland of volgen in het buitenland cursussen. En elk jaar komen er meer buitenlandse studenten in Nederland studeren voor kortere of langere tijd. Zelfs de studenten die thuisblijven krijgen met internationalisering te maken, bijvoorbeeld doordat ze college op afstand krijgen van een buitenlandse expert of doordat ze moeten samenwerken met groepen studenten uit andere landen.

In de IDEEen over internationalisering komen voortdurend een aantal aspecten terug:

• Contact op afstand wordt beter naarmate de deelnemers elkaar beter kennen. Het is wenselijk dat de deelnemers elkaar eerst “life” zien. Als dat niet lukt, is een videoconferencing sessie wellicht een idee. Manieren om het ijs te breken zijn te vinden in het IDEE over IJsbrekers (Jager & Baars, 2003).
• Een veelvoorkomend probleem is het verschil in tijdzones. Het verdient aanbeveling om afspraken voor synchrone communicatie (zoals chat, videoconferencing e.d.) te maken in bijvoorbeeld GMT (website over de Greenwich Mean Time), zodat iedereen kan uitrekenen welk tijdstip dat voor hem/haar betekent (GMT blijft dezelfde tijd in winter en zomer !).
• Een ander punt is het cultuurverschil. In sommige culturen is het niet wenselijk elkaar aan te kijken of elkaar scherpe kritiek te geven. Informeer de deelnemers van tevoren over dergelijke cultuurverschillen en wees er alert op dat dergelijke cultuurverschillen tot misverstanden kunnen leiden. Internationale discussies over onverenigbare perspectieven (Baars, 2003) laat daarentegen zien hoe juist het cultuurverschil benut kan worden in online onderwijs.

• Teksten in e-mails, chats of discussiegroepen zijn vaak erg bondig en missen natuurlijk de non-verbale signalen. Daardoor komen teksten vaak harder aan dan in face to face communicatie. Het Elektronische feedback bij opdrachten (Deinum, Verheij & Slagter, 2003) laat zien dat dit extra aandacht van de docent vergt.

Deze aspecten vinden op verschillende wijze een invulling in de IDEEen. Hieronder wordt weergegeven hoe verschillende IDEEen toegepast kunnen worden in online internationaal onderwijs.

Eén op één begeleiding op afstand

Met name bij stages of onderzoek in het buitenland is er vaak sprake van één op één begeleiding. Vroeger vond het contact vaak plaats via brieven en zonodig telefoon. Het voordeel van ICT is echter dat de geschreven communicatie sneller kan gaan via internet. Zo kan een concept verslag of een stageopdracht snel ingeleverd worden en beoordeeld door de docent. Een docent kan ook actuele informatie of een ondersteunend artikel snel en goedkoop ter beschikking stellen aan de student via e-mail of een DLO. En ten slotte kan met eenvoudige middelen als een webcam en MSN gevideoconferenced worden. Dat is met name handig als één van de betrokkenen de ander iets wil tonen. En het kan erg prettig zijn voor studenten die eenzaam zijn om eens een bekend gezicht te zien. Dit wordt uitgewerkt in Begeleiden op afstand (Verheij & Deinum, 2003).

Begeleiding van meerdere studenten op afstand

Als meerdere studenten tegelijkertijd in het buitenland stage lopen of onderzoek doen, kunnen ze ook elkaar begeleiden. Dat kan de docent het nodige werk schelen. Voor de begeleiding zijn dezelfde middelen geschikt als voor één op één begeleiding. Maar daarnaast kan het zinvol zijn om Online spreekuren middels chat (Wieland, 2002) af te spreken met de groep, zodat ervaringen gedeeld kunnen worden. Verder kan er een Vraag/ antwoord rubriek (Deinum & Verheij, 2002) worden geopend waar studenten elkaar en de docent vragen kunnen stellen en elkaar antwoord kunnen geven. Ook kunnen studenten Peer review (Deinum & Verheij, 2002) toepassen op elkaars opdrachten en verslagen. Het is ook mogelijk dat een complete groep zich op afstand bevindt. Monitoren van samenwerking op afstand (Wieland, 2004) beschrijft dit.

Samenwerking tussen groepen op afstand

Misschien wel het leukste aspect van e-learning is de mogelijkheid om groepen te laten samenwerken op afstand. Zo moesten studenten van de Technische Universiteit Delft Samenwerken middels Videoconferencing (Deinum & Verheij, 2003) met andere studenten uit twee andere landen en een koffiezetapparaat ontwikkelen dat voldeed aan de technische en culturele aspecten van alle drie landen. Met behulp van videoconferencing kon men elkaar laten zien wat er ontworpen en bedacht was. Online simulaties (Jager, 2004) beschrijft hoe studenten uit verschillende landen virtuele bedrijven kunnen vormen. Met online samenwerking kan daarnaast ook gebruik worden gemaakt van Native speakers (David, 2003). Online samenwerken vergt wel extra aandacht van de docent, zoals Begeleiding op afstand (Baars, 2003) laat zien.

College op afstand

Verschillende IDEEen behandelen de mogelijkheid om gebruik te maken van experts op afstand. Dat kan bijvoorbeeld een bekwaam onderzoeker van een ander instituut zijn, maar ook een topman uit het bedrijfsleven. Middels Videoconferencing met experts (Deinum & Verheij, 2002) is het mogelijk op deze manier complete colleges te laten geven. Maar simpele methoden volstaan vaak ook, zoals het Chatten met experts (Wieland, 2002) of werken met een Discussiegroep met experts (Walsarie-Wolff, 2003) of E-mails met experts (Wieland, 2002).

Meerdere begeleiders voor één student

Met behulp van ict is het ook mogelijk om Meerdere begeleiders per student te hebben (Wieland & De Kruijk, 2004). Voordeel daarvan is dat begeleiders niet op dezelfde locatie hoeven te zijn, maar ook dat zij gemakkelijk toegang hebben tot de communicatie van de andere begeleiders. Dat kan dubbel werk voorkomen en bevordert dat een student eenduidige reacties krijgt van de begeleiders.

Literatuursuggesties

In het najaar van 2004 verschijnt er bij SURF een boekje waarin praktische voorbeelden worden gegeven van online internationaal onderwijs.