Dit kenniselement beschrijft een computerprogramma waarmee het mogelijk is antwoorden op open vragen in opdrachten en tentamens door de computer te laten nakijken en opdrachten te controleren op plagiaat.

Voorbeeld uit de praktijk

Bij de Faculteit Rechtsgeleerdheid (Erasmus Universiteit Rotterdam) nemen aan het vak ‘Introductie Computergebruik’ jaarlijks ongeveer 300 studenten deel. Gedurende een semester maken de studenten enkele opdrachten; de omvang van de opdrachtuitwerkingen bedraagt rond de drie pagina’s. Normaliter zou de docent veel tijd kwijt zijn met het nakijken van alle opdrachtuitwerkingen (zo’n 1500 in totaal). Er wordt echter gebruik gemaakt van het programma CODAS, een programma dat de uitwerkingen op open vragen-opdrachten elektronisch kan nakijken. De docent hoeft hierdoor elke week slechts 30 tot 50 opdrachten na te kijken om het programma in staat te stellen de opdrachtuitwerkingen betrouwbaar te beoordelen. Met dit programma is het tevens mogelijk te achterhalen of studenten zich schuldig hebben gemaakt aan het plegen van plagiaat. Ook kan het programma beoordelaareffecten achterhalen (kennen verschillende docenten aan dezelfde opdrachtuitwerkingen een gelijke beoordeling toe?). Het programma wordt inmiddels in verschillende onderwijssectoren gebruikt. De docenten hebben weinig moeite met het bedienen van het programma en zijn met name tevreden over de hoeveelheid tijd die het programma hen bespaart bij het elektronisch nakijken van open vragen-opdrachten. Studenten vinden het vooral prettig dat zij nu ook bij vakken waar veel studenten aan deelnemen de mogelijkheid hebben tijdens een vak (ipv enkel na afloop van een vak) credits op te bouwen. Hierdoor worden zij gestimuleerd de leerstof bij te houden en krijgen zij tussentijdse feedback op hun kennis en begrip van de leerstof.

Doel

Docenten attenderen op de mogelijkheid antwoorden op open vragen in opdrachten en tentamens met behulp van een computer te laten nakijken en te controleren op plagiaat.

Wanneer te gebruiken

1. Wanneer de leerstof ‘talig’ (geen formules) en goed definieerbaar is.
2. Wanneer er minimaal 50 studenten aan het vak deelnemen. Ook bij kleine aantallen verhoogd het gebruik van het programma de betrouwbaarheid van het nakijken. Het tijdsvoordeel van de docent is dan echter gering.
3. Wanneer kennis en inzicht getoetst wordt middels open vragen.
4. Wanneer de docent steeds veel tijd kwijt is aan het nakijken van open vragen-opdrachten.
5. Wanneer de opdrachtuitwerkingen in digitale vorm aanwezig zijn.

Aandachtspunten bij de uitvoering

Met het nakijkprogramma CODAS kun je op de volgende manier werken:

1. Eerst kijkt de docent een aantal opdrachtuitwerkingen zelf na (zoals hij dat gewend is) met als doel het programma te kunnen informeren over welke uitwerkingen beschouwd kunnen worden als goed tot zeer goed dan wel als matig of onvoldoende. Het programma kan de docent helpen bij het trekken van de juiste steekproef van na te kijken opdrachtuitwerkingen doordat het aan elke uitwerking een initiƫle score toe kent die gebaseerd is op overeenkomsten in gebruikte woorden in alle opdrachtuitwerkingen.
2. De docent geeft van de door hemzelf nagekeken opdrachten in het programma aan in welke categorie de opdrachtuitwerking valt. De beschikbare categorieƫn zijn velerlei. De docent kan er echter ook voor kiezen om bijvoorbeeld maar vier (A=goed/ B=gemiddeld/ C=onder gemiddeld/ D=onvoldoende) of twee (A=geslaagd/ B=gezakt) categorieƫn te hanteren. Behalve het aangeven van de categorie markeert de docent de goed gemaakte opdrachten (die als voorbeeld kunnen dienen) met een + en de slecht gemaakte opdrachten (die als tegenvoorbeeld kunnen dienen) met een -.
3. Wanneer er een aantal voorbeelden (gemarkeerd met een +) en een aantal tegenvoorbeelden (gemarkeerd met een -) zijn, kan van alle opdrachtuitwerkingen opnieuw -de initiƫle score was al berekend- een score worden berekend. Deze nieuwe score is een indicatie voor de mate waarin elke opdrachtuitwerking overeenkomt (in woordgebruik) met de voorbeelden en afwijkt van de tegenvoorbeelden. Vervolgens worden de opdrachtuitwerkingen op basis van deze score gerangschikt.
4. Om te controleren of het programma zijn werk goed heeft gedaan, moet de docent nog een aantal door het programma als zeer goed aangemerkte opdrachtuitwerkingen en een aantal door het programma als zeer slecht aangemerkte opdrachtuitwerkingen nakijken. Indien de docent het niet eens is met de beoordeling van de computer, herhaalt hij stap 2 t/m 4 totdat hij van mening is dat de rangorde klopt.
5. De docent kan nu aangeven waar in de rangschikking van opdrachtuitwerkingen de zak/slaaggrens moet komen te liggen. Vervolgens kunnen de cijfers worden uitgeprint. De docent kan daarbij zelf bepalen op welke manier de cijfers worden berekend (bijvoorbeeld een A is een 10 en een B een 7, of de cijfers laten baseren op de plaats van de opdrachtuitwerkingen in de rangorde).

Randvoorwaarden

• De vragen die in de opdrachten worden gesteld moeten ‘talig’ zijn.
• De opdrachtuitwerkingen/ antwoorden moeten in digitale vorm beschikbaar zijn en minimaal zo’n 300 woorden bevatten.

Achtergrondinformatie

Meer informatie over het programma CODAS en de werking ervan is te vinden op http://www.andromatics.nl/.

Een wetenschappelijke verantwoording van het programma is te lezen in het boekje:
Combrink-Kuiters, C.J.M., Elffers, H., Mulder, R.V. De., Noortwijk, C. van. (2000). Computerondersteund nakijken van open vragen. Een onderzoek naar de betrouwbaarheid en gebruikersvriendelijkheid van de CODAS software. Meppel: EduActief BV. ISBN 9057667606.