Auteur(s): Leonie Meijerink;Maarten van de Ven Organisatie(s): TU Delft, Sectie EduTec en Erasmus Universiteit Rotterdam, OECR

Door analyse van de kwaliteit van een meerkeuzetoets verkrijgt de docent een beeld van moeilijkheidsgraad, validiteit en betrouwbaarheid van een aangeboden toets. Deze informatie draagt bij aan een juiste beoordeling van de behaalde resultaten en kan worden gebruikt ter verbetering van volgende toetsen.

Voorbeeld uit de praktijk

Voor het analyseren van de kwaliteit van een gegeven toets kan gebruik worden gemaakt van analyse-software. Een voorbeeld hiervan is Sonate. Deze dienst is ontwikkeld aan de TU Delft om docenten geavanceerde instrumenten te bieden die itemanalyses en toetsanalyses kunnen uitvoeren. Sonate bestaat uit twee delen, de schrapkaartverwerking en de analyse software. Als docent hoeft u alleen de gegevens aan te leveren en krijgt een uitdraai met de statische verwerking. Het programma draait op Windows 95, 98 en NT.
Voorbeelden van de analyse die het programma uitvoert:



Doel

Docent leren hoe zij kwaliteits analyses online kunnen (laten) uitvoeren na afname van een meerkeuze toets, waardoor zij leren waarop zij een volgende keer de toets kunnen verbeteren en waarop zij beoordelingen dienen aan te passen.

Wanneer te gebruiken

  • Als u de kwaliteit van uw meerkeuze toets wilt beoordelen.
  • Als u richtlijnen wilt hebben om een volgende keer een kwalitatief betere toets te geven.
  • Als u niet tevreden bent over de resultaten van studenten en de beoordeling wilt aanpassen n.a.v. kwalitatief slechte vragen.

Aandachtspunten bij de uitvoering

Uitgangspunt is dat u een toets heeft opgesteld en afgenomen en een bestand met data heeft van de resultaten van studenten op de toets. Met behulp van dit bestand gaat u de kwaliteit van uw toets beoordelen:
(Let op: in dit IDEE wordt van enige statistische voorkennis uitgegaan).

  1. Voer met behulp van software een itemanalyse uit.

    Een itemanalyse geeft antwoorden op vragen als: hoe moeilijk was een bepaald item (ofwel vraag), hoe zijn antwoorden over foute alternatieven verdeeld en hoe discrimineert de vraag tussen goede en slechte studenten.

    Software voor het uitvoeren van de itemanalyse

    • De software voor het uitvoeren van een itemanalyse is bij veel instellingen beschikbaar, bv. bij de onderwijskundige centra. Een voorbeeld is Sonate, de software die de TU Delft ter beschikking heeft voor docenten. (zie ?uit de praktijk?).
    • U kunt ook formules voor het berekenen van de itemanalyse opnemen in een eigen programma, bv. Excel. Voor formules kunt u gebruik maken van een online boek van de Gruijter over toetsanalyse op http://www.iclon.leidenuniv.nl/Toetsing en Toetsanalyse.pdf

    Itemanalyse
    Bereken:

    • moeilijkheidsgraad (p-waarde; het percentage goede antwoorden, items afzonderlijk en hele toets)
    • aantrekkelijkheid van afleiders: a-waarde (bv. zijn het goede studenten die items goed beantwoord hebben).
    • onderscheidend vermogen (Rit waarde: discriminatie tussen goede en slechte studenten)

    Zie voor een specifieke toelichting het online boek van de Gruijter.
    (Online toetsanalyse instrumenten, zoals Sonate, kunnen leiden deze waarden direct af uit de door u aangeleverde gegevens).

  2. Bepaal voor ieder item of die voldoet aan de gewenste kwaliteit

    Interpreteer de waarden die u bij 1 gevonden heeft. Hieronder wordt hierover kort iets verteld, voor meer informatie verwijzen wij u naar het online boek van de Gruijter of in de online Sonate handleiding.

    • Moeilijkheidsgraad: Een hoge p-waarde kan betekenen dat u een ijverige groep studenten had, dat het gegeven onderwijs zeer effectief was of dat de vraag te makkelijk was.
    • Afleiders: De a-waarde geeft aan hoe antwoorden over foute alternatieven verdeeld zijn. Als de percentages studenten die een fout antwoord gekozen hebben te laag of te hoog zijn dan heeft de vraag gefaald.
    • Onderscheidend vermogen: de item rest correlatie (Rir-waarde) discrimeert tussen antwoorden die goede en slechte studenten hebben gegeven. Deze waarde kan worden beinvloed door: de mate waarin toets en item hetzelfde meten, de betrouwbaarheid van de score en de betrouwbaarheid van het item (bv. onduidelijke vraagstelling, onbetwistbaarheid van het antwoord).

  3. Verwijder vragen die niet aan de gewenste kwaliteit voldoen.

    Na dit gedaan te hebben kunnen waarden uit bovenstaande vragen veranderd zijn. Herhaal daarom stappen 1 t/m 3.

  4. Voer met behulp van de software een toetsanalyse uit.

    Dit is een analyse over alle vragen in plaats van per vraag.
    Bereken hiervoor:

    • de gemiddelde moeilijkheidsgraad (gemiddelde p-waarde)
    • de betrouwbaarheid (verschillen in prestaties gemeten in de Spreidingsgraad)

  5. Bepaal voor de toets als geheel of die voldoet aan de kwaliteit.

    Interpreteer de waarden die u bij 4 gevonden heeft. Hieronder wordt hierover kort iets verteld, voor meer informatie verwijzen wij u naar het online boek van de Gruijter of in de online Sonate handleiding.

    • De gemiddelde moeilijkheidsgraad: in het ideale geval is de gemiddelde p-waarde 0,5, wat betekent dat de goede helft studenten de toets goed heeft gemaakt en de zwakke studenten beantwoorden de vraag fout. Bij een te hoge waarde was de toets te makkelijk of heeft de docent perfect onderwijs verzorgd.
    • De betrouwbaarheid: De verschillen in prestaties van studenten kunnen worden afgeleid uit de Spreidingsgraad. Als deze kleiner dan 0,10 is dan heeft u een homogene groep studenten of heeft u goed onderwijs aan alle studenten verzorgd. Let op: het is moeilijk om de werkelijke verschillen te achterhalen, want vaak is er sprake van toevallige invloeden, zoals; dubbelzinnig formuleren van vragen, ingewikkelde vraagstelling, hele korte toets die niet alle onderwerpen behandeld. Het is dan ook belangrijk om deze factoren al bij het formuleren van de vragen in acht te houden.

    Tip: Door de bovengenoemde itemanalyses te waarderen op een schaal van 1 tot 5 en een gemiddelde te berekenen kunt u een cijfer geven aan uw totale toets. Dit wordt bv. door Sonate automatisch gegenereerd, waardoor u direct een indruk krijgt van de algehele kwaliteit van uw toets.

  6. Zet met behulp van de software de scores om in cijfers en maak de cijfers bekend.

    U heeft ontdekt welke vragen van onvoldoende kwaliteit waren en kunt hierop de beoordeling van studenten aanpassen. Dit kan door:

    • de vraag niet mee te laten wegen in de beoordeling
    • de vraag minder streng te beoordelen (hoger waarderen)

  7. Pas een volgende keer dat u dezelfde toets moet geven de vragen van onvoldoende kwaliteit aan.

    U heeft gezien welk type vragen van goede kwaliteit zijn. Deze kunt u in aangepaste vorm behouden. Aanpassing is wel nodig om te voorkomen dat studenten voorgaande tentamens achterhalen en copieren. Slechte vragen schrapt u uit de toets en over het onderwerp bedenkt u een nieuwe vraag.

Achtergrondinformatie

Handleiding: Sonate, verwerking en analyse van toetsen, ICTO Expertise Centrum, TU Delft.

http://www.icto.tudelft.nl/sonate/Informatie/SonateBeschrijving.html

http://www.iclon.leidenuniv.nl/Toetsing en Toetsanalyse.pdf

Online boek (pdf-formaat) van de Gruijter, D. over toetsing en toetsanalyse. Onderwerpen zijn o.a.: moeilijkheidsgraad, aantrekkelijkheid van afleiders, Rit waarde en betrouwbaarheid.

Ontleend aan

http://www.icto.tudelft.nl/sonate/Informatie/SonateBeschrijving.html

Geplaatst op 19-03-2003 in Online toetsen door adminComments Off on De kwaliteit van een meerkeuzetoets online analyseren

Reageren is niet mogelijk.