Aanwijzingen voor het opzetten en gebruiken van geautomatiseerde peer review in het onderwijs.

Voorbeeld uit de praktijk

Aan het eind van de Bachelorfase van de studie Technische Bestuurskunde aan de TU-Delft doen de studenten een zogenaamd ‘meesterstuk’ waarin ze een onderzoek doen. Dit project doen ze individueel. Het wordt echter ook belangrijk gevonden om kennis en ervaring tussen studenten uit te wisselen. Daarom is gekozen voor het toepassen van peer review. De vaardigheid in en de ervaring met peer review is ook van belang voor de latere beroepspraktijk van de student. Als toekomstig wetenschapper of manager is het van belang dat je werk van anderen kritisch kunt bekijken en van commentaar kunt voorzien. Daarnaast heeft ook een praktische overweging ten grondslag gelegen aan de keuze voor peer review. Het werkt tijdsbesparend voor de docent omdat deze niet alle tussenproducten van studenten hoeft na te kijken. Zeker met een grote groep studenten is dit een pure noodzaak.
Het vak wordt goed gewaardeerd. Studenten vinden het leuk om het werk van hun medestudenten te zien en halen hier ideeƫn uit voor hun eigen project. Naast de student review wordt er ook een docent review gegeven, omdat de kwaliteit van de feedback van studenten soms te wensen overlaat.

Doel

De docent kan geautomatiseerde peer review opzetten en gebruiken in zijn/ haar onderwijs.

Wanneer te gebruiken

In situaties waarin (grote groepen) studenten elkaar moeten beoordelen en de docent dit proces wil automatiseren.

Aandachtspunten bij de voorbereiding

1. Vragen vooraf
   Voordat over de automatisering van de peer review nagedacht kan worden, moet eerst worden nagedacht over de functie en bijbehorende procedure van de peer review. Hierbij kunnen de volgende vragen gesteld worden:
   • Waarom wilt u peer review gebruiken in uw onderwijs? Is het slechts een didactisch middel om een ander doel te bereiken of moeten studenten ook leren om een peer review te geven?
   • Wat is het niveau van de studenten met betrekking tot peer review? Hebben ze dit al eerder in de opleiding gehad?
   • Is er een rol voor de docent in de peer review en wat houdt deze in? Mogelijke rollen zijn bijvoorbeeld: moderator van de feedback of beoordelaar.
   • Hoe kan de kwaliteit van de peer review gegarandeerd worden: moeten ze bijvoorbeeld nog worden beoordeeld door de docent?
   • Aan welke criteria moet de peer review voldoen: moet ie bijvoorbeeld anoniem worden afgenomen of juist niet?
   • Hoe verhoudt de peer review zich tot de uiteindelijke beoordeling in het vak: tellen de resultaten van de peer review mee voor het eindcijfer?
2. De specificatie van het peer review-systeem
   Op basis van de antwoorden op deze vragen kan een specificatie opgesteld worden van het geautomatiseerde peer review systeem en de leeromgeving. Dit bestaat uit:
   • Rolverdeling in de peer review: wie doet wat met welke verantwoordelijkheid?
   • Beschrijving van de peer review procedure in de vorm van een ‘workflow’. Dit is een schematische weergave van de stroom van documenten en de rol van de verschillende personen hierin. In figuur Voorbeeld workflow vindt u een voorbeeld:
     Voorbeeld workflow: Docent en student geven ieder een peer review.
   • Handleiding voor de peer review: hoe gaat de peer review in z’n werk?
   • Eventueel een training in het geven van een peer review voor studenten.
   • Eventueel een training van docenten of student-assistenten in het begeleiden van studenten bij peer review.
3. Het ontwerp en de implementatie
   De peer review procedure wordt concreet uitgewerkt in een digitaal systeem, bijvoorbeeld een digitale leeromgeving of specifiek voor dit doeleind ontwikkelde software. Er zijn hiervoor drie opties: kopen, zelf bouwen of gebruik maken van op de instelling beschikbare software of freeware.

Tips

• Maak gebruik van bestaande geautomatiseerde peer review-systemen.. Meestal zijn die ontwikkeld voor redacties van congressen of tijdschriften. Deze zijn met enige creativiteit ook toepasbaar in het onderwijs. Een overzicht wordt gegeven door Kam Shapiro op http://spo.umdl.umich.edu/monthly/peerreview.html.
• Er is ook software op de markt specifiek voor het onderwijs. Een voorbeeld hiervan is Peer Review van Catalyst (http://catalyst.washington.edu/home.html kies web tools en daarna peer review). U kunt ook gebruik maken van de mogelijkheden van bestaande digitale leeromgevingen (met bijvoorbeeld discussion boards of group pages).

Aandachtspunten bij de uitvoering

1. Ondersteun de peer review elektronisch door middel van een DLO. Maak bijvoorbeeld voor elke student een groepspagina aan waarop hij/zij zijn/haar producten kan plaatsen en waar hij/zij ook de reviews kan vinden. De groepspagina is alleen toegankelijk voor de student zelf en de student-assistent die de distributie van de documenten verzorgt.
2. Maak een keuze voor anonieme of open peer review. Anonimiteit heeft als voordeel dat studenten meer vrijheid voelen om hun mening te geven over de producten van medestudenten. Het nadeel is dat persoonlijke terugkoppeling achteraf door de docent lastiger wordt.
3. Kies een instrument voor het afnemen van de peer review. U kunt bijvoorbeeld kiezen voor een elektronisch formulier met beoordelingscriteria of voor het opnemen van commentaar in de tekst.
4. Probeer de verwerking van de peer review-gegevens zoveel mogelijk te automatiseren. Denk bijvoorbeeld aan het gebruik van ‘workflow’ zoals mogelijk is binnen Learning Content Management Systemen, zoals bijvoorbeeld HIVE.

Tip

Het is belangrijk dat u het proces van de peer review en de rol van het systeem daarin goed evalueert, zodat u op basis daarvan het systeem kunt bijstellen. Zo is in het voorbeeld van Technische Bestuurskunde dat hiervoor is beschreven, na de eerste ronde gekozen voor een andere procedure (workflow) van peer review waardoor de student minder afhankelijk werd van de review van de docent en de docent betere producten onder ogen kreeg en daardoor minder tijd aan de review hoefde te besteden.

In sommige gevallen is het van belang dat de gegeven peer reviews op hun kwaliteit worden beoordeeld. Redenen hiervoor kunnen zijn:

• Studenten moeten leren om een peer review te geven en dienen hiervoor feedback op hun review te ontvangen.
• U wilt de kwaliteit van de peer reviews in de gaten kunnen houden en studenten hierop beoordelen.
• U wilt studenten stimuleren om de peer review serieus aan te pakken.