Om een digitale leeromgeving goed in te zetten is evaluatie van belang. Dit IDEE biedt daarvoor een concreet instrument.

Voorbeeld uit de praktijk

Bij veel vakken wordt na afloop van het vak (bijvoorbeeld na het tentamen) bij studenten een schriftelijke vragenlijst afgenomen waarmee het vak, de leerstof en het tentamen geëvalueerd worden. In veel van die vragenlijsten wordt de digitale leeromgeving genegeerd of beperkt de vragenlijst zich tot een enkele vraag: ‘In hoeverre vind je dat de digitale leeromgeving zinvol is ingezet bij dit vak?’. Een digitale leeromgeving speelt echter een steeds grotere rol in het onderwijs: informatie over het vak wordt verspreid via de leeromgeving, onderwijsactiviteiten als discussies, diagnostische toetsen en groepswerk vindt plaats in de digitale leeromgeving. Bij een evaluatie van een vak moet dan ook de rol die de digitale leeromgeving bij dat vak speelt worden geëvalueerd.

Doel

De docent kan de manier waarop een digitale cursusomgeving voor een bepaald vak is ingezet en ingericht evalueren, zodat de cursusomgeving een volgende keer dat het vak gegeven wordt effectiever kan worden ingezet.

Wanneer te gebruiken

Wanneer je (als docent) wilt weten wat studenten vinden van de manier waarop je de digitale cursusomgeving voor een bepaald vak gebruikt hebt, zodat je de cursusomgeving een volgende keer dat je het vak geeft effectiever kunt inzetten.

Aandachtspunten bij de voorbereiding

• Open de vragenlijst in de Bijlage.
• Verwijder vragen die niet van toepassing zijn.
• Voeg vragen die ontbreken toe, bijvoorbeeld vragen over opdrachten die in de digitale leeromgeving gemaakt moesten worden.
• Vul bij vraag 4 de onderdelen die je in de cursusomgeving gebruikt hebt en die je wilt evalueren in (bijvoorbeeld oefentoetsen, discussieplatform, chatruimte).

Tips

• Veel digitale leeromgevingen hebben de mogelijkheid een digitale survey te maken die online kan worden afgenomen (bijvoorbeeld de Assessment manager in Blackboard). Het voordeel hiervan is dat studenten de evaluatie kunnen invullen op een tijdstip dat het hen uitkomt. Een ander voordeel is dat de digitale leeromgeving automatisch berekent welk percentage studenten een bepaald antwoord heeft gegeven, waardoor je als docent geen tijd kwijt bent met het verwerken van de resultaten. Een mogelijk nadeel is dat het niet in elke dlo (Blackboard bijv.) mogelijk is data te exporteren naar statistische programma’s. Bovendien zullen ‘tegenstanders’ van een digitale leeromgeving minder snel geneigd zijn de digitale survey in te vullen.
• Je kunt (indien beschikbaar) ook gebruik maken van enquête-tools van de instelling of tools gebruiken die gratis op Internet worden aangeboden. Bijvoorbeeld Surveymonkey (http://www.surveymonkey.com/). Een groter overzicht van pakketten voor websurveys is te vinden op http://directory.google.com/Top/Computers/Software/Marketing/Surveys/.

Aandachtspunten bij de uitvoering

• Vraag studenten (bijvoorbeeld per e-mail) de vragenlijst in te vullen. Geef daarbij ook informatie over waarom je de vragenlijst afneemt en hoe en tot wanneer studenten de vragenlijst kunnen inleveren.
• Stuur, indien je gebruik maakt van digitale survey, studenten een email waarin de hyperlink naar de survey is opgenomen.
• Gebruik de resultaten van de evaluatie om de cursusomgeving te verbeteren.

Tips

• Aanvullende informatie kan worden achterhaald door te kijken naar webserver statistieken. Veel digitale leeromgevingen hebben de mogelijkheid om statistische gegevens over het gebruik van de cursusomgeving te achterhalen (bijvoorbeeld de Course Statistics in Blackboard). Hiermee kun je bijvoorbeeld zien welke onderdelen in de leeromgeving veel bekeken zijn en op welke dagen en tijdstippen studenten vooral de cursusomgeving bekijken.

Ontleend aan

http://www.utwente.nl/itbe/owk/

Bijlage

Evaluatie gebruik DLO

Videomateriaal kan vaak interessante ondersteunende informatie geven bij een onderzoek. In dit kenniselement wordt beschreven hoe je dat doet. Het kan dan gaan om bestaand videomateriaal (tv-beelden) en om eigen gemaakte opnamen.

Voorbeeld uit de praktijk

In het project Av@lon konden studenten van de Rijksuniversiteit Groningen televisiebeelden van journaals en documentaireprogramma’s over grote rampen in Nederland bekijken en analyseren. Deze beelden zijn beschikbaar gesteld door de omroepen en zijn online beschikbaar (voor de deelnemende instellingen) via de SURF-videoserver. Dankzij het Av@lon project konden studenten de beelden op de eigen instelling bekijken en daarin ook fragmenten selecteren. Zo’n selectie is eenvoudig op te nemen in een tekstdocument. De lezer van dat document wordt dan direct doorgelinkt naar het betreffende fragment. Zo kan bijvoorbeeld een klein fragment worden geselecteerd uit het beeldmateriaal van de watersnoodramp in 1953 om een bepaalde stelling te onderbouwen. Of een student krijgt de opdracht om aan de hand van verschillende fragmenten door de jaren heen de ontwikkeling van het televisie-interview te laten zien. In het document kan de student een toelichting geven en per keer verwijzen naar de geselecteerde videofragmenten, zodat de docent direct kan zien of de betreffende gekozen fragmenten het betoog van de student adequaat ondersteunen. Punt is wel dat het document van scherm gelezen moet worden en de lezer moet beschikken over een snelle internetverbinding om de video’s te kunnen bekijken.

Doel

Studenten in hun documenten naar videofragmenten kunnen laten verwijzen.

Wanneer te gebruiken

• Als gebruik wordt gemaakt van fragmenten uit bestaand videomateriaal.
• Als gebruik wordt gemaakt van fragmenten uit eigen videomateriaal.

Aandachtspunten bij de voorbereiding

• Bedenk opdrachten bij het materiaal. Voorbeelden zijn:

• Laat aan de hand van fragmenten door de jaren heen zien hoe interviewtechnieken op televisie zijn veranderd.
• Laat met behulp van videofragmenten zien in hoeverre een politieke campagne anno 2002 anders is dan in 1982.

• Als er gewerkt wordt met bestaand materiaal, maak dan studenten duidelijk waar ze dat materiaal kunnen vinden. Maak hen er ook op attent dat het online bekijken van video veel vergt van een internetverbinding en eigenlijk alleen mogelijk is via het netwerk van het instituut.
• Maak afspraken met de houders van de auteursrechten van het bestaand materiaal over het online beschikbaar stellen van het video materiaal.
• Als studenten zelf video maken, maak dan afspraken met de beheerder van de videoserver hoe de videofragmenten van de studenten op de server komen.
• Maak een instructie in het gebruik van de tool waarmee studenten fragmenten kunnen selecteren. Een voorbeeld van zo’n tool is de virtuele snijmachine.
• Maak een instructie hoe de studenten een link in hun tekstdocument kunnen opnemen.

Tips

• Windows XP bevat een eenvoudig videomontageprogramma (Windows Movie Maker), zodat studenten eenvoudig in staat zijn hun video te monteren tot een ‘geliktere’ versie.
• De meeste universiteiten en hogescholen hebben inmiddels een videoserver of zijn daarmee bezig. Informeer daarover. Zonodig kan ook de videoserver van SURF worden gebruikt (zie www.surfnet.nl).
• Op de websites van de publieke omroep en op de site van Beeld en geluid zijn veel beschrijvingen te vinden van videomateriaal. Om deze daadwerkelijk te kunnen bekijken en gebruiken is evenwel eerst toestemming nodig.

Aandachtspunten bij de uitvoering

• Neem aan het begin van de collegereeks de instructies door over het gebruik van de tool waarmee studenten fragmenten kunnen selecteren.
• Laat aan het begin van de collegereeks zien hoe studenten een link naar een videofragment in hun tekstdocument kunnen opnemen.

ICT maakt het mogelijk om studenten op eenvoudige wijze video aan te bieden. Dat maakt het ook mogelijk om cases in beeld te brengen.

Voorbeeld uit de praktijk

De lerarenopleidingen van de NHL en de RUG werken samen in het project Didiclass aan het ontwikkelen van videocases. Studenten die stage lopen op een school voor voortgezet onderwijs vertellen in zo’n case over zaken die zij tegenkomen in hun lesgeven en waar ze over twijfelen hoe te handelen. Onderdeel van een case kan daarnaast ook zijn een video-opname van een les van de student, interviews met leerlingen, collegadocenten of begeleiders of een video-opname van een good-practice les. Een typische case omvat in ieder geval een interview met de student over het probleem en een opname van de lessituatie. Kenmerkend aan deze cases is dat ze direct uit de praktijk komen, authentiek zijn en zeer herkenbaar voor nieuwe studenten aan lerarenopleidingen. Deze cases worden dan ook gebruikt om nieuwe studenten voor te bereiden op hun stage, om met studenten te kunnen spreken over situaties die zich in de praktijk voordoen en om studenten met een specifiek probleem in hun stage te kunnen helpen aan de hand van een vergelijkbare case.
In het voorjaar van 2003 is het materiaal zo ver af dat er voor het eerst mee geëxperimenteerd kon worden met studenten die werken met de cases. De eerste ervaringen zijn positief: studenten herkennen de case, zien het als een authentiek probleem en krijgen aan de hand van de cases handvatten om hun eigen ervaringen te bespreken met medestudenten en begeleiders.

Doel

Videocases kunnen ontwikkelen en gebruiken in het onderwijs.

Wanneer te gebruiken

• Als praktijksituaties in een belangrijk aspect vormen van het onderwijs.
• Als die praktijksituaties niet bij te wonen zijn door studenten.

Aandachtspunten bij de voorbereiding

1. Als eerste moeten cases worden bedacht. Dat kan bijvoorbeeld door studenten die stage lopen te vragen naar problemen of vraagstukken die ze tegenkomen.
2. Beschrijf bij elke case welk materiaal noodzakelijk is om de case goed in beeld te brengen.
3. Beschrijf bij elke case opdrachten.
4. Huur camerateams in of train studentassistenten in het maken van videoopnames.
5. Stem met de juridische dienst van de instelling af of en hoe de opgenomen personen instemming moeten verlenen met gebruik van de opnames.
6. Maak afspraken met degenen die de opnames en montage verzorgen over het auteursrecht.
7. Maak afspraken met de audiovisuele dienst over het formaat van de videofragmenten en het montageprogramma dat gebruikt wordt indien de montage in eigen huis wordt verricht.
8. Maak de opnamen. Bij analoge opnamen moet vervolgens de opname gedigitaliseerd worden. Daarvoor is een aparte videobewerkingskaart
   noodzakelijk.
9. Plaats de videofragmenten op een streaming video server.
10. Maak vanuit de digitale leeromgeving (Blackboard, Teletop, WebCT) opdrachten bij de cases en een link naar de videofragmenten.

Tips

• Sommige cases laten zich niet zo makkelijk sturen waardoor pas achteraf duidelijk is welke opdracht er bij de case past.
• Zet elke case in een aparte folder, zodat al het materiaal dat bij een case hoort later op een eenvoudige manier gekopieerd kan worden naar een andere cursus
• Veel opnamewerk en montagewerk kan goedkoop worden gedaan door studentassistenten, tenzij de kwaliteit van het materiaal heel hoog moet zijn.
• De meeste instellingen beschikken over een audiovisuele dienst die kan adviseren over te gebruiken materialen en videoformaten en waar videomateriaal gehuurd kan worden.

Aandachtspunten bij de uitvoering

Er zijn verschillende manieren om dergelijke videocases in het onderwijs toe te passen:

1. Studenten voorafgaand aan een praktijksituatie (bijvoorbeeld een stage) één of meer cases laten bestuderen aan de hand van opdrachten. Voor de lerarenopleiding kan bijvoorbeeld een opdracht zijn om te kijken naar een case waarin een ordeprobleem naar voren komt en de student vervolgens de opdracht krijgt hoe hij in een dergelijke situatie zou (willen) handelen.
2. Studenten laten discussiëren aan de hand van praktijksituaties die in de cases naar voren komen. Doel is hier voornamelijk om te laten zien dat een case voor verschillende studenten een heel verschillende betekenis kan hebben. Wat voor de één een ordeprobleem is bijvoorbeeld, vindt de andere student juist wel gezellig.
3. Studenten met specifieke problemen in een stage een verwante case laten bestuderen om op die manier hen inzicht te kunnen geven in hun eigen probleem. Een artsassistent moet bijvoorbeeld een slecht-nieuwsgesprek voeren, maar wil dit graag goed voorbereiden. Aan de hand een case op video, waarin zowel goede als slechte voorbeelden worden getoond, en waarbij de student zelf moet aangeven hoe hij/zij in een dergelijke situatie verder zou gaan kan de student zich voorbereiden.

Randvoorwaarden

• Computers moeten beschikken over een geluidsweergave.
• Gebruik digitale camera’s, dan is al het materiaal direct en eenvoudig digitaal beschikbaar.
• Studenten moeten thuis of op de instelling (eventueel op de stagelocatie) beschikken over een computer met breedband internetverbinding.
• De videobeelden moeten op een streaming video server kunnen staan (de meeste instellingen in het hoger onderwijs beschikken over zo’n server).