Dit kenniselement beschrijft een computerprogramma waarmee het mogelijk is antwoorden op open vragen in opdrachten en tentamens door de computer te laten nakijken en opdrachten te controleren op plagiaat.

Voorbeeld uit de praktijk

Bij de Faculteit Rechtsgeleerdheid (Erasmus Universiteit Rotterdam) nemen aan het vak ‘Introductie Computergebruik’ jaarlijks ongeveer 300 studenten deel. Gedurende een semester maken de studenten enkele opdrachten; de omvang van de opdrachtuitwerkingen bedraagt rond de drie pagina’s. Normaliter zou de docent veel tijd kwijt zijn met het nakijken van alle opdrachtuitwerkingen (zo’n 1500 in totaal). Er wordt echter gebruik gemaakt van het programma CODAS, een programma dat de uitwerkingen op open vragen-opdrachten elektronisch kan nakijken. De docent hoeft hierdoor elke week slechts 30 tot 50 opdrachten na te kijken om het programma in staat te stellen de opdrachtuitwerkingen betrouwbaar te beoordelen. Met dit programma is het tevens mogelijk te achterhalen of studenten zich schuldig hebben gemaakt aan het plegen van plagiaat. Ook kan het programma beoordelaareffecten achterhalen (kennen verschillende docenten aan dezelfde opdrachtuitwerkingen een gelijke beoordeling toe?). Het programma wordt inmiddels in verschillende onderwijssectoren gebruikt. De docenten hebben weinig moeite met het bedienen van het programma en zijn met name tevreden over de hoeveelheid tijd die het programma hen bespaart bij het elektronisch nakijken van open vragen-opdrachten. Studenten vinden het vooral prettig dat zij nu ook bij vakken waar veel studenten aan deelnemen de mogelijkheid hebben tijdens een vak (ipv enkel na afloop van een vak) credits op te bouwen. Hierdoor worden zij gestimuleerd de leerstof bij te houden en krijgen zij tussentijdse feedback op hun kennis en begrip van de leerstof.

Doel

Docenten attenderen op de mogelijkheid antwoorden op open vragen in opdrachten en tentamens met behulp van een computer te laten nakijken en te controleren op plagiaat.

Wanneer te gebruiken

1. Wanneer de leerstof ‘talig’ (geen formules) en goed definieerbaar is.
2. Wanneer er minimaal 50 studenten aan het vak deelnemen. Ook bij kleine aantallen verhoogd het gebruik van het programma de betrouwbaarheid van het nakijken. Het tijdsvoordeel van de docent is dan echter gering.
3. Wanneer kennis en inzicht getoetst wordt middels open vragen.
4. Wanneer de docent steeds veel tijd kwijt is aan het nakijken van open vragen-opdrachten.
5. Wanneer de opdrachtuitwerkingen in digitale vorm aanwezig zijn.

Aandachtspunten bij de uitvoering

Met het nakijkprogramma CODAS kun je op de volgende manier werken:

1. Eerst kijkt de docent een aantal opdrachtuitwerkingen zelf na (zoals hij dat gewend is) met als doel het programma te kunnen informeren over welke uitwerkingen beschouwd kunnen worden als goed tot zeer goed dan wel als matig of onvoldoende. Het programma kan de docent helpen bij het trekken van de juiste steekproef van na te kijken opdrachtuitwerkingen doordat het aan elke uitwerking een initiƫle score toe kent die gebaseerd is op overeenkomsten in gebruikte woorden in alle opdrachtuitwerkingen.
2. De docent geeft van de door hemzelf nagekeken opdrachten in het programma aan in welke categorie de opdrachtuitwerking valt. De beschikbare categorieƫn zijn velerlei. De docent kan er echter ook voor kiezen om bijvoorbeeld maar vier (A=goed/ B=gemiddeld/ C=onder gemiddeld/ D=onvoldoende) of twee (A=geslaagd/ B=gezakt) categorieƫn te hanteren. Behalve het aangeven van de categorie markeert de docent de goed gemaakte opdrachten (die als voorbeeld kunnen dienen) met een + en de slecht gemaakte opdrachten (die als tegenvoorbeeld kunnen dienen) met een -.
3. Wanneer er een aantal voorbeelden (gemarkeerd met een +) en een aantal tegenvoorbeelden (gemarkeerd met een -) zijn, kan van alle opdrachtuitwerkingen opnieuw -de initiƫle score was al berekend- een score worden berekend. Deze nieuwe score is een indicatie voor de mate waarin elke opdrachtuitwerking overeenkomt (in woordgebruik) met de voorbeelden en afwijkt van de tegenvoorbeelden. Vervolgens worden de opdrachtuitwerkingen op basis van deze score gerangschikt.
4. Om te controleren of het programma zijn werk goed heeft gedaan, moet de docent nog een aantal door het programma als zeer goed aangemerkte opdrachtuitwerkingen en een aantal door het programma als zeer slecht aangemerkte opdrachtuitwerkingen nakijken. Indien de docent het niet eens is met de beoordeling van de computer, herhaalt hij stap 2 t/m 4 totdat hij van mening is dat de rangorde klopt.
5. De docent kan nu aangeven waar in de rangschikking van opdrachtuitwerkingen de zak/slaaggrens moet komen te liggen. Vervolgens kunnen de cijfers worden uitgeprint. De docent kan daarbij zelf bepalen op welke manier de cijfers worden berekend (bijvoorbeeld een A is een 10 en een B een 7, of de cijfers laten baseren op de plaats van de opdrachtuitwerkingen in de rangorde).

Randvoorwaarden

• De vragen die in de opdrachten worden gesteld moeten ‘talig’ zijn.
• De opdrachtuitwerkingen/ antwoorden moeten in digitale vorm beschikbaar zijn en minimaal zo’n 300 woorden bevatten.

Achtergrondinformatie

Meer informatie over het programma CODAS en de werking ervan is te vinden op http://www.andromatics.nl/.

Een wetenschappelijke verantwoording van het programma is te lezen in het boekje:
Combrink-Kuiters, C.J.M., Elffers, H., Mulder, R.V. De., Noortwijk, C. van. (2000). Computerondersteund nakijken van open vragen. Een onderzoek naar de betrouwbaarheid en gebruikersvriendelijkheid van de CODAS software. Meppel: EduActief BV. ISBN 9057667606.

Elektronische communicatie wordt veel gebruikt om feedback te geven op de verrichtingen van de student. Er zijn een aantal bijzonderheden waar rekening mee gehouden moet worden

Voorbeeld uit de praktijk

Feedback komt in velerlei vormen voor in digitale leeromgevingen (DLO). EĆ©n van de meest gebruikte vormen daarvan is het discussieforum, waar een student reageert op een stelling of een opdracht en waar de docent of medestudenten feedback op geven (zie het voorbeeld).

Doel

Aan docenten handvatten te verschaffen om gemaakte opdrachten op een constructieve manier van feedback te voorzien.

Wanneer te gebruiken

Als studenten werkstukken elektronisch inleveren en docent ook digitaal feedback geeft.

Aandachtspunten bij de voorbereiding

1. Geef bij de opdracht duidelijk aan wat er van studenten verwacht wordt en wanneer.
2. Geef bij de opdracht ook duidelijke criteria aan waarop de opdracht zal worden getoetst.
3. Bij het geven van feedback zijn de volgende punten van belang:

• Begin feedback over een werkstuk zo mogelijk met iets positiefs als ‘Dit product ziet er goed uit: de probleemstelling is helder geformuleerd en de onderzoeksopzet is nauwkeurig beschreven. Andere goede punten zijn ……. Er zijn echter ook nog een aantal verbeterpunten, namelijk…’
• Houd het zakelijk, dus: ‘De opdracht is onvoldoende omdat je dit en dat er niet in hebt staan.’. ‘Je doet iets (niet) goed’ in plaats van ‘Je bent (niet) goed’.
• Geef geen persoonsgerichte negatieve feedback als: ‘Jij bent altijd sloom’. Geef in plaats daarvan kritiek als
  ‘Dit is al de vierde keer op rij dat je de opdracht te laat inlevert. De volgende keer dat dit weer gebeurt kijk ik je opdracht niet meer na.’

Tips

• Studenten zijn gebaat bij positieve zakelijke feedback: ‘Dit onderdeel heb je goed gedaan’, dit geldt in het bijzonder voor faalangstige studenten.
  Het motiveert studenten verder te gaan en stimuleert hun zelfvertrouwen.
• Bekijk ook eens feedback van anderen op uw eigen taken/functioneren en ga na welke feedback voor u het meest effectief was en waarom.

Aandachtspunten bij de uitvoering

• Wees ervan bewust dat het geven van individuele constructieve feedback tijd vergt van de docent.
• Stuur gegeven feedback niet meteen naar de student. Laat het liever nog even een uurtje staan, kijk er nog eens naar en stuur het dan weg. Het gevaar van elektronische feedback is dat het snel en nogal kort door de bocht wordt opgeschreven. De ongezouten tekst die zo al snel ontstaat kan nogal hard aankomen bij een student.

Achtergrondinformatie

Feedback geven op taken is Ć©Ć©n van de meest effectieve aspecten van het lesgeven. Studenten leren heel veel van de positieve en negatieve taakgerichte feedback van docenten en medestudenten. Belangrijk is daarbij wel dat de feedback inzicht geeft over de vervulling van de taak: wat is daar goed aan gedaan, wat is minder goed. En daarnaast is het van belang dat de feedback inzicht verschaft in hoe de taak kan worden verbeterd: ‘je moet dit en dit nog veranderen en het moet aan de criteria voldoen die je terugvindt in de studiegids op pagina…’

Er wordt besproken hoe u een Kennis Management Systeem (KMS) kunt gebruiken om studenten binnen uw vak eigen ervaringen en gebruikte bronnen te laten delen.

Voorbeeld uit de praktijk

‘Multimedia’ is een interdisciplinair vak dat aan de TU Delft wordt gegeven. Teams van studenten ontwerpen en bouwen een multimediaprogramma op een CD-Rom. De teams werken aan een realistisch probleem voor een externe opdrachtgever die samen met studenten de CD-Rom ontwikkelen. In het vak wordt gebruikt gemaakt van het Kennis Management Systeem (KMS) ‘Performer’: een systeem om kennis, vaardigheden en ervaringen van studenten die voor andere studenten van belang kunnen zijn op een interactieve en stimulerende manier te verzamelen en raadplegen. Studenten zetten alle kennis en ervaringen die zij opdoen bij het ontwikkelen van een CD-Rom in het KMS. Het vak wordt alsmaar krachtiger doordat de ervaringen van de teams met studenten over vele jaren bewaard blijven. Het KMS ziet er als volgt uit (klik op de afbeelding voor een vergroting):
In de afbeelding is te zien dat de gebruiker de kennis uit het KMS kan ontsluiten middels een kruistabel. Daarin worden rollen van de student in de groep verticaal geplaatst in een tabel. De fasen in het ontwerp van de CD-Rom worden horizontaal gepresenteerd (analyse, ontwerp, realisatie, test&revisie en invoering). In iedere cel wordt aangegeven hoeveel ‘kenniselementen’ beschikbaar zijn en door erop te klikken krijgt de student alle beschikbare kenniselementen die betrekking hebben op een specifieke rol in de fase van het ontwerpproces waarin hij zich op dat moment bevindt (voorbeeld 2).
Het derde voorbeeld geeft een beschrijving van een kenniselement dat een student uit de lijst geselecteerd heeft. De beschrijving gaat over de kennis en/of ervaringen die studenten hebben opgedaan (bv. good practices of het gebruik van een instrument of tool waarmee ze een CD-Rom kunnen maken). Daarnaast wordt het doel van het kenniselement weergegeven en kunnen studenten aangeven hoe ze het kenniselement waarderen. Verder zijn in het kenniselement literatuurverwijzingen en links naar relevante websites te vinden.

Door gebruik te maken van dit KMS wordt de deskundigheid van studenten op een hoger plan gebracht door het delen van kennis. Enerzijds kunnen studenten gebruik maken van het KMS en hierdoor nuttige tips vergaren, anderzijds worden nuttige tips die studenten zelf verzamelen gewaardeerd, doordat ze in het KMS geplaatst worden. Daarnaast kunnen studenten de ervaringen die door verschillende studenten is ingebracht becommentariĆ«ren. Een ‘content owner’ bewaakt de kwaliteit van de geplaatste reacties en zorgt dat de inhoud niet vervuild raakt.

Doel

Hier worden ideeƫn gegeven over hoe docenten gebruik kunnen maken van een Kennis Management Systeem om de kwaliteit van een vak te verbeteren door het bewaren en hergebruiken van kennis en ervaringen die studenten in een vak opdoen.

Wanneer te gebruiken

• Als u de kwaliteit van een vak wilt verbeteren door studenten relevante tips en bronnen van studenten die het vak reeds gevolgd hebben aan te bieden.
• Als u studenten actief wilt betrekken in de verbetering van uw vak, door hen de mogelijkheid te geven om kennis en ervaringen bij te dragen aan het vak.
• Als u studenten wilt leren hoe zijn kennis en ervaringen on line en op een gestructureerde manier kunnen bewaren.
• Als u het werk dat studenten hebben geleverd niet verloren wilt laten gaan en daarmee een waardering van het geleverde werk aan studenten wilt geven.
• Als u voortdurend wilt voortbouwen op door studenten opgedane kennis en ervaringen om te voorkomen dat studenten telkens het wiel weer opnieuw uitvinden.

Aandachtspunten bij de voorbereiding

• Ga na of uw instelling over een KMS beschikt. Overweeg zo nodig of de waarde van een KMS in uw cursus groot genoeg is om een KMS aan te schaffen (voorbeelden van KMSen zijn te vinden in de achtergrond informatie onderaan dit kenniselement). U kunt ook overwegen om zelf een simpele database te maken die via een link in uw DLO (bv. Blackboard) geopend kan worden. Of u kunt het discussieplatform van uw DLO hiervoor gebruiken.
• Bepaal welke categorieĆ«n nuttig zouden zijn om kennis in een KMS te onderscheiden. Denk daarbij welk soort informatie, bronnen, tips u verwacht voor elke categorie.
  Onderscheid of u de voorkeur geeft aan een lijst met categorieƫn of aan het onderbrengen van categorieƫn onder twee assen.
• Bespreek met beheerders hoe het KMS aan de gestandaardiseerde DLO van de opleiding gelinkt kan worden. Ga na of er een automatische verbinding is tussen het beschikbare KMS in de instelling en de gebruikte DLO (of bespreek de mogelijkheden om toegang tot de KMS te geven via de DLO).
• Maak een lijstje van functionaliteiten die het KMS moet hebben. Onderzoek in hoeverre uw eisen passen bij het KMS dat u op het oog heeft of zelf zou willen maken:
  • Mogelijkheden om categorieĆ«n aan uw vak aan te passen: gemak van toevoegen en verwijderen van categorieĆ«n.
  • Eenduidige en overzichtelijke structuur van de interface. De interface van Catalyst is hier een goed voorbeeld van.
  • Gemak van toevoegen van gebruikerservaringen bij de verschillende informatie-elementen door de gebruikers.
  • Mogelijkheden voor goede en snelle zoekfuncties.
  • Telmogelijkheden waarmee bijgehouden wordt hoe vaak een informatie-element wordt geraadpleegd. Hierdoor kunnen de behoeften en belangrijkste vragen van de gebruikers in kaart worden gebracht. Bovendien kunnen deze gegevens gebruikt worden bij de inhoudelijke kwaliteitsbewaking van het systeem. Ook kan het er toe leiden dat op specifieke terreinen extra expertise wordt ingezet.
  • Inbouwen van de mogelijkheid om studenten directe feedback te kunnen laten geven over wat ze van de kwaliteit van de informatie/hulp vonden, bijvoorbeeld de mogelijkheid om reacties te geven of in de vorm van een sterren- of puntensysteem (bijvoorbeeld 1 tot 5 sterren). Op basis van het gebruik (veelheid en oordeel) kan het aantal sterren verhoogd worden of verlaagd worden.
• Maak een indeling voor een kenniselement, zodat studenten de informatie die zij willen bijdragen makkelijk kunnen plaatsen. Een kenniselement kunt u vergelijken met de IDEEĆ«n in deze digitale didactiek website. In een kenniselement wordt onder andere een korte beschrijving gegeven van de kennis en/of ervaringen die studenten hebben opgedaan. Daarnaast wordt het doel van het kenniselement weergegeven en heeft u de mogelijkheid om mening/suggesties te geven. Verder kunt u denken aan: good practices, literatuurverwijzingen en links naar relevante websites.
• Besluit hoe u de kwaliteit van de kenniselementen bewaakt. U kunt bijvoorbeeld een persoon aanwijzen die slechte kenniselementen eruit gooit. Maak hier duidelijke afspraken over: moet informatie goedgekeurd worden voordat het in het KMS gezet wordt (kwaliteitsgarantie) of gebeurt dat als het kenniselement geplaatst is (laagdrempeliger)? Daarnaast helpt het om de kenniselementen te laten waarderen door medestudenten.
• Definieer rollen voor wie wat mag zien en mag doen in het systeem.
• Als het KMS voor het eerst gebruikt wordt is het verstandig om alvast kenniselementen in te vullen, zodat studenten een idee krijgen van de bedoeling van het KMS, zodat ze er vast gebruik van kunnen maken en om het laagdrempelig te houden om een bijdrage te leveren.
• Zorg dat het voor studenten direct duidelijk is wat van ze verwacht wordt en wat ze kunnen met het KMS en hoe ze er in komen. (Directe en opvallende links in de DLO, uitleg in (digitale) handleiding, introductiecollege)

Aandachtspunten bij de uitvoering

• Bedenk hoe u het gebruik van het KMS kunt stimuleren.
  Tip: u kunt de bijdragen beoordelen of u kunt studenten andere kenniselementen laten waarderen.
• Besteed aandacht aan instructie over het nut van een KMS:
  • Wat kunnen studenten eraan hebben, wat kunnen ze eruit halen?
  • Op welke categorieĆ«n kunnen studenten zoeken?
  • Wat kunnen studenten bijdragen aan het systeem?
• Maak duidelijke afspraken met studenten over hoe het KMS gebruikt wordt:
• Hoe vaak en wanneer worden bijdragen van ze verwacht?
• Hoe kunnen studenten bijdragen aanleveren en hoe kunnen ze zoeken naar informatie?
• Worden ze beoordeeld op de bijdragen?
  Tip: geef een beloning voor het meest gebruikte kenniselement.
• In hoeverre is het vrijblijvend voor studenten om wel of niet gebruik te maken van de informatie die zij uit het KMS kunnen halen?
• Geef aan studenten aan wat uw rol als begeleider is.
  Tip: geef aan dat studenten nog steeds bij u terecht kunnen voor vragen, maar dat u verwacht dat ze eerst zoeken in het KMS.
• Geef aan hoe studenten elkaar feedback kunnen geven op kenniselementen in het systeem (als je daarvoor kiest).
  Tip: bouw een waarderingssysteem in waarin studenten elkaar bijvoorbeeld kunnen scoren op reacties kunnen plaatsen. Dit kan gebeuren als reactie onder een kenniselement of u kunt hiervoor een speciaal discussieforum openen.
• Stel regels op voor het toevoegen van informatie aan de kenniselementen:
• Hoe moeten studenten bronnen weergeven? (gestandaardiseerd?)
• Welk type informatie is gewenst of ongewenst? (moet een bijdrage per se wetenschappelijk zijn, of is bijvoorbeed een verslag van een tv-uitzending ook goed?)
• Welke eisen stelt u aan de kwaliteit van de bijdragen? (moeten studenten bijvoorbeeld bewijzen dat een suggestie bij hen effectief gewerkt heeft of verwelkomt u iedere suggestie?)

Achtergrondinformatie

Bij het schrijven van het kenniselement is gebruik gemaakt van de volgende documenten:

• SURF Educatie project 2001, Digit@le Did@ctiek, Professionalisering van docenten, Controlling document.
• Walsarie-Wolff, S. & Verkroost, M.J., Digit@le Did@ctiek, Eisen aan het kennismanagement systeem en de interface, 2002.
• Digitale Didactiek, controlling document en Eisen aan het kennismanagement systeem en de interface, 2002
• Mast van der, C., Sepers, M. & Lockefeer, W., Multimedia, Project Manual, Faculty of Information Technology and Systems, Technische Universiteit Delft.
• Mast van der, C. & Aalst van, J.W., A Knowledge Management Instrument to Support Learning of Highly Interactive Systems Development, 2001 (niet gepubliceerd).

Hieronder worden websites met voorbeelden van Kennis Management Systemen gegeven. Deze voorbeelden bevatten vooral kennis die op docenten is gericht. Wie nog andere voorbeelden heeft van kennismanagementsystemen die gericht zijn op gebruik door studenten (zoals in uit de praktijk) worden uitgenodigd een reactie te leveren.

• Onderdeel van the Office for Professional Development (OPD):
• Distance Education at a Glance
• MERLOT (Multimedia Educational Resource for Learning and Online Teaching) is opgericht door het Centre for Distributed Learning van California State University. Het doel van MERLOT is het verbeteren van leren en lesgeven in het hoger onderwijs middels een online community waarin faculteiten, staf en studenten vanuit de hele wereld lesmateriaal, leermateriaal en didactiek aan elkaar beschikbaar stellen.
• AskEric Database for Educative Technology, zeer uitgebreide site waarin verscheidene resources en interactie met bezoekers zijn geƃĀÆntegreerd.
• De Catalyst site, UWired van de Universiteit van Washington.
  

Bij een on line-cursus zijn er verschillende mogelijkheden om rekening te houden met niveauverschillen tussen studenten.

Voorbeeld uit de praktijk

Geen praktijkvoorbeeld beschikbaar. Bijdragen zijn welkom.

Doel

De bedoeling is handvatten docenten die in hun onderwijs tegemoet willen komen aan de niveau-verschillen tussen studenten te geven.

Wanneer te gebruiken

• Als je een on line vak flexibel wilt aanbieden, zodat rekening wordt gehouden met niveauverschillen tussen studenten.
• Als uit voorkennistoetsen, uit voorgaande evaluaties of uit beoordelingsresultaten blijkt dat er grote verschillen zijn in het niveau van studenten.

Aandachtspunten bij de voorbereiding

1. Neem een (on line) voorkennistoets/ kennisquiz af onder de studenten om de niveau-verschillen te kunnen duiden (zie ook: IDEE voorkennistoets).
2. Vergaar informatie over de achtergrond van studenten die van invloed kan zijn, bv. cijfers van voorgaande toetsen of vorige opleiding, vooropleiding van student, voorkennis van studenten, ervaringen uit vorige lessen/vakken.
3. Vervolgens kunt u op verschillende manieren rekening houden met de niveauverschillen:
   • extra begeleiding voor individuele studenten waarbij u een laag niveau heeft vastgesteld (zie 2)
   • mogelijkheden bieden om rekening te houden met verschillende niveaus van alle studenten door ze vanuit het eigen beginniveau te laten werken (zie 3, 4,5)
4. Stel vast voor welke studenten je specifieke on line begeleiding nodig vindt.Van deze studenten kan je bijvoorbeeld vragen of zij regelmatig tussenproducten on line zetten, zodat je hierop kunt reageren. Voor speciaal moeilijke gevallen kan je overwegen om regelmatig on line te monitoren en feedback te geven in het discussieforum. Zorg er daarbij voor dat alleen jezelf en de student toegang hebben tot de on line discussie.
5. Formuleer doelstellingen op de onderscheiden niveaus (zie 1).
   Per beginniveau ontwikkel je passende opdrachten. Houd er rekening mee dat het niveau hoog genoeg is voor studenten om er goed over na te moeten denken, maar niet zo hoog is dat studenten gedemotiveerd raken. Je kunt wat betreft niveaus onderscheid aanbrengen in:
   • Moeilijkheidsgraad (gebaseerd op cijfers, beoordelingen). Vanzelfsprekend moeten studenten wel minimaal de eindtermen behalen.
   • Type kennis of vaardigheden die studenten hebben opgedaan (Is de student meer theoretisch of praktisch onderlegd, welke kennisgebieden zijn al bekend bij de student?)
6. Ontwikkel organisatievormen in de leeromgeving:
   • ‘Heterogene’ groepen samenstellen door het bewust mixen van verschillende niveaus per groep. Dit doet u bv. bij projecten of groepsopdrachten waarin u studenten van elkaar wilt laten leren.
   • ‘Homogene’ groepen samenstellen van studenten met hetzelfde niveau. Dit doet u wanneer u de verschillende niveaus op hun eigen tempo en aan eigen doelstellingen wilt laten werken. Pas hierbij wel op dat u studenten niet een stereotype oplegt.
7. Maak voor elke groep studenten een leeromgeving aan. Je kunt kiezen voor:
   • Maak in het discussieforum threads (categorieĆ«n) aan voor de verschillende groepen en plaats de juiste informatie/opdrachten passend bij het beginniveau van de groep. Het is niet redelijk om van studenten met een hoger niveau te verwachten dat zij meer werk verrichten zonder dat daar wat tegenover staat. Studenten die op een hoger niveau de opdrachten maken kunnen bijvoorbeeld de activiteiten die zij extra verrichten gebruiken voor andere vakken, stages of afstudeeronderzoek. Feit blijft wel dat alle studenten een bepaald eindniveau moeten halen.
   • Geef duidelijk in de leeromgeving aan welke opdrachten er zijn en welke studenten aan welke opdrachten werken.
8. Formuleer passende opdrachten:
   • Van eenvoudig naar complex: Bedenk in welke context het onderwerp in de realiteit zou kunnen plaatsvinden. Het probleem zonder extra moeilijkheden kunt u voorleggen aan de studenten die moeite hebben met het onderwerp. Voor studenten die wat meer in hun mars hebben kunt u de context ingewikkelder maken door extra problemen in te ruimen.
   • Van concreet naar abstract: Voor studenten die moeite hebben met het onderwerp kunt u bijvoorbeeld hele concrete voorbeelden geven of verwijzen naar concrete voorbeelden van anderen. Aan studenten met meer niveau hoeft u minder weg te geven. Zij kunnen dergelijke informatie zelf vinden of vanuit een abstracter niveau zelf bedenken wat concreet bedoeld wordt.
   • Van gedetailleerd naar globaal: Hoe gedetailleerder u de opdracht formuleert, met allerlei mogelijke hints en verwijzingen, des te makkelijker is de opdracht voor studenten. Als u aanwijzingen weglaat is de uitdaging voor studenten van hoger niveau groter.
     Als u de opdrachten on line zet kunt u een ‘basisopdracht’ voor alle groepen formuleren en vervolgens de specificeringen van de opdrachten voor de verschillende niveaus toevoegen.

Tip

Maak een discussieforum aan per groep waarin de studenten in de groep onderling kunnen discussieren en/of laat groepen met elkaar discussieren.

Aandachtspunten bij de uitvoering

• Geef studenten de ruimte om specifieke richtingen in te slaan door extra opdrachten, links en documenten aan te bieden die dieper op de stof ingaan.
• Bouw mogelijkheden in voor studenten die tegen problemen aanlopen door uitgebreidere toelichtingen in documenten in de DLO te plaatsen en door als docent heldere informatie te geven over hoe studenten je kunnen bereiken (bij voorkeur via het discussieforum).

Zie ook

Hoe maak je een voorkennistoets in een Digitale Leer Omgeving?

Hoe maak je on line, interactief leermateriaal voor zelfstudie?

Dit idee beschrijft hoe je studenten in internationaal verband met elkaar kunt laten discussiƫren over stellingen vanuit verschillende onverenigbare perspectieven.

Voorbeeld uit de praktijk

De Faculteit der Economische Wetenschappen (FEW) organiseert in het derde jaar van de Bachelor-opleiding het vak ‘Poverty and Income Distribution’. In dit vak raken de studenten onder andere bekend met concepten en indicatoren van armoede en ongelijkheid, met oorzaken van armoede en ongelijkheid en met beleid en strategieĆ«n om armoede op verschillende niveaus (lokaal, nationaal en internationaal) tegen te gaan. Studenten leren ook de ontwikkeling van armoede en ongelijkheid in een regio, in een land en in de wereld te monitoren en te analyseren.
In het vak hebben studenten uit Rotterdam (Erasmus Universteit Rotterdam), Ghana (University of Science and Technology in Kumasi) en Polen (Graduate School of Economics) samengewerkt. Er is onder andere gewerkt met stellingen, waarbij op ‘natuurlijke’ wijze verschillende onverenigbare perspectieven zijn ontstaan. Deze stellingen hebben betrekking op ontwikkelingen van ongelijkheid in inkomen in de wereld en een stelling met als titel “Waarom zijn arme landen arm”? Vanuit verschillende landen wordt vaak met een andere bril naar dit soort vraagstukken gekeken. In een on line discussie onstaan zo als het ware natuurlijke rollen (vanuit de verschillende nationale contexten) die een stelling en de reacties van de participanten interessant maken.
Klik hier voor
een schermafdruk uit Blackboard.

Doel

Het doel van dit idee is docenten handreikingen te geven hoe je internationale samenwerking tussen instellingen kunt gebruiken om studenten vanuit verschillende (internationale) perspectieven te laten reageren op stellingen. Het is vooral interessant om stellingen te formuleren waarbij cultuurverschillen duidelijk en op een ‘natuurlijke’ manier naar voren komen.

Wanneer te gebruiken

Wanneer in een cursus culturele verschillen behandeld worden of wanneer in een cursus internationale vraagstukken worden behandeld. Over deze vraagstukken kan vanuit verschillende nationale en internationale perspectieven op een ‘natuurlijke’ manier (vanuit de culturele verschillen) worden gediscussieerd.

Aandachtspunten bij de voorbereiding

• Formuleer een stelling waarbij verschillende standpunten (vanuit verschillende culturele perspectieven) op een natuurlijke manier aan bod komen. Gebruik het idee Hoe organiseer je on line discussies met weinig studenten? en Hoe modereer je on line discussies?. In deze ideeĆ«n staat waar een goede stelling aan moet voldoen en hoe het best de bijdragen van studenten op de discussie gemodereerd kunnen worden. Voor discussies die plaatsvinden tussen studenten uit verschillende landen gelden dezelfde principes. Gebruik voor het vormgeven van internationale samenwerking het idee Hoe kun je groepen studenten van verschillende opleidingen en/of nationaliteiten on line laten samenwerken?.
• Voeg bij de stellingen aanvullend on line artikelen toe waardoor alle studenten een gelijke oriĆ«ntatiebasis hebben. De stellingen staan in de artikelen of zijn direct verbonden aan uitspraken die in de artikelen staan.
• Zet de stelling op het discussieplatform in de digitale leeromgeving en licht de stelling toe. Geef aan hoeveel bijdragen van de studenten verwacht worden, aan welke criteria de bijdragen moeten voldoen en wat de deadline is voor de bijdragen.
• Deel de studenten (bij grote groepen studenten) in in kleine groepen. Zorg dat in elke groep studenten uit de verschillende landen participeren, zodat de verschillende perspectieven binnen elke groep tot uiting kunnen komen. Zie hiervoor ook het idee Hoe organiseer je on line discussies met veel studenten? . Maak voor elke groep een apart discussieforum aan.

Aandachtspunten bij de uitvoering

• Gebruik het idee Hoe organiseer je on line discussies met weinig studenten? en Hoe modereer je on line discussies?. In deze ideeĆ«n staan concrete aandachtspunten hoe een on line discussie gemodereerd kan worden.
• Daag studenten uit om vooral ook op elkaar te reageren, omdat juist het verschil in perspectief (vanuit verschillende landen) interessant is om verder uit te diepen.
• Organiseer de discussie zodanig dat op iedere stelling vanuit de verschillende internationale (onverenigbare) perspectieven (in groepen) wordt gereageerd.
• Laat studenten de uitkomsten van de discussie vastleggen.
• Verspreid de uitkomsten onder alle studenten of laat de voorzitters van de verschillende groepen met elkaar discussiĆ«ren.

Randvoorwaarden

• Studenten uit de verschillende landen moeten toegang hebben tot een samenwerkingsruimte (met discussion board) op Internet (bijvoorbeeld Blackboard of een andere digitale leeromgeving).
• De voorzieningen (hardware, software, en internetverbindingen) moeten op alle plaatsen op orde zijn.

Zie ook

Hoe organiseer je on line discussies met weinig studenten?

Hoe modereer je on line discussies?

Hoe kun je groepen studenten van verschillende opleidingen en/of nationaliteiten on line laten samenwerken?

Hoe organiseer je on line discussies met veel studenten?

Dit idee beschrijft hoe je samen met andere docenten een cursus op afstand kunt voorbereiden.

Voorbeeld uit de praktijk

De Faculteit Bedrijfskunde van de Erasmus Universiteit Rotterdam organiseert in Bachelor 3 het Leeronderzoek/Bachelor’s thesis-trajecten. In totaal kunnen de studenten hierbij kiezen uit 34 verschillende trajecten. Deze trajecten worden door verschillende docenten begeleid. Hierdoor zijn bij de opzet en uitvoering van het Leeronderzoek/ Bachelor’s thesis veel docenten betrokken. Voor deze docenten is een aparte digitale cursusomgeving opgezet, waarin informatie aan de docenten wordt gegeven over de opzet, rooster en deadlines, opdrachten en toetsing van het leeronderzoek/ het Bachelor’s thesis traject. Het gaat hier om algemene richtlijnen waaraan elk leeronderzoek/ elk Bachelor’s thesis-traject moet voldoen. Op basis van deze algemene informatie kunnen docenten hun eigen leeronderzoek vormgeven.
Naast informatie over de cursus worden in deze digitale omgeving de evaluatiegegevens van voorgaande jaren van het leeronderzoek beschikbaar gesteld aan de docenten. De aanbevelingen uit vorige evaluatierapporten kunnen de docenten dit jaar gebruiken bij de opzet en uitvoering.
Daarnaast worden op basis van ervaringen met het gebruik van de digitale leeromgeving die vorig jaar zijn opgedaan bij de uitvoering van de leeronderzoeken voorbeelden aan docenten aangereikt over hoe ze de digitale leeromgeving kunnen inzetten bij hun eigen leeronderzoek/ het Bachelor’s thesis traject.
De coordinator van het leeronderzoek/ het Bachelor’s thesis traject heeft een cursus in de digitale leeromgeving aangemaakt en alle docenten toegevoegd. De coordinator zorgt voor de inhoudelijke vulling van de leeromgeving (zie hierboven). Via het discussion board in de digitale leeromgeving kunnen de docenten onderling ervaringen en vragen uitwisselen.
Klik hier voor een screendump uit Blackboard.

Doel

Het doel van dit idee is om een groep docenten die samen (op afstand) een cursus voorbereiden en uitvoeren handreikingen te geven hoe ze de digitale leeromgeving daarbij ter ondersteuning kunnen gebruiken.

Wanneer te gebruiken

Wanneer een (grote) groep docenten gezamenlijk (op afstand) een cursus voorbereidt. Het is aan te bevelen om – indien mogelijk – naast het gebruik van de digitale leeromgeving ook face tot face bijeenkomsten te organiseren om samen te spreken over de opzet en uitvoering van het studieonderdeel.

Aandachtspunten bij de voorbereiding

• Bedenk wat de meerwaarde zou zijn wanneer ter ondersteuning van de voorbereiding van een studieonderdeel u samen met andere docenten informatie en ideeĆ«n/ vragen uitwisselt over de opzet en uitvoering van de cursus via de digitale leeromgeving.
• Ontmoet elkaar minimaal 1 keer face to face om ideeĆ«n uit te wisselen over het studieonderdeel en het studieonderdeel verder te concretiseren (doelstellingen en opzet vak, selecteren van literatuur , samenstellen van opdrachten, beoordeling van de opdrachten, enz.). Voor verdere communicatie kan gebruik gemaakt worden van de digitale leeromgeving.
• Zorg ervoor dat 1 docent (de coordinerend docent bijvoorbeeld) verantwoordelijk is voor het up-to-date houden van de digitale cursusomgeving waarin docenten de opzet en uitvoering met elkaar bespreken.
• Voeg alle andere docenten aan de cursus toe.
• Geef duidelijk tijdens een face-to-face startmoment met alle docenten aan hoe de digitale leeromgeving bij de voorbereiding van de cursus wordt gebruikt.
• Zet in de digitale cursusomgeving alle relevante materialen, zoals informatie over de doelstellingen, werkvormen en toetsing van de cursus die gezamenlijk wordt voorbereid.
• Geef een voorbeeld van hoe Blackboard kan worden ingezet bij de cursus.
• Zet in de digitale cursusomgeving de evaluatiegegevens van vorig jaar.
• Maak in het communicatiegedeelte in een forum enkele discussiepunten aan, waarbij docenten onderling standpunten / meningen kunnen uitwisselen. Een voorbeeld van een forum is: Hoe kan ik studenten het best begeleiden bij de uitvoering van de opdracht? Of: Hoe kan ik presentaties van studenten het best begeleiden?
  Van belang is dat het item waarover gediscussieerd wordt aansluit bij de fase van de opdracht waar de studenten aan werken. De coordinator geeft in een e-mail aan wanneer welk item online besproken wordt en vraagt de andere docenten om hun inbreng.
• Maak een algemeen forum aan waar docenten hun vragen kunnen stellen aan de coordinator van de cursus. Andere docenten kunnen de vragen en antwoorden volgen.

Aandachtspunten bij de uitvoering

• Zorg er als coordinator voor dat de docenten ook via de e-mail gevraagd worden om hun eigen standpunten / meningen op het discussiegedeelte in de digitale leeromgeving te plaatsen.
• Besteed tijdens de face to face contactmomenten met de docenten aandacht aan de bijdragen die de docenten online hebben geleverd.
• Vat de bijdragen die online worden gegeven samen en trek op basis daarvan een conclusie.
• Vraag docenten eventueel gericht om een bijdrage te leveren, als dit gewenst is en ze dit nog niet hebben gedaan.

Dit IDEE beschrijft hoe je studenten op een effectieve manier gebruik kan laten maken van informatie die op internet te vinden is.

Voorbeeld uit de praktijk

Op http://intpol21.tripod.com/ is een webquest te vinden. Deze vormt een introductie op de ontwikkeling van verschillende partijen die een rol spelen bij internationale relaties. Het doel van deze webquest is een aantal fundamentele concepten te verduidelijken, te onderzoeken hoe het overheidssysteem geƫvolueerd is sinds de zeventiende eeuw en een aantal uitdagingen waar de overheid nu voor staat onder de aandacht te brengen. De webquest wordt gegeven aan de Universiteit van Sao Paulo (Braziliƫ). In de webquest moeten studenten de door de docent geselecteerde bronnen raadplegen om daarmee individueel een aantal concepten te verklaren en een essay te schrijven en vervolgens in groepjes een gezamenlijke conclusie te schrijven. Tot slot moeten de groepjes elkaars paper beoordelen.Op middelbare school Het Baken is een webquest voor 4 HAVO en hoger gebruikt, waarin leerlingen in groepjes van vier een energiezuinig huis moesten ontwerpen. Elke leerling nam hierbij de rol van koper, architect, bouwkundige of projectleider aan. Om de leerlingen te helpen heeft de leraar allerlei relevante internetbronnen geselecteerd die hij per rol geordend heeft (zie de plaatjes hieronder).

Doel

Dit IDEE geeft aan hoe je studenten op een effectieve manier gebruik laten maken van informatie die op internet te vinden is.

Wanneer te gebruiken

• Wanneer studenten een opdracht moeten uitvoeren (bijvoorbeeld scriptie/paper schrijven, ontwerp maken, mening beargumenteren), waarbij zij op een gestructureerde manier verschillende bronnen moeten raadplegen die vooral op internet te vinden zijn.
• Wanneer bij deze opdrachten niet het zoeken naar informatie, maar het verwerken ervan centraal staat.
• Wanneer je studenten hun tijd zo efficiĆ«nt mogelijk wilt laten besteden.

Aandachtspunten bij de voorbereiding

Maak een webquest

Dit kan op verschillende manieren: Via een programma, bijvoorbeeld een webeditor, Word of PowerPoint. Het meest voor de hand liggend is een webeditor (bijvoorbeeld Frontpage), omdat hiermee op eenvoudige wijze internetpagina’s mee gemaakt kunnen worden. De webquest moet uit vijf onderliggende pagina’s / secties bestaan: (1) Inleiding; (2) Opdracht; (3) Werkwijze; (4) Bronnen; (5) Beoordeling.

Tips

• In de bijlage is een sjabloon voor een webquest toegevoegd waaraan je enkel nog de inhoud moet toevoegen. Er is tevens een handleiding opgenomen waarin stap voor stap staat beschreven hoe je het sjabloon kunt openen en bewerken. Je kunt ook het sjabloon uit de bijlage gebruiken.
• Andere sjablonen van webquests zijn te vinden op http://www.webkwestie.nl/webkwestie maken.htm (Nederlands) en op http://webquest.sdsu.edu/LessonTemplate.html (Engels)
• In een digitale leeromgeving kan een webquest op verschillende manieren gemaakt worden:

Via een Learning Unit (Blackboard):

• Maak een Learning Unit aan die de naam heeft van de opdracht. Geef een korte beschrijving van wat studenten in de Learning Unit kunnen vinden en kies voor een niet-sequentiĆ«le presentatie van de Learning Unit.
• Maak in de Learning Unit vijf items aan met de volgende namen en volgorde: (1) Inleiding; (2) Opdracht; (3) Werkwijze; (4) Bronnen; (5) Beoordeling en voeg bij elk item de bijbehorende tekst toe (zie stappen 2 t/m 6).

Via folders (alle DLO’s):

• Maak een folder aan met de naam van de opdracht en geef een korte beschrijving van wat studenten in deze folder kunnen vinden.
• Maak in die folder vijf andere folders aan met de volgende namen en volgorde: (1) Inleiding; (2) Opdracht; (3) Werkwijze; (4) Bronnen; (5) Beoordeling en geef een korte beschrijving van wat studenten in elke folder kunnen vinden.
• Plaats in elke folder de bijbehorende tekst (zie stappen 2 t/m 5).

1. Wek in de Inleiding de interesse van de student en leg het doel van de opdracht uit.

De interesse van studenten kan worden gewekt door de opdracht aan te laten sluiten op de voorkennis van studenten, de webquest visueel aantrekkelijk te laten maken, de opdracht te relateren aan andere aspecten van het vak.

2. Geef onder Opdracht een korte beschrijving van wat studenten moeten doen.

Je kunt studenten bijvoorbeeld informatie laten verzamelen die ze vervolgens moeten gebruiken voor:

• het oplossen van een bepaald probleem;
• het schrijven van een paper;
• het maken van een bepaald ontwerp;
• het beargumenteren van een bepaald standpunt in een rollenspel of een on line discussie;
• het analyseren van gegevens;
• het beoordelen en toetsen van informatie en hypothesen.

Geef ook aan of studenten de opdracht individueel of in groepjes moeten uitvoeren en (indien in groepjes) hoe de groepjes samengesteld worden.

3.
Beschrijf onder Werkwijze hoe studenten de opdracht moeten uitvoeren.

Werk daarvoor de algemene beschrijving onder Opdracht uit in concrete deelopdrachten en verbind hier indien nodig concrete deadlines aan. Je kunt hier ook aanwijzingen geven over hoe de studenten de verzamelde informatie moeten verwerken/archiveren. Tevens kun je studenten hier instrumenten aanreiken die behulpzaam zijn bij de verdere opdracht. Geef tot slot aan waar, wanneer en hoe de opdracht ingeleverd moet worden.

4. Selecteer minimaal vijf interbronnen die zeer relevante informatie bevatten.

Behalve internetbronnen kunnen hier ook niet-digitale bronnen worden genoemd. Het selecteren van goede interessante bronnen kan studenten motiveren en bespaart hen veel tijd, zodat ze zich volledig op de verwerking van de gevonden informatie kunnen richten. Orden de hyperlinks en overige bronnen onder Bronnen.

Tips

• Geef bij elke bron een korte beschrijving van wat studenten op die site kunnen vinden.
• Zorg er voor dat er een nieuw window wordt geopend wanneer op de hyperlink geklikt wordt, zodat studenten niet de opdracht ?kwijtraken?.
• Selecteer een aantal tegenstrijdige bronnen. Op die manier kun je achterhalen hoe studenten de bronnen interpreteren.

5. Beschrijf onder Beoordeling de criteria waaraan de opdrachtuitwerking moet voldoen.

Geef ook aan of de opdrachtuitwerking (indien studenten de opdracht gezamenlijk mogen uitwerken) individueel of als groep beoordeeld wordt en door de docenten en/of door medestudenten beoordeeld wordt (peer review).

Aandachtspunten bij de uitvoering

• Plaats de webquest on line, bijvoorbeeld in de digitale leeromgeving.
• Informeer studenten over waar zij de webquest kunnen vinden en welke deadlines er aan de (deel)opdrachten verbonden zijn.
• Laat studenten hun resultaten op de een of andere manier rapporteren, bijvoorbeeld via het ‘discussion board’, ‘digital dropbox’ en elkaars resultaten eventueel ook beoordelen (zie ook: Hoe laat je studenten feedback aan elkaar geven via een discussieplatform?).

Achtergrondinformatie

• http://webquest.sdsu.edu: Engelstalige website over webquests)
• http://www.webkwestie.nl/: Veel Nederlandstalige info over webquests, met kant en klare webquests voor het PO, VO en BVE.
• http://webquest.sdsu.edu/LessonTemplate.html: hier kun je sjablonen downloaden voor een webquest.
• Een Nederlandstalige site met uitgebreide informatie over webquests is: http://www.digischool.nl/gs/community/histoforum/webquests/webquests.html.

Ontleend aan

http://www.webkwestie.nl/

Zie ook

Hoe leer je studenten verwijzen naar en citeren van elektronische informatiebronnen?

Aan welke structuur-technologische criteria moet mijn on line vak/cursus voldoen? (II)

Bijlagen

• Handleiding webquest sjabloon
• Webquest sjabloon
• Voorbeeld webquest 2a
• Voorbeeld webquest 2b

Tips en ideeƫn om colleges virtueel voor te bereiden met studenten, zodat in de colleges op een zinvolle en interactieve manier met de studenten kan worden gewerkt om de leerdoelen te bereiken.

Voorbeeld uit de praktijk

Op de TU Delft is het keuzevak ‘E-learning in Corporations’ ontwikkeld waarin actieve deelname van de studenten erg belangrijk gevonden wordt. Het vak wordt niet afgesloten met een tentamen of andere toets, maar de studenten worden beoordeeld op een groepsopdracht (50%, waarbij de kwaliteit van het eindproduct en de groepsdynamiek worden beoordeeld), een individueel reflectief essay (30%) en de mate waarin zij zinvolle bijdragen leveren aan elkaar en de leeromgeving (20%). Om de studenten te helpen voor de colleges vast na te denken over een onderwerp, worden voorafgaand aan sommige colleges opdrachten gegeven. Een van die opdrachten was om een aantal voorbeelden van on-line cursussen te bekijken, om vervolgens een reactie te geven op de stelling
‘On-line cursussen kunnen concurreren met F2F cursussen’. Om de discussie in het college te bevorderen, zijn opvallende uitspraken van studenten op een sheet gezet en werd gevraagd of de betreffende student een toelichting kon geven en vervolgens of de anderen het ermee eens waren. Dit werkte erg goed: er ontstonden levendige discussies en doordat de docent de discussie leidde, kon men gezamenlijk tot nieuwe inzichten komen.

Hiernaast een voorbeeld van een discussie met een expert voorafgaand aan een college. Studenten hebben de opdracht gekregen om te reageren op een stelling van een expert ter voorbereiding op het college.

Doel

Docenten suggesties geven over hoe tijdens colleges gericht van gedachten kan worden gewisseld over een onderwerp, door studenten vooraf online te laten reageren op een onderwerp.

Wanneer te gebruiken

Deze virtuele voorbereiding kan gebruikt worden door docenten, die willen dat de studenten voorafgaand aan een college nadenken over een bepaald onderwerp om hier zinvolle dingen over te kunnen zeggen tijdens het college. Hierdoor kunnen alle studenten bij de discussie tijdens het college worden betrokken.
De virtuele voorbereiding is ook relevant voor studenten die een deeltijdopleiding volgen en niet vaak colleges kunnen volgen.

Aandachtspunten bij de uitvoering

• Zorg ervoor, dat de studenten voldoende informatie over het onderwerp kunnen vinden, hetzij in de digitale leeromgeving, hetzij op het internet (geef URL’s)
• Geef een concrete opdracht; zorg ervoor dat studenten precies weten wat van hen wordt verwacht
• Geef een duidelijke deadline en stimuleer studenten zoveel mogelijk om zich aan deze deadline te houden
• Zet opvallende uitspraken van studenten op Powerpoint sheets en documenteer goed voor jezelf welke student wat heeft beweerd
• Vraag op de uitspraken toelichting van de betrokken student en vraag of andere studenten het ermee eens zijn en waarom (niet).
• Plan dit discussie gedeelte van het college goed en houd de tijd in de gaten.
• Hou goed de rode draad van de discussie in de gaten en kap zijpaden af.

ICT biedt de mogelijkheid om groepen studenten van verschillende opleidingen en/of nationaliteiten op afstand met elkaar samen te laten werken.

Voorbeeld uit de praktijk

Bij de TU Delft is bij het vak ‘Engineering Design Problem Formulation’ gegeven voor studenten van de TU Delft en van Carnegie Mellon University in the USA. Daarbij is gebruik gemaakt van verschillende grouptools, zoals NetMeeting, een web-gebaseerd document management systeem en videoconferencing. Er zijn groepen samengesteld van studenten, waarbij in elke groep studenten elke universiteit was vertegenwoordigd. Deze groepen moesten gezamenlijk producten ontwerpen. In een eerste kleine opdracht leren de studenten te wennen aan de theorie en aan het werken in internationale groepen ‘op afstand’. In de tweede en derde opdracht worden de studenten geacht het ‘op afstand’ samenwerken onder de knie te hebben, en wordt de inhoud van de opdracht belangrijker. Studenten werd gevraagd om samen problemen te bediscussiĆ«ren, vragen aan elkaar te stellen en kritiek op elkaars werk te leveren. Voor alle opdrachten zijn ‘group tools’ als NetMeeting (incl. webcam), een web-gebaseerd document management systeem (LIRE’), email en de telefoon belangrijke en nuttige tools.

Doel

Docenten ideeƫn geven welke digitale communicatiemiddelen zij voor (internationaal) online groepswerk kunnen inzetten om een vak tegelijkertijd op twee verschillende locaties te geven, in samenwerking met docenten van andere locaties.

Wanneer te gebruiken

• Als je studenten vanuit een ander (cultureel) perspectief wilt leren kijken, bv. van een soortgelijke opleiding uit eigen land of uit een ander land.
• Als je gebruik wilt maken van de expertise van andere opleidingen.
• Als je studenten wilt leren samenwerken op afstand.
• Als je het groepsproces van studenten wilt vastleggen en analyseren.

Aandachtspunten bij de voorbereiding

• Overleg met de docent op de andere locatie hoe het vak op die locatie gegeven wordt. Dat kan m.b.v. email, chat, videoconferencing, telefonische communicatie of een werkbezoek. Aandachtspunten zijn:
  • Leerdoelen
  • Beoordeling: wie beoordeelt welke student en welke criteria worden daarbij gesteld?
  • Afstemming van de roosters en deadlines (de indeling van een collegejaar verschilt van land tot land. Zo wordt in Nederland veel gewerkt met een trimestersysteem, terwijl in Zweden vakken in slechts een paar weken en erg intensief worden gegeven. Dit kan het plannen van activiteiten en deadlines lastig maken).
  • Hoeveel tijd moeten studenten aan het vak besteden?
  • Welke examenreglementen van kracht zijn bij de verschillende universiteiten. Dit voorkomt dat u het vak al helemaal georganiseerd hebt, maar dat het niet gegeven kan worden, omdat het niet voldoet aan de examenreglementen. Bij internationale samenwerking zijn bij de beoordeling van het werk van studenten ook cultuurverschillen van belang. In Engeland is het bijvoorbeeld verplicht dat elk cijfer dat aan de Engelse studenten wordt toegekend door de docent schriftelijk onderbouwd wordt). Elk cijfer van iedere individuele student wordt daar namelijk gecontroleerd door een externe examinator.
  • Hoe computervaardig de betrokken docenten en studenten zijn en hoe het zit met de technische voorzieningen (aantal computers, toegang tot internet en de bandbreedte). Vooral bij internationale samenwerking doen zich op dit gebied nog wel eens problemen voor.
  • Indien gebruik gemaakt wordt van een digitale leeromgeving: welke leeromgeving gebruikt gaat worden en op welke server deze draait. Vragen die beantwoord moeten worden zijn: hoe kunnen de docenten en studenten toegang krijgen tot de leeromgeving. Moet voor elke deelnemer bijvoorbeeld een apart account aangemaakt worden en wat zijn de regels hiervoor bij de instelling die de digitale leeromgeving beheert? Weten de betrokken docenten en studenten hoe de leeromgeving werkt?
• Bereid studenten uitgebreid voor op hoe zij op afstand kunnen/moeten samenwerken. Maak bv. afspraken over: hoe snel studenten op elkaar reageren, wanneer beide ‘kanten’ aan het werk zijn/bereikbaar zijn (tijdsverschil!).
• Maak gebruik van geschikte communicatietools die niet alleen gericht zijn op de inhoud van het werk, maar ook op sociale interactie tussen studenten, bijv. Webcam, NetMeeting. Bij gebruik van de Webcam kan je elkaar ook zien en heb je het voordeel van non-verbale communicatie.

Tips

• Het is ook mogelijk om videoconferencing te gebruiken. Over hoe videoconferencing het best kan worden toegepast, bv. in kleinere groepen of om een expert om advies te vragen, is meer te vinden in een aantal specifieke IDEEĆ«n over videoconferencing.
• Bedenk hoe u andere werkvormen kunt inzetten die boven het gebruik van ICT tools rijzen. Om samenwerking te stimuleren kan bijvoorbeeld een student de rol van de docent aannemen of u kunt studenten elkaar feedback laten geven.
• Bedenk hoe je actieve participatie van alle studenten kunt stimuleren, bv. welke voorwaarden stel je aan regelmatige deelname, of geef studenten conflicterende stellingen.
• Neem alle colleges op video op. De docenten van de andere opleiding kunnen deze ter voorbereiding van hun eigen college bekijken of aan studenten laten zien om er daarna over te discussiĆ«ren. Vanzelfsprekend geldt hierbij wel dat de taal op elkaar moet worden afgestemd.
• Zorg ervoor dat alle mededelingen over het vak, collegesheets, filmpjes e.d. op een DLO gepost kunnen worden.

Aandachtspunten bij de uitvoering

• Verzin opdrachten om groepen kennis te laten maken met hun overzeese collega’s. Denk hiervoor aan: foto’s inscannen en in de DLO zetten met wat persoonlijke informatie, e-mail/chat-uitwisseling waarin studenten elkaar vragen kunnen stellen, kennismakingsopdrachten (voorbeelden noemen) e.d.
• Spreek regelmatig met je eigen studenten over de knelpunten die zij tegenkomen. Een voorbeeld: uit ervaring blijkt dat studenten het moeilijk vinden om tot werkbare afspraken te komen met hun buitenlandse collega’s. Vraag daarom regelmatig aan de groepen hoe samenwerking verloopt en verzin samen oplossingen. Dit kan bv. ook door, onder leiding van docenten van beide opleidingen, een discussie in het discussieboard aan te gaan. Beide kanten kunnen dan hun ergernissen aangeven en oplossingen aandragen. Verder blijkt uit de praktijk dat bij internationale samenwerking lang niet alle studenten even goed Engels spreken en dat sommige studenten het eng te vinden om in het Engels te spreken en te schrijven.
• Bouw extra tijd in voor het geven van online commentaar. Het duurt langer om ‘met zorg’ commentaar in te typen dan face to face persoonlijke interactie. Het is daarom van belang om duidelijk en genuanceerd je commentaar te verwoorden. Geadviseerd wordt om de beoordeling van docenten van beide instellingen op elkaar af te stemmen, zodat rekening gehouden kan worden met de verschillen in manieren van beoordelen tussen landen/opleidingen. Dit kan bv. door docenten via e-mail, chat of video-conferencing eerst commentaren te laten uitwisselen, waarop zij uiteindelijk een overeengestemde beoordeling naar de groep sturen.
• ICT tools hebben verschillende functies. Blackboard bijvoorbeeld nodigt vooral uit tot technische en organisatorische oplossingen. Veel ICT tools zijn vooral gericht op het overbrengen van inhoud. Ga na in hoeverre gebruik gemaakt kan worden van mogelijkheden tot sociale interactie: bv. kennismaking, feedback op elkaar, het creĆ«ren van een sociaal aanwezigheidsgevoel.

Tips

• Begin de voorbereidingen op tijd. In het besproken voorbeeld is men een jaar van te voren langzaam begonnen. Het rooster werd in juni ontwikkeld, terwijl het vak in september begon.
• Een link in de DLO naar bv. een FTP server kan nodig zijn voor het uitwisselen van grote documenten. Dit is overigens alleen nuttig bij extreem grote programma’s.
• Voor synchrone communicatie is de ‘virtuele klas’ (zoals bv. in Blackboard) in de DLO nuttig. Stel wel strikte regels op over de tijdstippen waarop hierin wordt samengewerkt.

Randvoorwaarden

Gebruik samenwerkingssoftware (collaboration software), zoals NetMeeting, Blackboard, en eventueel een Webcam.

Achtergrondinformatie

• Herder, P.M.; E. Subrahmanian, S. Talukdar, A.L. Turk and A.W. Westerberg (2002), The use of video-taped lectures and web-based communications in teaching: a distance-teaching and cross-Atlantic collaboration experiment, European Journal of Engineering Education, Vol. 27, No. 1, pp. 39-48.
• Herder, P.M.; E. Subrahmanian, A.L. Turk and A.W. Westerberg (2001). The use of video taped lectures and web based communications in teaching: a distance teaching and cross-Atlantic collaboration experiment, In: I. Gibson (ed.), Proceedings of the SEFI Seminar on Information and Communication Technologies in Engineering Education, Galway, Ireland, ISBN 2-87352-042-6, pp. 143-153.
• Herder, P.M.; E. Subrahmanian, A.L. Turk and A.W. Westerberg (2002). ‘Communication and Collaborative Learning in a Cross-Atlantic Design Course’. Proceedings Ed-Media2002, Denver, June, pp. 783-788.

Auteur(s): Leonie Meijerink;Maarten van de Ven Organisatie(s): TU Delft, Sectie EduTec en Erasmus Universiteit Rotterdam, OECR

Door analyse van de kwaliteit van een meerkeuzetoets verkrijgt de docent een beeld van moeilijkheidsgraad, validiteit en betrouwbaarheid van een aangeboden toets. Deze informatie draagt bij aan een juiste beoordeling van de behaalde resultaten en kan worden gebruikt ter verbetering van volgende toetsen.

Voorbeeld uit de praktijk

Voor het analyseren van de kwaliteit van een gegeven toets kan gebruik worden gemaakt van analyse-software. Een voorbeeld hiervan is Sonate. Deze dienst is ontwikkeld aan de TU Delft om docenten geavanceerde instrumenten te bieden die itemanalyses en toetsanalyses kunnen uitvoeren. Sonate bestaat uit twee delen, de schrapkaartverwerking en de analyse software. Als docent hoeft u alleen de gegevens aan te leveren en krijgt een uitdraai met de statische verwerking. Het programma draait op Windows 95, 98 en NT.
Voorbeelden van de analyse die het programma uitvoert:

Doel

Docent leren hoe zij kwaliteits analyses online kunnen (laten) uitvoeren na afname van een meerkeuze toets, waardoor zij leren waarop zij een volgende keer de toets kunnen verbeteren en waarop zij beoordelingen dienen aan te passen.

Wanneer te gebruiken

• Als u de kwaliteit van uw meerkeuze toets wilt beoordelen.
• Als u richtlijnen wilt hebben om een volgende keer een kwalitatief betere toets te geven.
• Als u niet tevreden bent over de resultaten van studenten en de beoordeling wilt aanpassen n.a.v. kwalitatief slechte vragen.

Aandachtspunten bij de uitvoering

Uitgangspunt is dat u een toets heeft opgesteld en afgenomen en een bestand met data heeft van de resultaten van studenten op de toets. Met behulp van dit bestand gaat u de kwaliteit van uw toets beoordelen:
(Let op: in dit IDEE wordt van enige statistische voorkennis uitgegaan).

1. Voer met behulp van software een itemanalyse uit.

   Een itemanalyse geeft antwoorden op vragen als: hoe moeilijk was een bepaald item (ofwel vraag), hoe zijn antwoorden over foute alternatieven verdeeld en hoe discrimineert de vraag tussen goede en slechte studenten.

   Software voor het uitvoeren van de itemanalyse

   • De software voor het uitvoeren van een itemanalyse is bij veel instellingen beschikbaar, bv. bij de onderwijskundige centra. Een voorbeeld is Sonate, de software die de TU Delft ter beschikking heeft voor docenten. (zie ?uit de praktijk?).
   • U kunt ook formules voor het berekenen van de itemanalyse opnemen in een eigen programma, bv. Excel. Voor formules kunt u gebruik maken van een online boek van de Gruijter over toetsanalyse op http://www.iclon.leidenuniv.nl/Toetsing en Toetsanalyse.pdf

   Itemanalyse
   Bereken:

   • moeilijkheidsgraad (p-waarde; het percentage goede antwoorden, items afzonderlijk en hele toets)
   • aantrekkelijkheid van afleiders: a-waarde (bv. zijn het goede studenten die items goed beantwoord hebben).
   • onderscheidend vermogen (Rit waarde: discriminatie tussen goede en slechte studenten)

   Zie voor een specifieke toelichting het online boek van de Gruijter.
   (Online toetsanalyse instrumenten, zoals Sonate, kunnen leiden deze waarden direct af uit de door u aangeleverde gegevens).

2. Bepaal voor ieder item of die voldoet aan de gewenste kwaliteit

   Interpreteer de waarden die u bij 1 gevonden heeft. Hieronder wordt hierover kort iets verteld, voor meer informatie verwijzen wij u naar het online boek van de Gruijter of in de online Sonate handleiding.

   • Moeilijkheidsgraad: Een hoge p-waarde kan betekenen dat u een ijverige groep studenten had, dat het gegeven onderwijs zeer effectief was of dat de vraag te makkelijk was.
   • Afleiders: De a-waarde geeft aan hoe antwoorden over foute alternatieven verdeeld zijn. Als de percentages studenten die een fout antwoord gekozen hebben te laag of te hoog zijn dan heeft de vraag gefaald.
   • Onderscheidend vermogen: de item rest correlatie (Rir-waarde) discrimeert tussen antwoorden die goede en slechte studenten hebben gegeven. Deze waarde kan worden beinvloed door: de mate waarin toets en item hetzelfde meten, de betrouwbaarheid van de score en de betrouwbaarheid van het item (bv. onduidelijke vraagstelling, onbetwistbaarheid van het antwoord).

3. Verwijder vragen die niet aan de gewenste kwaliteit voldoen.

   Na dit gedaan te hebben kunnen waarden uit bovenstaande vragen veranderd zijn. Herhaal daarom stappen 1 t/m 3.

4. Voer met behulp van de software een toetsanalyse uit.

   Dit is een analyse over alle vragen in plaats van per vraag.
   Bereken hiervoor:

   • de gemiddelde moeilijkheidsgraad (gemiddelde p-waarde)
   • de betrouwbaarheid (verschillen in prestaties gemeten in de Spreidingsgraad)

5. Bepaal voor de toets als geheel of die voldoet aan de kwaliteit.

   Interpreteer de waarden die u bij 4 gevonden heeft. Hieronder wordt hierover kort iets verteld, voor meer informatie verwijzen wij u naar het online boek van de Gruijter of in de online Sonate handleiding.

   • De gemiddelde moeilijkheidsgraad: in het ideale geval is de gemiddelde p-waarde 0,5, wat betekent dat de goede helft studenten de toets goed heeft gemaakt en de zwakke studenten beantwoorden de vraag fout. Bij een te hoge waarde was de toets te makkelijk of heeft de docent perfect onderwijs verzorgd.
   • De betrouwbaarheid: De verschillen in prestaties van studenten kunnen worden afgeleid uit de Spreidingsgraad. Als deze kleiner dan 0,10 is dan heeft u een homogene groep studenten of heeft u goed onderwijs aan alle studenten verzorgd. Let op: het is moeilijk om de werkelijke verschillen te achterhalen, want vaak is er sprake van toevallige invloeden, zoals; dubbelzinnig formuleren van vragen, ingewikkelde vraagstelling, hele korte toets die niet alle onderwerpen behandeld. Het is dan ook belangrijk om deze factoren al bij het formuleren van de vragen in acht te houden.

   Tip: Door de bovengenoemde itemanalyses te waarderen op een schaal van 1 tot 5 en een gemiddelde te berekenen kunt u een cijfer geven aan uw totale toets. Dit wordt bv. door Sonate automatisch gegenereerd, waardoor u direct een indruk krijgt van de algehele kwaliteit van uw toets.

6. Zet met behulp van de software de scores om in cijfers en maak de cijfers bekend.

   U heeft ontdekt welke vragen van onvoldoende kwaliteit waren en kunt hierop de beoordeling van studenten aanpassen. Dit kan door:

   • de vraag niet mee te laten wegen in de beoordeling
   • de vraag minder streng te beoordelen (hoger waarderen)

7. Pas een volgende keer dat u dezelfde toets moet geven de vragen van onvoldoende kwaliteit aan.

   U heeft gezien welk type vragen van goede kwaliteit zijn. Deze kunt u in aangepaste vorm behouden. Aanpassing is wel nodig om te voorkomen dat studenten voorgaande tentamens achterhalen en copieren. Slechte vragen schrapt u uit de toets en over het onderwerp bedenkt u een nieuwe vraag.

Achtergrondinformatie

Handleiding: Sonate, verwerking en analyse van toetsen, ICTO Expertise Centrum, TU Delft.

http://www.icto.tudelft.nl/sonate/Informatie/SonateBeschrijving.html

http://www.iclon.leidenuniv.nl/Toetsing en Toetsanalyse.pdf

Online boek (pdf-formaat) van de Gruijter, D. over toetsing en toetsanalyse. Onderwerpen zijn o.a.: moeilijkheidsgraad, aantrekkelijkheid van afleiders, Rit waarde en betrouwbaarheid.

Ontleend aan

http://www.icto.tudelft.nl/sonate/Informatie/SonateBeschrijving.html