Klaslokaalexperimenten zijn populair en het is bovendien verplicht voor economiedocenten in de bovenbouw van havo en vwo om ze uit te voeren. Er is echter weinig bekend over het effect van zulke experimenten op havo en vwo, want de meeste literatuur hierover betreft de ervaringen in het tertiair onderwijs. Reden om ook eens kritisch naar het secundair onderwijs te kijken, en wel aan de hand van een analyse van een experiment waarbij vrijwillige bijdragen aan een collectief goed worden gesimuleerd.
Edward Hastings Chamberlin (1899–1967) is een van de grondleggers van de theorie van monopolistische concurrentie. Om zijn theorie toe te lichten liet hij zijn studenten op Harvard een spel spelen. Daarbij was iedereen vrager of aanbieder van hetzelfde, fictieve product. Vragers kregen een kaart met daarop hun betalingsbereidheid en op de kaarten van aanbieders stonden hun kosten. Vervolgens moesten de studenten door de collegezaal lopen en proberen met een andere student tot overeenstemming te komen over de prijs. De winst voor de koper was zijn betalingsbereidheid minus de prijs, terwijl de prijs minus de kosten de winst voor de verkoper was. De overeengekomen prijzen werden geregistreerd. Na afloop moesten de studenten deze prijzen bestuderen en verklaren. Het college eindigde met een beschouwing van Chamberlin (1948) waarin hij de uitkomsten van het spel interpreteerde. Een nieuwe vorm van economieonderwijs was geboren: klaslokaalexperimenten. Paradoxaal genoeg gebruikte Chamberlin het klaslokaalexperiment om te laten zien dat een efficiënt evenwicht niet tot stand komt. Dat kwam doordat in zijn versie van dit experiment de overeengekomen prijzen niet openbaar werden gemaakt. Vernon Smith, Nobelprijswinnaar en leerling van Chamberlin, herhaalde het klaslokaalexperiment waarbij de overeengekomen prijzen wel openbaar werden gemaakt, met als gevolg dat de markt snel convergeerde naar het efficiënte evenwicht (Smith, 1962).
Inmiddels zijn we zestig jaar verder en hebben klaslokaalexperimenten hun weg gevonden naar het tertiair onderwijs. In menig college micro-economie of industriële organisatie zijn klaslokaalexperimenten een vast onderdeel. Een belangrijke reden voor deze populariteit is het bewezen nut van klaslokaalexperimenten: studenten die aan zulke experimenten meegedaan hebben, blijken de stof gemiddeld genomen beter te beheersen (zie bijvoorbeeld Dickie (2006); verderop in dit preadvies wordt de betreffende literatuur besproken). Deze wetenschap heeft ertoe geleid dat klaslokaalexperimenten onderdeel zijn geworden van het schoolexamen Economie in het voortgezet onderwijs.
Het bewijs dat klaslokaalexperimenten het economieonderwijs effectief ondersteunen is vooralsnog gestoeld op ervaringen met studenten op hogescholen en universiteiten. Bovendien is deze literatuur nagenoeg uitsluitend gebaseerd op een andere context dan de Nederlandse. Er zijn genoeg redenen om die resultaten niet zonder meer van toepassing te verklaren op de lespraktijk in de bovenbouw van havo en vwo. Leerlingen op hogescholen en universiteiten spenderen veel meer van hun studietijd aan economische vakken, hebben zichzelf sterker geselecteerd voor het vak Economie, bevinden zich in een andere levensfase met bijbehorende studie-attitude en zo verder. In hoeverre deze verschillen de effectiviteit van klaslokaalexperimenten in het voortgezet onderwijs beperken of versterken, is het onderwerp van deze bijdrage.
Ieder jaar beginnen in Nederland enkele duizenden studenten aan een academische economiestudie. Aan het begin van hun opleiding staan deze studenten nog met anderhalf been in het voortgezet onderwijs; ze hebben hun centraal schriftelijk eindexamen enkele maanden eerder afgelegd, en hebben sinds die tijd nog geen academisch onderwijs genoten. Voor onze bijdrage hebben we de invloed van een klaslokaalexperiment op de leerprestaties van deze groep studenten aan de Utrecht University School of Economics onderzocht, als benadering voor de leerprestaties van leerlingen in het voortgezet onderwijs. Hoewel deze benadering zeker niet perfect is, denken wij wel dat de zo verkregen inzichten iets meer kunnen zeggen over de effectiviteit van het gebruik van klaslokaalexperimenten in het voortgezet onderwijs. Tijdens hun introductieweek kregen de nieuwe eerstejaarsstudenten een college over publieke goederen. Daarbij werd het gehele cohort ingedeeld in tien groepen van vergelijkbare grootte. Het college was zo veel mogelijk gestandaardiseerd: deelnemers kregen dezelfde informatie over publieke goederen uitgedeeld, in iedere groep werd dezelfde mooc (massive open online course) vertoond, dezelfde drie vragen waren de basis voor een plenaire discussie onder leiding van een docent, en de docenten zelf hadden vooraf dezelfde centrale instructie gekregen. Na afloop moest iedere deelnemer dezelfde vragen beantwoorden. De helft van alle deelnemers nam daarnaast aan het begin van het college deel aan een klaslokaalexperiment aangaande publieke goederen. Iedere docent had een groep met en zonder klaslokaalexperiment toebedeeld gekregen.
Deze onderzoeksopzet beantwoordt zodoende de volgende vraag: wat is de toegevoegde waarde van een klaslokaalexperiment? De resultaten laten zien dat zo’n experiment een bescheiden positief effect heeft. Namelijk: de deelnemers scoren zwak significant beter op een van de twee toetsvragen die specifiek over publieke goederen gaan, terwijl ze op geen enkele andere toetsvraag significant slechter scoren. Wij interpreteren dit resultaat als een eerste aanwijzing dat de klaslokaalexperimenten ook een positieve leeropbrengst in het voortgezet onderwijs kunnen hebben. Anders gezegd: klaslokaalexperimenten in het voortgezet onderwijs zijn geen verspilde moeite.
In de volgende paragraaf worden zulke klaslokaalexperimenten besproken, in de derde paragraaf wordt de onderzoeksopzet toegelicht en vervolgens worden de onderzoeksresultaten besproken. We sluiten af met een aantal conclusies.
Klaslokaalexperimenten in bovenbouw havo en vwo
In deze paragraaf komen drie vragen aan de orde: Wat is een klaslokaalexperiment? Wat is hun plaats in het economieonderwijs in de bovenbouw havo en vwo? Wat zegt de wetenschappelijke literatuur over de (extra) leeropbrengst van zulke experimenten?
Wat is een klaslokaalexperiment?
In hedendaagse economielessen kan er heel wat gebeuren. Aangemoedigd door het immer uitdijende aanbod van uitdagend lesmateriaal in combinatie met de technologische inrichting van een modern klaslokaal, is menig lesuur een constellatie van klassikale instructie, de vertoning van internetfilmpjes, aanvullende oefeningen in de digitale leeromgeving van de gebruikte lesmethode, en plenaire discussies over de economische actualiteit. Tegenwoordig moeten veel economiedocenten ook gebruik maken van klaslokaalexperimenten: “een interactieve werkvorm waarbij deelnemers handelen binnen kaders die voor iedereen bekend zijn” (Hinloopen, 2007), al was het maar omdat het een vast onderdeel is van het schoolexamen. De interactie bij een klaslokaalexperiment omvat niet alleen de relatie tussen de speler en de spelregels, maar ook de relatie tussen spelers onderling. Juist deze interacties brengen economische boekenwijsheden tot leven. Zo laat het klaslokaalexperiment van Chamberlin (1948), in de versie van Smith (1962), zien dat het door de collectieve vraag-en-aanbod voorspelde evenwicht bereikt wordt met een betrekkelijk klein aantal deelnemers (Holt, 1996). Het blijkt dat vooral de gedeelde gedachte over de evenwichtsprijs het handelen van individuele spelers leidt.
De uitvoering van een klaslokaalexperiment begint met het klassikaal oplezen van de instructies voor de handel die gesimuleerd wordt; de spelregels van het experiment (in kader 1 staan de handelsinstructies van het klaslokaalexperiment dat gebruikt is voor het onderzoek zoals beschreven in deze bijdrage). Nadat iedereen vragen heeft kunnen stellen over de regels van het spel kan het spel beginnen. Een spelleider (de docent) ziet toe op een ordentelijk verloop en vervult zijn centrale rol voor zover het spel daarom vraagt. In bijvoorbeeld het spel van Smith (1962) moet de spelleider controleren of de prijs van iedere individuele transactie niet hoger is dan de betalingsbereidheid van de vrager en niet lager dan de kosten van de aanbieder. Een klaslokaalexperiment kan worden afgesloten met de bepaling van de winnaar. Dat kan de deelnemer zijn die de beste prestatie geleverd heeft. De spelleider kan de winnaar ook willekeurig selecteren. De beloning voor de winnaar kan een vaste prijs zijn (zoals een chocoladereep of een appel) of gerelateerd worden aan de prestaties van de betrokken deelnemer (zoals uitbetaling van zijn score of een deel daarvan). Een klaslokaalexperiment wordt afgesloten met een plenaire discussie over de speluitkomsten, waarbij de spelsituatie vertaald wordt naar de praktijk van een economische context. Dit kan worden aangevuld met vervolgopdrachten die deelnemers voor een latere les moeten voorbereiden.
Klaslokaalexperimenten in het voortgezet onderwijs
In 2005 verscheen het rapport van de tweede commissie-Teulings: The wealth of education (Teulings, 2005). Daarin worden verregaande voorstellen geformuleerd over de herinrichting van het economieonderwijs in de bovenbouw havo en vwo. De leidende gedachte daarbij is dat het examenprogramma opgebouwd moet worden rond acht centrale concepten: schaarste; ruil; markt; ruilen over de tijd; samenwerken en onderhandelen; risico en informatie; economische groei; en goede tijden, slechte tijden. Leerlingen moeten die concepten vervolgens gebruiken om verschillende contexten te kunnen duiden.
Daarnaast doet de commissie het voorstel om voor het schoolexamen een nieuw didactisch instrument te gebruiken, namelijk klaslokaalexperimenten. “Experimenten kunnen de leerstof grijpbaar maken. Vraag- en aanbodcurves, concurrentie en consumenten- en producentensurplus zijn abstracte begrippen en wanneer toegepast in een experiment leidt dat tot strategisch inzicht. De kans is ook groter dat de stof langer beklijft wanneer de begrippen niet alleen figuren op papier of schoolbord blijven. Daarnaast hebben experimenten het voordeel dat men ziet welke grenzen aan de verklaringskracht van theoretische concepten gesteld kunnen worden.” (Teulings, 2005, p. 34). In 2007 is het rapport van Teulings omgezet naar de eindtermen van het centraal schriftelijk eindexamen havo en vwo, en is de aanbeveling overgenomen om klaslokaalexperimenten in het voortgezet onderwijs in te voeren. Inmiddels zijn er voor alle acht concepten van het examenprogramma klaslokaalexperimenten voorhanden, die geschreven zijn voor de lespraktijk in bovenbouw havo en vwo (Hinloopen, 2010; Stichting de Vrolijke Economen, 2016).
De leeropbrengst van klaslokaalexperimenten
Studenten en docenten lijken plezier te ontlenen aan klaslokaalexperimenten:
“We have tried it and it works (…) they [students] are enthusiastic about what they are doing. They love getting involved with markets and then figuring out what happened rather than simply being lectured at. They have fun. As instructors we feel the same way. This classroom experience is a lot more rewarding than trying to interest sleepy students in abstractions with which they have no experience.”
Bergstrom en Miller (2000)
Dit plezier kan een motiverende werking hebben die de leeropbrengst van de instructietijd vergroot.
Er is een groeiende literatuur die de meerwaarde van het gebruik van klaslokaalexperimenten systematisch onderzoekt. Een representatief voorbeeld hiervan is de studie van Frank (1997). Naast reguliere instructie liet hij een willekeurig deel van zijn studenten meedoen aan een klaslokaalexperiment over het common pool-probleem. Vervolgens moesten alle studenten dezelfde afsluitende toets maken. Het blijkt dat studenten die meegedaan hadden aan het klaslokaalexperiment significant beter scoorden op een aantal toetsvragen over het common pool-probleem:
“(…) it seems that the simple classroom experiment helps students to better understand some, but not all, aspects of the commons problems”
Frank (1997)
Het onderzoek naar de effectiviteit van klaslokaalexperimenten levert steeds meer gedetailleerde resultaten op. Zo blijkt de toegevoegde waarde van klaslokaalexperimenten groter te zijn als deelnemers er een verslag van moeten maken (Cartwright en Stepanova, 2012) en als er monetaire prikkels worden ingebouwd (Rousu et al., 2015). Tegelijkertijd blijkt de toegevoegde waarde niet voor iedere deelnemer op te gaan (Durham et al., 2007). Dezelfde studie laat ook zien dat er een effect op langere termijn is: studenten die hebben meegedaan met klaslokaalexperimenten blijken beter te presteren in vervolgcursussen (waarin niet noodzakelijkerwijs zo’n experiment wordt uitgevoerd). En de uitgebreide studie van Dickie (2006) laat zien dat de toegevoegde waarde van een klaslokaalexperiment deels teniet gedaan wordt als de prestaties van deelnemers aan het experiment worden becijferd en meetellen voor het eindcijfer van de betreffende cursus. Dickie geeft geen verklaring voor dit resultaat, anders dan dat “perhaps the effort students devote to earning grade credit crowds out the attention they would otherwise pay to the economic lessons conveyed by the experiments” (Dickie, 2006).
Ondanks deze bemoedigende onderzoeksresultaten kan de toegevoegde waarde van klaslokaalexperimenten voor de leeropbrengst niet zonder meer van toepassing worden verklaard op de lespraktijk in de bovenbouw van havo en vwo. De literatuur is met name gebaseerd op de lespraktijk in het tertiair onderwijs. Hinloopen (2016) bespreekt een aantal belangrijke verschillen tussen economiestudenten in het tertiair onderwijs en leerlingen in de bovenbouw havo en vwo die het schoolvak Economie volgen. Genoemde economiestudenten hebben zichzelf voor een economieopleiding geselecteerd, ze zijn in het algemeen beter gemotiveerd vanwege hun verdere persoonlijke ontwikkeling, het curriculum in het tertiair onderwijs staat meer tijd toe om een klaslokaalexperiment te behandelen, met ook een grotere kans dat het gedrag van de medespelers meer conform de opzet van het experiment is. En verder zal de kwaliteit waarmee een klaslokaalexperiment wordt uitgevoerd in het tertiair onderwijs naar verwachting hoger zijn omdat de docenten aldaar er meer ervaring mee hebben. Het is daarom niet gezegd dat de bemoedigende onderzoeksresultaten over de leeropbrengst van klaslokaalexperimenten ook gelden voor de bovenbouw havo en vwo.
De enige twee uitzonderingen, voor zover wij weten, zijn de studies van Eisenkopf en Sulser (2013) en Grol (2015; 2016). Eisenkopf en Sulser onderzochten de effectiviteit van een klaslokaalexperiment over het common pool-probleem op 29 Zwitserse middelbare scholen. Het onderzoek werd uitgevoerd in 42 verschillende schoolklassen waarbij iedere schoolklas werd ingedeeld in een van drie groepen: (1) controlegroep, (2) experimentgroep, en (3) standaardgroep. Deelnemers in de controlegroep kregen geen specifiek onderricht terwijl deelnemers in de andere twee groepen onderricht kregen over het common pool-probleem met hetzelfde lesmateriaal. In de experimentgroep werd daarnaast een klaslokaalexperiment uitgevoerd dat 45 minuten in beslag nam. Deze tijd werd in de standaardgroep gebruikt voor nadere instructie. In alle groepen werd dezelfde toets afgenomen, bestaande uit dertien algemene economische vragen en zeventien vragen over het common pool-probleem. Deze informatie werd aangevuld met een vragenlijst over de achtergrondkenmerken van individuele deelnemers.
Het klaslokaalexperiment blijkt geen toegevoegde waarde te hebben. De deelnemers in de experimentgroep en de standaardgroep presteren weliswaar significant beter op de toetsvragen dan deelnemers in de controlegroep, maar er is geen significant verschil tussen de prestaties van de deelnemers in de standaardgroep en die in de experimentgroep.
Het is gissen waarom het klaslokaalexperiment van Eisenkopf en Sulser geen toegevoegde waarde heeft voor leerprestaties. Het zou kunnen dat de onderzoeksopzet niet zuiver genoeg is geweest. Deelnemers in de standaardgroep deden weliswaar niet mee aan het klaslokaalexperiment, maar het hierdoor vrijgekomen lesuur werd besteed aan extra instructie wat betreft het common pool-probleem. De twee groepen verschillen hierdoor in meer dan één opzicht van elkaar. Niet alleen bemoeilijkt dat de duiding van de toegevoegde waarde van het experiment, het zet deelnemers in de standaardgroep op een andere manier op voorsprong. Anders gezegd: het zou kunnen dat de toegevoegde waarde van het klaslokaalexperiment dezelfde is als de toegevoegde waarde van een extra lesuur instructie. Daarnaast zaten er minimaal twee dagen tussen de instructie en de afsluitende toets. Het is goed denkbaar dat in deze periode leerlingen met elkaar gesproken hebben over de lesstof. Door deze interactie zou de kennisverwerving in een klas hebben kunnen convergeren, waardoor het verschil in leeropbrengst tussen klassen kan zijn vertroebeld. Met andere woorden: het experiment meet in beginsel ook de toegevoegde waarde van een klaslokaalexperiment voor een klas als geheel. Of dit zo is, weten we niet; er is geen informatie beschikbaar over de eventuele interactie tussen leerlingen voorafgaand aan de afsluitende toets.
Grol (2016) onderzoekt de meerwaarde van klaslokaalexperimenten bij de kennisverwerving van vier elementaire micro-economische onderwerpen: (1) afnemende meeropbrengsten, (2) de collectieve vraag, (3) het marktevenwicht dat bepaald wordt door de collectieve vraag en het collectieve aanbod, en (4) het effect van een minimumprijs op dat evenwicht. Voor het onderzoek werden er in totaal 134 leerlingen, die hun eerste jaar economieonderwijs op het voortgezet onderwijs genoten, verdeeld over zeven klassen. Iedere klas volgde een van de drie lesseries die elk bestonden uit vier lessen, waarbij één onderwerp per les aan bod kwam: (i) vier klaslokaalexperimenten, (ii) vier video-observaties van deelnemers aan de klaslokaalexperimenten, en (iii) vier klassikale instructies. Aan het begin en eind van de lesserie werd er een vergelijkbare toets afgenomen.
De toetsresultaten laten zien dat alle drie de didactische werkvormen een positief leereffect hebben, waarbij dat het grootst is voor conditie (i) waarbij deelnemers vier klaslokaalexperimenten volgen.
“The present study shows that participating in economic classroom experiments seems beneficial for the knowledge acquisition of microeconomic concepts of secondary school students.”
Grol (2015)
Tegelijkertijd laat Grol (2015) zien dat de opbrengst van klaslokaalexperimenten in het voortgezet onderwijs beperkt is: noch een verre transfer waarbij dezelfde redenering als die van het klaslokaalexperiment in een andere context moet worden toegepast, noch het vermogen om tot een economische redenering te komen (het ‘kijken door een economische bril’) wordt er positief door beïnvloed.
Onderzoeksopzet
Onderzoek naar de effectiviteit van klaslokaalexperimenten in het voortgezet onderwijs wordt onvermijdelijk geconfronteerd met de verschillen in lesomstandigheden tussen scholen. En hoewel econometrische technieken deze variatie kunnen neutraliseren, kan het zicht op statistische verbanden erdoor worden vertroebeld. In ons onderzoek maken we gebruik van een mogelijkheid dit probleem te omzeilen: een nieuw cohort eerstejaarsstudenten economie. Deze studenten doen mee aan een experiment in de introductieweek van hun studie. Voorafgaand aan het experiment hebben ze nog geen academisch onderwijs genoten; het zijn leerlingen uit de bovenbouw vwo die recentelijk eindexamen hebben gedaan. Deze groep is niet helemaal representatief voor leerlingen in de bovenbouw havo en vwo die het schoolvak economie volgen; ze hebben zichzelf immers geselecteerd voor een vervolgopleiding economie. Tegelijkertijd staan ze nog dicht genoeg bij de belevingswereld van leerlingen in het voortgezet onderwijs om van hen indicatieve onderzoeksresultaten te kunnen verkrijgen over de toegevoegde waarde van klaslokaalexperimenten bij het schoolvak Economie in de bovenbouw havo en vwo.
We bespreken hier drie aspecten met betrekking tot het uitgevoerde klaslokaalexperiment: het ontwerp; de vrijwillige bijdragen aan een publiek goed; en de controlevragen
Ontwerp
Het onderzoek is uitgevoerd met 243 subjecten die willekeurig verdeeld werden over tien groepen van vergelijkbare grootte. Van 196 daarvan zijn er gedetailleerde achtergrondkenmerken beschikbaar: de gemiddelde leeftijd is 19 jaar, 32 procent is vrouw, 159 hebben er een Nederlandse achtergrond, 92 procent van hen komt rechtstreeks van het vwo, en van de gehele instroom heeft 79 procent eindexamen afgelegd in een schoolvak Economie.
In iedere groep werd dezelfde les gegeven over publieke goederen. Een les duurde veertig tot vijftig minuten. Bij aanvang kreeg iedere deelnemer de uitleg over publieke goederen uitgedeeld (zie kader 2). Vervolgens werd een vijf minuten durende mooc vertoond over publieke goederen (de mooc is te vinden op: https://www.youtube.com/watch?v=hA2z-X31IvI). Daarna volgde een plenaire discussie rond drie vragen: (1) wat is het free-rider-effect?, (2) waarom worden publieke goederen in principe niet door de markt voortgebracht? en (3) wat motiveert een vrijwillige bijdrage aan een publiek goed? Tot slot moesten deelnemers een individuele toets maken. Daarvoor kregen ze tien minuten, wat voor nagenoeg iedereen voldoende bleek te zijn.
In de helft van alle groepen werd voorafgaand aan de les over publieke goederen een klaslokaalexperiment uitgevoerd. Het experiment nam vijftien tot twintig minuten in beslag, inclusief de uitbetaling van de winnaar. Omdat het experiment plaatsvond tijdens de introductieweek was het niet noodzakelijk het college binnen een afgebakende tijd te verzorgen; de extra tijd die het klaslokaalexperiment in beslag nam had geen invloed op de les over publieke goederen. Anders gezegd: het onderzoek meet de toegevoegde waarde van het klaslokaalexperiment. Een college met klaslokaalexperiment duurde vijftig tot zestig minuten.
Vrijwillig bijdragen aan een publiek goed: een klaslokaalexperiment
Het klaslokaalexperiment is gebaseerd op Holt (1996). Aan het begin van iedere spelronde krijgen deelnemers vier speelkaarten uitgedeeld. Daarbij is alleen de kleur van de kaart relevant. In iedere spelronde wordt de deelnemers gevraagd om twee kaarten af te geven aan de spelleider. Daarbij moet iedereen kunnen zien dat een deelnemer twee kaarten afgeeft, maar niet welke twee dat zijn. Vervolgens telt de spelleider het aantal opgehaalde rode kaarten en deelt dat de deelnemers mee. Hiermee eindigt een spelronde en kan iedere deelnemer zijn individuele opbrengst berekenen: het aantal opgehaalde rode kaarten plus vier maal het aantal rode kaarten dat hij nog in bezit heeft. In iedere groep werd het klaslokaalexperiment in drie ronden gespeeld en werd er afgesloten met een plenaire discussie rond drie vragen die zich richtten op het centrale thema van het experiment, namelijk wat de motivatie is voor het afstaan van een rode kaart.
In dit klaslokaalexperiment symboliseren de rode kaarten het positieve externe effect van een publiek goed. Zo staat in het Nash-evenwicht iedereen zijn twee zwarte kaarten af en heeft iedereen een opbrengst van acht. Terwijl in het meest efficiënte evenwicht iedereen zijn twee rode kaarten afstaat en iedereen een opbrengst heeft van tweemaal het aantal deelnemers aan het experiment.
Controlevragen
De afsluitende toets was deels gebaseerd op de in de VS ontwikkelde Test of understanding of college economics (Walstad et al., 2006) en bestond uit twee respectievelijk één vraag over klaslokaalexperimenten voor groepen waarbij wel respectievelijk geen klaslokaalexperiment werd afgenomen, en verder acht inhoudelijke vragen. De vragenlijst staat in kader 3. De vragen 3 t/m 10 zijn de inhoudelijke vragen waarbij het juiste antwoord telkens vet is afgedrukt. Twee vragen (vraag 3 en 5) hebben expliciet betrekking op publieke goederen, vraag 7 noemt publieke goederen impliciet, vraag 10 gaat over externe effecten en de overige vier inhoudelijke vragen zijn algemene economievragen. Het klaslokaalexperiment zou geen effect moeten kunnen hebben op de algemene economievragen, maar wel op de andere vier.
Experimentresultaten
De willekeurig gekozen winnaar had een gemiddelde verdienste van 6,12 euro. In de eerste speelronde werd gemiddeld 53 procent van het aantal mogelijke rode kaarten ingeleverd, in de tweede ronde 43 procent en in de derde ronde 60 procent. Hoewel deze fracties statistisch niet significant van elkaar verschillen (de p-waarden van een Mann-Whitney-toets voor de opeenvolgende ronden zijn 0,25 en 0,35), illustreren ze wel de afweging tussen het individuele en collectieve belang – en noch het Nash-evenwicht, noch het meest efficiënte evenwicht werd hier bereikt.
Om de invloed van het klaslokaalexperiment te duiden, schatten we voor iedere toetsvraag de volgende vergelijking:
yi = β0 + β1Ki + εi (1)
Waarbij i = 1, … 159, en yi = 1 als deelnemer i het juiste antwoord heeft gegeven, Ki = 1 als deelnemer i heeft meegedaan aan het klaslokaalexperiment, en εi ~ N(0,1). In tabel 1 staan de schattingsresultaten. Om het effect van het klaslokaalexperiment zo ondubbelzinnig mogelijk te kunnen duiden, is het wenselijk dat de deelnemersgroep homogeen is. Daarom is bij de statistische analyse alleen gebruikgemaakt van de prestaties van alle deelnemers met een Nederlandse achtergrond. Persoonskenmerken, zoals geslacht, hebben geen invloed op de resultaten in tabel 1.
Tabel 1 illustreert de variatie in toetsvragen; de gemiddelde fractie van juiste antwoorden varieert van 43 procent bij vraag 3 tot 86 procent bij vraag 7. Verder blijkt de invloed van het klaslokaalexperiment wisselend te zijn: op vijf toetsvragen scoren deelnemers die ook meegedaan hebben aan het klaslokaalexperiment gemiddeld beter; op drie toetsvragen scoort deze groep juist slechter. Tegelijkertijd is de invloed van het klaslokaalexperiment alleen statistisch significant (en bovendien positief) bij toetsvraag 5; één van de twee toetsvragen die expliciet over publieke goederen gaat. Anders gezegd: deelnemers aan het klaslokaalexperiment over publieke goederen scoren bij één opgave over publieke goederen significant beter dan deelnemers die niet hebben meegedaan aan het klaslokaalexperiment, terwijl ze op geen enkele andere toetsvraag significant slechter scoren. Tegelijkertijd moet de zwakte van het gevonden effect worden benoemd, want een effect dat statistisch significant is op tienprocentsniveau is als zodanig bescheiden. Toekomstig onderzoek zou de robuustheid van het gevonden resultaat in een breder perspectief kunnen plaatsen.
Conclusies en aanbevelingen
Ondanks de populariteit van het gebruik van klaslokaalexperimenten in het tertiair economieonderwijs in Nederland en elders en dat docenten van het schoolvak Economie verplicht zijn om in de bovenbouw havo en vwo klaslokaalexperimenten uit te voeren, is er weinig bekend over de extra leeropbrengst van klaslokaalexperimenten. Een nog kleine literatuur laat zien dat klaslokaalexperimenten de leeropbrengst lijkt te vergroten. Maar deze literatuur is nagenoeg uitsluitend gebaseerd op ervaringen in het tertiair onderwijs. Over het effect van klaslokaalexperimenten in het secundair onderwijs is nauwelijks iets bekend.
In deze bijdrage hebben we geprobeerd meer zicht te krijgen op het effect van klaslokaalexperimenten in het secundair onderwijs. Daartoe is een experiment uitgevoerd met een groep studenten die nog met anderhalf been in het voortgezet onderwijs staat, namelijk eerstejaarsstudenten in de introductieweek van hun studie Economie aan de Utrecht University School of Economics. Het experiment laat zien dat een klaslokaalexperiment over publieke goederen een licht positief effect heeft: deelnemers aan dit experiment scoren significant beter op een van de twee toetsvragen die specifiek over publieke goederen gaan, terwijl ze op geen enkele andere toetsvraag significant slechter scoren. Wij interpreteren dit resultaat als een eerste aanwijzing dat klaslokaalexperimenten ook een positieve leeropbrengst in het voortgezet onderwijs kunnen hebben.
De resultaten die hier besproken zijn, geven slechts een eerste indruk van de toegevoegde waarde van klaslokaalexperimenten. Er is nog veel extra onderzoek nodig om goed zicht te krijgen op de meerwaarde van zulke experimenten bij het schoolvak Economie in de bovenbouw van havo en vwo. Een belangrijk aandachtspunt daarbij is het onderscheid tussen havo en vwo. Ondanks de relatief korte afstand tussen de deelnemers aan het experiment van deze bijdrage en het voorgezet onderwijs, betreft dit alleen vwo-leerlingen. Vooralsnog blijft het gissen wat het effect is van een klaslokaalexperiment op de leerprestaties van havo-leerlingen.
Literatuur
Bergstrom, T.C. en J.H. Miller (2000) Experiments with economic principles: microeconomics. New York: Irwin McGraw-Hill.
Cartwright, E. en A. Stepanova (2012) What do students learn from a classroom experiment: not much, unless they write a report on it. Journal of Economic Education, 43(1), 48–57.
Chamberlin, E.H. (1948) An experimental imperfect market. Journal of Political Economy, 56, 95–108.
Dickie, M. (2006) Do classroom experiments increase learning in introductory microeconomics? Journal of Economic Education, 37(3), 267–288.
Durham, Y., T. McKinnon en C. Schulman (2007) Classroom experiments: not just fun and games. Economic Inquiry, 45(1), 162–178.
Eisenkopf, G. en P. Sulser (2013) A randomized controlled trial of teaching methods: do classroom experiments improve economic education in high schools? Thurgau Institute of Economics Discussion Paper, 80.
Frank, B. (1997) The impact of classroom experiments on the learning of economics: an empirical investigation. Economic Inquiry, 35, 763–769.
Grol, L. (2015) Investigating economic classroom experiments. Academisch proefschrift, Radboud Universiteit Nijmegen.
Grol, L. (2016) Participate or observe? Effects of economic classroom experiments on student’s knowledge of economic concepts. European Journal of Psychology of Education, te verschijnen.
Hinloopen, J. (2007) Een experiment? Leuk! Tijdschrift voor het Economisch Onderwijs, 106(6), 292–295.
Hinloopen, J. (2010) Experimenten voor in de klas; Economie voor de 2e fase in 25 klaslokaalexperimenten. Den Bosch: Malmberg.
Hinloopen, J. (2016) Experimenteren met klaslokaalexperimenten. Tijdschrift voor Politieke Economie Digitaal, te verschijnen.
Holt, C.A. (1996) Classroom games: trading in a pit market. Journal of Economic Perspectives, 10(1), 193–203.
Rousu, M.C., J.R. Corrigan, D. Harris et al. (2015) Do monetary incentives matter in classroom experiments? Effects on course performance. Journal of Economic Education, 46(4), 341–349.
Smith, V.L. (1962) An experimental study of comparative market behavior. Journal of Political Economy, 70, 111–137.
Stichting de Vrolijke Economen (2016) Vaardigheid: experimenten. Te vinden op http://www.citroengeel.nl/dve/bundels/bundelexp.aspx.
Teulings, C.N. (2005) The wealth of education: herziening programma economie voor de tweede fase. Advies van de commissie-Teulings II.
Walstad, W.B., M. Watts en K. Rebeck (2006) Test of understanding of College Economics – Examiner’s manual (fourth edition). New York: National Council on Economic Education.