Drie manieren om experimenteel effecten te meten

In de notitie Ontwerpen voor effectevaluatie van 4 april 2014 beschrijft het Centraal Planbureau (CPB) drie manieren om (quasi-)experimenteel effecten te meten. 

Bij een (quasi-)experimentele opzet is er een behandelgroep waar de interventie wordt ingezet en een (vergelijkbare en onafhankelijke) controlegroep waar de interventie niet wordt ingezet.

Het CPB beschrijft en rangschikt drie methodes om experimenteel effecten te meten. In volgorde van voorkeur:

  1. Random design experiment
  2. Regression discontinuity analysis
  3. Differences-in-differences analysis

Voor vier pilots van OC&W werkt het CPB uit welke methode geschikt kan zijn.

Random design experiment
Een random design experiment werkt net als geneesmiddelenonderzoek: loting bepaalt wie in welke groep zit. Je maakt dus willekeurig twee groepen en intervenieert wel bij de ene en niet bij de andere groep (controle).

De AFM schrijft hierover

Experimenten, ook wel randomised controlled trials, A/B testen of split runs genoemd, zijn de gouden standaard voor onderzoek naar de effectiviteit van bepaalde beleidsmaatregelen of het ontwerp van een keuzeomgeving

Zie ook: Test, Learn, Adapt: Developing Public Policy with Randomised Controlled Trials. En FCA onderzoek uit 2013: Engelse toezichthouder activeert consumenten met effectieve brief.

Voor geen van de vier OCW pilots was dit praktisch haalbaar volgens het CPB.

Regression discontinuity analysis
Voor een pilot met Differentiatie inspectietoezicht adviseert het CPB de ‘regression discontinuity analysis’. Hierbij toont een kink of sprong in de regressielijn rond het afkappunt het effect aan.

Scholen worden bijvoorbeeld gerangschikt op het aantal leerlingen, of op een maat voor kwaliteit van scholen en verdeeld over een behandel- en een controlegroep bij een afkapgrens. Scholen rondom de afkapgrens zijn vergelijkbaar zijn. En het effect kan gemeten worden door de doelvariabele van de scholen rondom deze afkapgrens te vergelijken. Als het schoolbezoek van de Onderwijsinspectie effect heeft, is de onderwijskwaliteit van scholen die nog net wel in de behandelgroep zaten hoger dan scholen die net niet in de behandelgroep zaten.

effectmeting1

Differences-in-differences
Voor de andere drie pilots adviseert het CPB de ‘differences-in-differences’(of Diff-in-Diff) methode. Bijvoorbeeld voor het gebruik van een studiebijsluiter die realistische voorlichting moet geven aan potentiële MBO’ers. Sommige MBOs gebruiken al een studiebijsluiter, andere niet. De behandel en controlegroep staan dus al vast. “De differences-in-differences analyse beschouwt de verandering in de ontwikkeling van de studie-uitval onder eerstejaarsstudenten tussen instellingen met en zonder een studiebijsluiter.” Een effectieve studiebijsluiter zorgt dus voor relatief minder studie-uitval.

effectmeting2

Relevante data en tijd
Het CPB noemt als essentiële randvoorwaarde voor een effectmeting dat relevante en voldoende data beschikbaar is. Ook signaleert het CPB dat effectmeting een lange adem vereist:

“Het is onzeker of al twee jaar na de start van nieuw beleid effecten in de onderwijskwaliteit waarneembaar zijn, terwijl niet uit te sluiten valt dat dat op een langere termijn wel het geval is.”

Advertenties

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s