Week van Wilte in tweets #15

15e editie met een samenvatting van mijn tweets van de afgelopen week. Met: hypotheekexperiment, effecten van transparantie op vertrouwen, stop A/B testen niet te snel en fun stuff.

AFM experimenteert
Mijn collega’s van team consumentengedrag (www.afm.nl/cg) doen experimenten met marktpartijen om potentieel kwetsbare klanten met een aflossingsvrije hypotheek; AFM, ING en Florius onderzoeken hoe consumenten kunnen worden gestimuleerd af te lossen.

Uit het nieuwsbericht van de AFM:

We kijken bijvoorbeeld of klanten gaan aflossen als ze zien dat anderen in een vergelijkbare situatie dat doen. Of wat er gebeurt wanneer we in de communicatie het accent leggen op eenvoudig kunnen aflossen. We onderzoeken hoe we klanten op verschillende manieren kunnen bewegen om met een adviseur in gesprek te gaan over hun hypotheek. Bijvoorbeeld door een zeer beperkte groep consumenten eenmalig (een deel van) de kosten van het advies en de afhandeling terug te betalen.

De eerste, externe reacties waren goed en positief. Ik ben erg benieuwd wat er uit gaat komen.

Transparantie en Toezicht
Vorige week ontving ik twee gedrukte exemplaren van het Tijdschrift Beleid en Maatschappij (B&M). Mijn eerste peer-reviewed artikel in een bestuurskundig tijdschrift. Ik ben er natuurlijk erg trots op. En heb een samenvattende blogpost gemaakt. Die ik nog via VIDE, LinkedIn en andere kanalen verder wil gaan verspreiden.

En er zitten nog twee andere experimenten in de pijplijn. Een onderzoek zijn we nu aan het opschrijven (in het Engels dit keer), de andere gaat binnenkort van start. Dat laatste experiment is deels een replicatie van wat nu gepubliceerd is. Maar ook kijken we daar naar het effect van de afzender; maakt het uit over/van welke toezichthouder de transparantie komt? Doen we samen met twee Inspecties.

A/B testen voortijdig stoppen
Veel markteing-goeroes waarschuwen voor de kennelijk toch redelijk wijdverbrijde praktijk om een A/B test te stoppen zodra er een significant verschil is.

tl:dr: doe dat niet.

Now I decided to see what would happen if we checked even more often. What if I had checked my Optimizely dashboard every 100 visitors (10 total checks throughout the 1000 visitors), and stopped the A/B test if I saw statistical significance at any one of those checks? What about every 50 visitors? What about every visitor, i.e. we stop the test as soon as we hit statistical significance at all? Here are the results:

Number of checks Simulated False Positive Rate
1, at the end (like we’re supposed to) 5.0%
2 (every 500 visitors) 8.4%
5 (every 200 visitors) 14.3%
10 (every 100 visitors) 19.5%
20 (every 50 visitors) 25.5%
100 (every 10 visitors) 40.1%
1000 (every visitor) 63.5%

Fun & misc. stuff

Advertenties

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s