Wat is het effect van transparante toezichthouders op het vertrouwen van de burger? Een experimentele studie

In het eerste nummer van 2017  van het tijdschrift Beleid en Maatschappij staat een artikel van Femke de Vries, Stephan Grimmelikhuijsen en van mij: Wat is het effect van transparante toezichthouders op het vertrouwen van de burger? Een experimentele studie.

In haar oratie lichtte Femke de Vries al een tipje van de sluier op over dit onderzoek dat we begin 2016 deden met ruim 1000 respondenten uit het www.afmconsumentenpanel.nl.

Meer transparantie, meer vertrouwen?
We onderzoeken empirisch of transparantie van toezichthouders werkelijk tot meer vertrouwen leidt. Wij hanteren de volgende Engelstalige definitie voor transparantie:

‘Transparency is the availability of information about an organization or actor allowing external actors to monitor the internal workings or performance of that organization’ (Grimmelikhuijsen, 2012, 55).

We onderzoeken het effect van:

  1. De inhoud van de informatie die openbaar gemaakt wordt; “Het is te verwachten dat mensen anders reageren op situaties waarin een toezichthouder het ‘goed’ heeft gedaan, dan op situaties waarin hij het ‘slecht’ heeft gedaan.” (p.11).
  2. Het type transparantie. “We onderscheiden twee typen transparantie: transparantie over proces en transparantie over de rationale. Procestransparantie geeft vooral details over de procedure voorafgaand aan een besluit. (…) Rationale transparantie gaat over het geven van redenen en onderliggende principes van een beslissing.” (p11-12).

Transparantie van toezicht

Transparantie heeft in de toezichtpraktijk grofweg twee verschillende functies (De Vries, 2016): een instrumentele functie en een verantwoordingsfunctie. Met de instrumentele functie bedoelen we de situatie waarin de toezichthouder transparantie inzet om zijn maatschappelijke opdracht te realiseren. (…)

Het publiceren van toezichtresultaten kan overigens ook worden gezien als een onderdeel van de verantwoordingsfunctie. Door het publiceren van toezichtresultaten leggen toezichthouders immers verantwoording af over de inzet van mensen en middelen. (p.8-9)

Experiment
In deze randomized controlled trial (RCT) hadden we 7 groepen waar respondenten aan werden toegewezen. Dus 144 respondenten waren de controlegroep, kregen helemaal geen tekst voorgelegd. Verder was het een 3 x 2 design: drie soorten berichten waarvan één positief voor de AFM, AFM legt boete op, en twee inhoudelijk negatiever; een boete wordt teruggedraaid en een bericht over herbeoordelingen rentederivaten (“AFM onderzoekt tekortkomingen in haar eigen toetsing van de herbeoordelingen”). Alle drie berichten zijn op twee manieren beschreven; met procestransparantie (nadruk op “hoe”) of met rationale-transparantie (nadruk op “waarom”).

Na het lezen van de tekst kreeg iedereen de gevalideerde schaal om vertrouwen in de AFM te meten. De schaal bestaat uit negen vragen, drie vragen elk over gepercipieerde competentie, welwillendheid (Benevolence) en integriteit. Omdat het enige verschil tussen de 7 groepen van ieder 144 respondenten de gelezen tekst was, kan je verschillen tussen groepen toeschrijven aan de voorgelegde tekst.

Communiceer, vooral over het waarom
De zes groepen die wel een tekst te lezen kregen, scoren gemiddeld genomen significant hoger op vertrouwen in de AFM dan de controlegroep die niets las. Überhaupt communiceren, transparant zijn, lijkt dus goed voor het vertrouwen.

En als je dan communiceert, doe dat dan vooral met nadruk op het waarom, dus met rationale-transparantie. En niet alleen over het proces. In Figuur 1: de vierkantjes van rationale-transparantie scoren hoger op betrouwbaarheid dan de cirkels van procestransparantie.

De inhoud van het bericht lijkt minder belangrijk; in absolute zin scoort het (voor de AFM) negatieve bericht dat een boete wordt vernietigd, het hoogst. De hoe-communicatie over de rentederivaten, waarin de AFM zelf een fout toegeeft, scoort wel het laagst (zwarte cirkel in Figuur 1).

BenMfig1

Expliciet uitvragen
Wanneer we expliciet vragen of het vertrouwen gedaald of gestegen is, dan zien we wel een duidelijk effect van de inhoud van het bericht (figuur 2 hieronder). De opgelegde boete scoort in de perceptie veel beter dan de ingetrokken boete of de herbeoordeling rentederivaten. Wel zien we ook hier dat waarom-communicatie beter scoort dan hoe-communicatie op vertrouwen.

BenMfig2

Conclusies

  1. Burgers hebben meer vertrouwen in toezichthouder AFM na het lezen van een bericht over de toezichthouder.
  2. Vertrouwen, en de drie onderliggende dimensies competentie,welwillendheid en integriteit, kan verder verhoogd worden door in de communicatie de focus te leggen op rationale transparantie (het ‘waarom’), meer dan op procestransparantie (het ‘hoe’).
  3. ‘Slecht nieuws’ kan zonder veel schade transparant gemaakt kan worden, waarbij wel gezegd moet worden dat hierbij dan wel de rationale van de fouten en vervolgstappen uitgelegd moet worden.
  4. Als mensen expliciet gevraagd wordt naar het effect op vertrouwen wegen zij de informatie veel zwaarder dan dat zij onbewust doen.

Een samenvatting in een slide deck:

Advertenties

Mijn tweets uit maart 2012 opnieuw bekeken #OTOB

Het waren er 193, meest interessante en (nu nog) relevante onder elkaar:

Spoiler: the best traders were the most connected, and people who carried on more IM conversations and sent more messages also made more money.

Zie www.afm.nl/cg voor hoe AFM met Nudges etc omgaat:

En in deze bewering van Lamme kan ik me niet vinden (artikellink werkt niet meer), volgens mij was dat nooit speerpunt.

Ook in 2012 hadden veel AOW’ers het niet slecht

2017:

To some extent still true:

do you remember those talks about behavioural economics that infected the market research industry in 2009? Someone had read Nudge, and someone else got a copy of Predictably Irrational. It’s quite easy to write a behavioural economics talk – you just claim that everyone else in the world thinks people are irrational, but you have spotted (with the help of Daniel Kahneman perhaps) that they’re not. Read out a list of cognitive biases – anchoring, hyperbolic discounting, social norms. Show some slides with illustrated examples of each bias. If you’re brave, test one of them on your audience and hope they haven’t yet been to enough identical talks to see through your ultimatum game or your auction. I am just as guilty of this as anyone else.

Haldane van BoE is inderdaad top (oa Dog and frisbee maar ook Complexity theory and financial regulation in Science)

Eigen risico in de zorg, ook nog steeds actueel

En humor:

Week van Wilte in tweets #14

In deze editie waarin ik tweets van afgelopen week samenvat onder meer: stappentellers, ethische marketing, communicatiemissers, en e-readers.

Stappenteller
Zelf heb ik een Fitbit om mijn stappen etc te tellen. Ik haal mijn 10.000 stappen per dag bijna altijd. Soms niet in het weekend als ik het rustig aan doe. En de workweek hustles met mijn collega’s werken erg stimulerend (competitie wie er in een werkweek de meeste stappen zet). Ik ben wel eens om 21.00 alsnog van de bank gekomen om bij Sportcity nog even op een apparaat te gaan lopen.

Ethical marketers
Laatst voor collega’s gepresenteerd over wat digitale marketing betekent voor ons toezichtswerk. Onder meer met voorbeeld van Inshared over behavioral targeting (verschillende aanbieding afhankelijk van surfgedrag) en dynamic pricing. Allemaal tools die je good of evil kan gebruiken (zie ook mijn review van Voodoo-marketing).

In een blogpost schrijft marketing goeroe (een echte) Seth Godin:

In a competitive environment, in which some marketers are rewarded for the short-term hit, the race to the bottom is inevitable. That doesn’t mean it works, but it hurts. Self-regulation doesn’t work in large markets that have easy entry, with many short-term competitive battles going on.

Smart, ethical marketers understand that regulation actually helps them do their work.

Regulation not only benefits the unsuspecting public, it benefits marketers, too. Without guardrails, they won’t be able to stop.

Gerelateerd (I): Hoe meet je of het good of evil is?

Gerelateerd (II): ik publiceer nu mijn oude Spits-columns (2006-2008) op mijn blog

Communicatiemissers
Harrie van Rooij van de Belastingdienst maakte een mooie indeling van communicatiemissers, met ook mooie titels als: de boekhouder wakker maken (crowding out van interne motivatie door geld te bieden).

Ik plotte ze in een matrix. Achteraf vind ik de olifant (system 1) met berijder (system 2) misschien beter dan robot en Homer, maar die zijn lastiger los van elkaar te laten zien.

eReader
Ik heb een Kindle en een Kobo. Beide hebben voor- en nadelen (ga ik nog een keer een blogpost over schrijven). Een hele grote plus van de Kobo is de erg goede Pocket-integratie. Om zo long reads van het web te lezen. De Send to Kindle is erg traag en buggy. En tot voor kort dus niet mogelijk via de iPad.

Fun stuff

Bij die laatste tweet hoort dit briljante South Park stukje

 

Review: The Quantum Thief

The Quantum Thief
The Quantum Thief by Hannu Rajaniemi

My rating: 3 of 5 stars

Deep and complex techno-SF with intriguing worlds and entities living in those worlds. It took me quite some hard work to get involved in this book, with all kinds of jargon. I am going to Google/Wikipedia some to figure out what I missed.

Halfway the book, the action and flow started for me and that continued to near the end, where I again sometimes lost it. I’d recommend to read this in as few installments as possible, because you need to immerse yourself.

To get a taste of the writing, this quote is pretty exemplary:

your husband was exactly the kind of person the gogol pirates would be interested in, a specialised mind,’ Isidore says. ‘The Sobornost have an endless appetite for deep learning models, and they are obsessed with human sensory modalities, especially taste and smell

I did like the time-as-a-currency theme. One character, (Christian Unruh) is a “millenniaire” (rich in time).

A short summary (spoler alert!) is given near the end of the book in one paragraph, that also aptly describes the vocabulary that is used in the book:
(view spoiler)

Isidore takes a deep breath. ‘An interplanetary thief is building a picotech machine out of the city itself while the cryptarchs take over people’s minds to try to destroy the zoku colony in order to stop the tzaddikim from breaking their power,’ he says. ‘I want to stop them both.’ He pauses. ‘Also, I think the thief is my real father.’

(hide spoiler)]

View all my reviews

Irritante reclames en slechte websites

Gepubliceerd in Spits op 18 december 2006

Bijna 90% van de Nederlanders vindt leenreclames irritant en misleidend. De overheid zou ze moeten verbieden vindt een ruime meerderheid. Een motie om kredietreclames voor persoonlijke leningen op tv te verbieden is onlangs door de Tweede Kamer aangenomen.

Tweederde zapt direct als er een leencommercial op tv is. Vooral lager opgeleiden en vrouwen vinden de spotjes misleidend. Deze twee groepen zijn oververtegenwoordigd in de AFM-doelgroep Adviesgevoeligen. Een adviesgevoelige zoekt zelf weinig uit en vertrouwt veel op het advies van adviseurs en familie.

Bijna 80% van de ondervraagden vindt dat een overheidscampagne moet waarschuwen tegen de gevaren van onverantwoord lenen. Vooral lager opgeleiden zien hier een taak voor Postbus 51. Naast de overheid zien consumenten ook een verantwoordelijkheid voor aanbieders en zichzelf (zie grafiek, hier hele onderzoeksrapport van Blauw voor Interbank van september 2006: Onderzoeksrapport-20InterBank-20–20Kredietreclames)

Ook op het web doen kredietverstrekkers het slecht. Terwijl de gemiddelde Nederlandse website een mager zeventje scoort, krijgen internetpagina’s van kredietverstrekkers gemiddeld een 5,3. Google.nl krijgt het hoogste cijfer (8,3) en ook de Postbank en de Rabobank scoren wel hoog: gemiddeld een 7,7.

blauwintgerbankTV2006

Opnieuw bekeken: tweets maart 2011 #OTOB

Een selectie uit mijn 109 tweets van maart 2011:

IJsland
Link in tweet is kapot, filmpje nog wel gevonden

 

Happy
Ervaringen boven goederen gebruik ik nog steeds als vuistregel:

DSCN1096

 

AFM gerelateerd
Anno 2017 zijn aflossingsvrije hypotheken en arbeidsongeschiktheidsverzekeringen nog steeds hot topics.

Vanaf 2014 zit zoekvolume voor ‘makelaar’ consistent onder ‘hypotheek’

Hier aan gerelateerd, tweet uit 2017; zoekvolume voor ‘hypotheek’ goede indicator voor huizenverkopen.

Meer over risico’s bij gezondheidszorg, maar wel interessant:

15 maart is dag van de consument, gestart door deze JFK speech:

En via SimoleonSense had ik een link naar onderstaand artikel. Helaas is SimoleonSense gestopt.

Can There Ever Be Too Many Options? A Meta-Analytic Review of Choice Overload (2010, Benjamin Scheibehenne, Rainer Greifeneder, Peter M Todd)

The choice overload hypothesis states that an increase in the number of options to choose from may lead to adverse consequences such as a decrease in the motivation to choose or the satisfaction with the finally chosen option. A number of studies found strong instances of choice overload in the lab and in the field, but others found no such effects or found that more choices may instead facilitate choice and increase satisfaction. In a meta-analysis of 63 conditions from 50 published and unpublished experiments (N = 5,036), we found a mean effect size of virtually zero but considerable variance between studies. While further analyses indicated several potentially important preconditions for choice overload, no sufficient conditions could be identified. However, some idiosyncratic moderators proposed in single studies may still explain when and why choice overload reliably occurs; we review these studies and identify possible directions for future research.

 

Week van Wilte in Tweets #13

Afgelopen week was ik bij drie interessante lezingen: over early-warning signals of financial collapse in real networks, epigenetica en over gedragswetenschappenlijk onderzoek bij OCW. En op afstand (via Twitter) het afscheidsseminar van Paul Robben over effectmeting van toezicht.

Nudge OCW
DUO heeft een mooi experiment gedaan met defaults voor studieleningen. Door default niet meer maximaal te zetten, leenden studenten minder. Mooi artikel in ESB:

Hoe het leenscherm er voor en na de interventie uitzag:

En data over lange termijn effecten (meer resultaten na ESB artikel):

Mogelijke unintended consequences als we deze Amerikaanse studie bekijken; de experimentele groep die lager/minder hoog leenbedrag als default aangeboden krijgt, haalt ook minder vakken (minder credits) en heeft lagere cijfers (lager GPA);

Bij OCW bijeenkomst ook een mooie reflectie van Robert Dur, waar ik het alleen maar heel erg mee eens kan zijn:

Epigenetica
Afgelopen dinsdag was ik bij Science cafe Leiden.

Paar mooie studies werden helder uitgelegd door Bas Heijmans (LUMC). Onder meer lange termijn effecten van hongerwinter in Tweede Wereldoorlog door minder methylering van DNA (PNAS artikel uit 2008):

En methylatie DNA toepassen om te zien hoe lang geleden iemand gestopt is met roken, en ook hoe oud iemand is:

Effectiviteit van Toezicht
Paul Robben (IGZ) gaat met pensioen, afscheidsymposium:

Ik refereer nog vaak aan dit rapport uit 2010: Toezicht en effectmeting, het kán! – researchsynthese van onderzoek naar de effectiviteit van toezichtsinterventies.

En ik ga het kenniscahier van 5 jaar Academische Werkplaats lezen:

Pensioen
In het laatste nummer van Verzekerd twee interssante stukken over de toeomst van het pensioenstelsel. Bovenberg zegt denk ik heel zinnige dingen. En de welles/nietes over de verplichtstelling is ook interessant.

Ander nieuws over pensioen: webinar van Sjaak Zonneveld, met inderdaad goed overzicht van misverstanden over individuele pensioenen.

Scraping
Scholar.py ziet er uit al mooi potentieel project. Alleen staan R en d3.js ook al lang op dat lijstje (voor R al wel wat stapjes gezet).

Review: The Physics of Wall Street: A Brief History of Predicting the Unpredictable

The Physics of Wall Street: A Brief History of Predicting the Unpredictable
The Physics of Wall Street: A Brief History of Predicting the Unpredictable by James Owen Weatherall

My rating: 5 of 5 stars

Accessible history of physicists’ influence on economics and finance. Contains some interesting and unorthodox characters. Clearly written and like Weatherall writes in the epilogue, he did not “try to force the pieces into an overarching narrative” (p208); but there is coherence.

From the French Bachelier who figured out a lot of statistics on random walks at the beginning of the 20th century, only to be forgotten for decades, via Osborne who argued that rates of return were normally distributed, not stock prices, to Mandelbrot (of fractal-fame) who stressed fat-tails and non-normal distributions (but Cauchy / Lévy stable distributions).

Also includes Ed Thorp (of Beat the Dealer: A Winning Strategy for the Game of Twenty-One fame), who started one of the first hedge funds; Fischer Black (Black-Scholes formula to price options); Packard and Doyne Farmer (The prediction company [later bought by the enigmatic and secretive O’Connor and Associates, using chaos theory, black box modeling and genetic algorithms, both worked at Santa Fe institute); Sornette who used prediction models for earthquakes to predict large financial crashes (and made 400% putting his money where his mouth was in the 1997 crash).

“The stories in this book show the [scientific/physics] methodology in action: one uses simplifying assumptions to make a problem tractable and solve it. Then, once you see how your solution works, you can double back and begin asking what happens when you play with your assumptions” (p209)

financial modeling is an evolving process, one that proceeds in iterative fashion. (…) Models fail. Sometimes we can anticipate when they will fail (…) in other cases, we figure out what went wrong only as we are trying to put the pieces back together. (…) since mathematical modeling in finance is an evolving process, we should fully expect that new methods can be developed that will begin to solve the problems that have plagued the models that have gotten us to where we are today. (p128-129)

Data outclass theory (p.155)

If you continue to trade based on a model whose assumptions have ceased to be met by the market, and you lose money, it’s hardly a failure of the model. It’s like attaching a car engine to a plane and being disappointed when it doesn’t fly (p47)

no matter how good the theoretical backing for your (non-black box) model, you ultimately need to evaluate it on the basis of how well it performs. Even the most transparent models need to be constantly tested by just the same kind of statistical methods that are used to evaluate black box models. (p155-156)

View all my reviews

Financiele kennistest maakt leek meer attent op risicos

Gepubliceerd in Spits op 6 november 2006. Tot 2009 had de AFM een wekelijkse column in het de gratis krant Sp!ts. Ik heb daar een kleine 40 van geschreven. De relatief tijdloze publiceer ik op mijn weblog. Dit was mijn eerste column voor Spits.

Slechts één op de twintig Nederlanders voelt zich zeer vertrouwd met financiële zaken, zo blijkt uit een onderzoek van het NIPO in opdracht van de Autoriteit Financiële Markten (AFM). Voor veel mensen is een nieuwe lening of hypotheek een grote bron van onzekerheid. Tegelijkertijd krijgt de burger steeds meer eigen verantwoordelijkheid waar het gaat om het maken van financiële keuzes. De overheid doet een stapje terug. Maar de keuze naar financiële producten is overweldigend en niet iedereen is een financieel expert. Het roept dan ook de vraag op in hoeverre iedere Nederlander wel in staat is die verantwoordelijkheid te dragen.

De meeste Nederlanders kunnen waarschijnlijk wel enkele verschillende hypotheekvormen noemen. Of weten dat aandelen meer risico met zich mee brengen dan een spaarrekening. Het is eigenlijk knap lastig om in te schatten hoe veel je  weet over hypotheken, beleggen of lenen. Misschien weet je wel meer dan je denkt.

Het is daarom goed jezelf eens de vraag te stellen of je voldoende kennis van zaken hebt om een financieel product aan te schaffen. Je economieboeken opzoeken uit die tijd van de middelbare school biedt waarschijnlijk weinig soelaas. Het internet is vandaag de dag de belangrijkste bron voor mensen die zich op beleggen, hypotheken of leningen willen oriënteren. En hoewel we langs deze plaats geen reclame willen gaan maken voor allerlei websites, willen we je toch wijzen op een nieuwe ster aan het firmament.

Op de website www.weetwatjeweet.nl staan drie verschillende Financiële-kennistesten, over lenen, hypotheken en beleggen. Bij elke vraag krijg je te zien hoe goed Nederland deze vraag heeft gemaakt. Door de uitleg van het antwoord steek je er misschien ook nog wat van op.

Wanneer je alle vragen goed hebt wil dat natuurlijk niet zeggen dat je een financiële goeroe bent en nooit meer (financieel) risico loopt. Informeer altijd goed naar de voorwaarden en koop geen producten die je niet begrijpt. Je bent en blijft uiteindelijk zelf verantwoordelijk voor je keuze.

Spits6nov2006Financiele kennistest maakt leek meer attent op risicos2

Review: Don’t Think of an Elephant! Know Your Values and Frame the Debate: The Essential Guide for Progressives

Don't Think of an Elephant! Know Your Values and Frame the Debate: The Essential Guide for Progressives
Don’t Think of an Elephant! Know Your Values and Frame the Debate: The Essential Guide for Progressives by George Lakoff

My rating: 4 of 5 stars

Very good book on framing; how can progressives defeat the conservative ‘juggernaut’ in public debates and discourse, using the right words for their ideas and beliefs? Book practices what it preaches by employing crisp, clear language and being rhetorically strong.

“Thinking differently requires speaking differently” and “Facts matter enormously, but to be meaningful they must be framed in terms of their moral importance.” and “Just speaking truth to power doesn’t work. You need to frame the truths effectively from your perspective. ”

Lakoff definitely takes a side:

I have been referred to as a “cognitive activist,” and I think the label fits me well. As a professor I do analyses of linguistic and conceptual issues in politics, and I do them as accurately as I can. But that analytic act is a political act. Awareness matters. Being able to articulate what is going on can change what is going on—at least in the long run

And: “Unlike the right, the left does not think strategically. We think issue by issue.”

Don’t step in someone else’s frame
“When we negate a frame, we evoke the frame.”

Not only does negating a frame activate that frame, but the more it is activated, the stronger it gets. The moral for political discourse is clear: When you argue against someone on the other side using their language and their frames, you are activating their frames, strengthening their frames in those who hear you, and undermining your own views.

self-interest and voting

Democrats are shocked or puzzled when voters do not vote their self-interest. “How,” Democrats keep asking me, “can any poor person vote for Republicans when Republican policies hurt them so badly?” The Democratic response is to try to explain over and over to the conservative poor why voting Democratic would serve their self-interest. Despite all evidence that this is a bad strategy, Democrats keep banging their heads against the wall.

“People do not necessarily vote in their self-interest. They vote their identity. They vote their values. They vote for who they identify with.”

Strict father (Rep) vs nurturant parent (Dem)
Democrats and Republicans differ morally: “We’ve seen that the major moral divisions in our politics derive from two opposed models of the family: a progressive (nurturant parent) morality and a conservative (strict father) morality.” and “Whereas progressives believe centrally in empathy (caring about their fellow citizens), both personal and social responsibility, and a commitment toward doing their best toward those ends, conservatives believe only in personal responsibility.”

How is framing different from spin or propaganda?

Framing is normal. Every sentence we say is framed in some way. When we say what we believe, we are using frames that we think are relatively accurate.

Spin is the manipulative use of a frame. Spin is used when something embarrassing has happened or has been said, and it’s an attempt to put an innocent frame on it—that is, to make the embarrassing occurrence sound normal or good. Propaganda is another manipulative use of framing.

Propaganda is an attempt to get the public to adopt a frame that is not true and is known not to be true, for the purpose of gaining or maintaining political control.

The reframing I am suggesting is neither spin nor propaganda. Progressives need to learn to communicate using frames that they really believe, frames that express what their moral views really are. I strongly recommend against any deceptive framing. I think it is not just morally reprehensible, but also impractical, because deceptive framing usually backfires sooner or later.

Advice
“Saying it right—and saying it over and over—is advice that can be applied to issue after issue.”

“Remember, don’t just negate the other person’s claims; reframe. The facts unframed will not set you free. You cannot win just by stating the true facts and showing that they contradict your opponent’s claims. Frames trump facts. His frames will stay and the facts will bounce off. Always reframe and fit the facts to your frame.”

“Never answer a question framed from your opponent’s point of view. Always reframe the question to fit your values and your frames. This may make you uncomfortable, since normal discourse styles require you to directly answer questions posed. That is a trap. Practice changing frames. • Be sincere. Use frames you really believe in, based on values you really hold.”

 

Those are a lot of guidelines. But there are only four really important ones:
1. Show respect
2. Respond by reframing
3. Think and talk at the level of values
4. Say what you believe

View all my reviews