Investigating the Potential Contribution of Patient Rating Sites to Hospital Supervision

Op 24 januari wordt bekend wie de VIDE Publicatieprijs 2016 wint. Ik bespreek nu genomineerde Investigating the Potential Contribution of Patient Rating Sites to Hospital Supervision:Exploratory Results From an Interview Study in the Netherlands van Sorien Kleefstra, Linda Zandbelt, Ine Borghans, Hanneke de Haes en Rudolf Kool. Kleefstra en Borghans zijn verbonden aan de Inspectie voor de Gezondheidszorg (IGZ).

The aim of our study was to explore whether and how patient experiences reported on rating sites can, in the eyes of health care inspectors, contribute to risk identification in hospital care.

Daarvoor interviewden ze 10 toezichthouders van de IGZ en lieten hen voor een ziekenhuis waar ze toezicht op hielden minimaal 10 negatieve consumentenreviews beoordelen, afkomstig van Zorgkaart Nederland (initiatief van patiëntenvereniging NPCF). Die site vat dit onderzoek samen onder de kop ‘ZorgkaartNederland sluit aan op bevindingen IGZ’.

Uit het artikel: “It [Zorgkaart Nederland] has the largest number of patient ratings in the Netherlands, with more than 300,000 ratings in total and 800,000 unique visitors per month.” Toen ik vandaag [16/1/2017] keek, stonden er 403.530 ervaringen online en waren er 331 ziekenhuizen. In de onderzoeksperiode van eind 2013 tot eind 2014 waren er 94 hospitals. Ratings zijn overwegend positief, in 2015 was 7,2% van ratings negatief (een 6 of lager op een 10-puntsschaal).

In interviews waren de inspecteurs skeptisch, maar hun beoordeling van in totaal 207 negatieve reviews “resulted in 23% of the reviews being deemed relevant for risk identification“. Verderop: “Nevertheless, they insisted that the use of rating sites should always be accompanied and verified by clinical indicators.” De auteurs concluderen:

it appears that most inspectors consider it [reviews] as an additional source of information from the patient’s perspective to detect poor quality of care. Still, it should always be accompanied and verified by other quality and safety indicators

Voorspellen consumentenratings kwaliteit?
Wat ik interessant vond, waren de literatuurverwijzingen naar een verband tussen reviews van consumenten (gepercipieerde kwaliteit) en daadwerkelijke kwaliteit:

Although there is evidence of the correlation between scores on patient rating sites and quality indicators and clinical outcomes on a hospital level [5,8,19-21], little research has been carried out on the association between patient ratings and physician quality metrics

Conclusie van een van de geciteerde artikelen, Greaves et al (2012): “Our results demonstrate a relationship between patients’ Web site ratings of hospitals and some objective measures of clinical quality, including mortality and infection rates.

m_ild110027t1

Een voorbeeld dat ik uit de AFM-toezichtspraktijk ken, is minder positief over de voorspellende waarde van ratings van consumenten. Op Independer kunnen consumenten hun hypotheekadviseur een rapportcijfer geven (“subjectieve” kwaliteit). Consultancy-bureau IG&H heeft een hypotheekaanbieder gevraagd naar zijn beste én slechtse 50 adviseurs (“objectieve” kwaliteit) en dat in een plaatje gezetindepender_geencorr

Mijn interpretatie: ook slechte hypotheekadviseurs kunnen lekkere koffie schenken.

Toekomst
De auteurs zijn hoopvol over de toekomst (Big Data?):

A positive aspect of using ratings and reviews in supervision is the availability of actual information, in addition to the yearly available conventional quality indicators. Thus, a more efficient way of risk-based prioritizing within a huge number of health care organizations is a possibility [26]. This is especially important in health care sectors with a substantial number of organizations or professionals such as the elderly care sector, general practitioners, dentists, and pharmacists. In this way, patient ratings and reviews can become a structural part of the supervisory framework for risk detection.

Ik denk dat er nog wel een lange weg te gaan is voor er ook voldoende kwalificaties zijn voor kleinere organisaties om er daadwerkelijk wat mee te kunnen. Zeker als je ook alleen de negatieve (gemiddeld <10% van ratings) wilt gebruiken.

Achterkant-van-envelop-berekening: in afgelopen twee jaar zijn er 100.000 ratings bij gekomen, dus 50.000 per jaar. Op Zorgkaart Nederland staan 121.070 zorgaanbieders, dus dat is een halve rating per zorgaanbieder per jaar. En dat is dus 0,05 negatieve rating per zorgaanbieder per jaar. Zelfs met het optimistischere 10.000 reviews per maand kom ik tot gemiddeld 0,1 negatieve review per aanbieder. Natuurlijk zegt gemiddelde niet alles (zie: Bill Gates walks into a bar) maar ik vrees dat echte Big Data op instellingsniveau nog ver weg zijn. Het ziekenhuis met meeste negatieve ratings in een jaar ten tijde van het onderzoek had er 56 (tabel 1), het ziekenhuis met meeste ratings had er in totaal 859.

Further research 

It would be worthwhile to investigate, in a future study, whether an inspector unacquainted with a certain hospital, would come to the same or a different selection of relevant reviews

Deze lijkt me vrij makkelijk: vraag ieder van de 10 inspecteurs om een Excesheet van een van de anderen te beoordelen…

Advertenties

3 gedachtes over “Investigating the Potential Contribution of Patient Rating Sites to Hospital Supervision

  1. Pingback: Tussen Scylla en Charybdis: Spanningsvelden en taakopvattingen in het licht van schadelijk maar legaal ondernemingsgedrag – wilte

  2. Pingback: Wie gaat de VIDE publicatieprijs 2016 winnen? – wilte

  3. Pingback: Uitslag Vide Publicatieprijs 2016: #NoPundit – wilte

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s