Vijf problemen met de rapportage van de JOB Monitor 2010 | Tevredenheidsonderzoek.org

Casestudy: vijf problemen met de rapportage van de JOB Monitor 2010

JOB Monitor 2010Elke twee jaar neemt de Jongeren Organisatie Beroepsonderwijs (JOB) een landelijk tevredenheidsonderzoek af onder mbo-studenten. Bijna alle ROC’s werken aan dit onderzoek mee en elke twee jaar is het weer een flinke klus.

Vorige week zijn de resultaten van de JOB Monitor 2010 gepubliceerd. De rapportage heeft een prachtige lay-out, maar… draagt ze ook bij aan verbetering van het mbo?

Ter referentie: de rapportage vindt u op de site van JOB of hier (deel 1) en hier (deel 2).

In de la met de JOB Monitor 2010?

IDLE-handvatten zijn een aanleiding om de rapportage onderin de la te doen belanden, voordat we met de belangrijkste conclusies van het onderzoek aan de slag zijn gegaan. De rapportage van de JOB Monitor 2010 heeft ze helaas ook. De vijf belangrijkste:

  1. De rapportage is te dik: 170 pagina’s. Dat is eigenlijk niet te dik – dat is véél te dik! Een rapportage van 170 pagina’s zal een veel kleiner lezerspubliek bereiken dan een rapportage van bijvoorbeeld 40 pagina’s. En als we actie en verbetering willen, dan moeten we ervoor zorgen dat de rapportage door zo veel mogelijk mensen wordt gelezen.
  2. Het aggregatieniveau is te hoog. De rapportage geeft resultaten op landelijk niveau. En geeft daarmee geen prikkel voor individuele ROC’s om te verbeteren. Want lage scores  komen door andere ROC’s – niet door dat van ons. Dit IDLE-handvat wordt deels gedekt door de digitale versie, maar omdat zo’n digitale versie véél minder lezers bereikt dan een kant-en-klaar rapport, is het effect ervan beperkt. Beter zou het zijn als de rapportage ook per ROC zou worden opgeleverd.
  3. Heel veel tekst in een klein lettertype. Veel tekst zorgt ervoor dat lezers afhaken. De tekst in deze rapportage voegt ook weinig tot niets toe: er wordt weinig in gemeld dat niet ook uit de grafieken blijkt, met uitzondering van verschillen tussen deelgroepen. Maar als die verschillen universeel belangrijk zijn, moeten ze uit de grafieken blijken. Zijn ze dat niet, dan voldoet de digitale versie van de JOB Monitor 2010, waarbij lezers via internet zelf verbanden kunnen leggen.
  4. De gebruikte kleuren verlagen de prikkel tot actie. JOB houdt van Oranje. Nu doen we dat tijdens een WK of EK bijna allemaal, maar in grafieken in een rapportage is de kleur oranje niet geschikt voor het aangeven van een verbeternoodzaak. Oranje is een ‘vriendelijke’ kleur en zwakt de essentie van de boodschap af. Nederlanders zijn geprogrammeerd op de signaalkleuren rood en groen. Gebruik die in een rapportage om maximaal effect te sorteren. En om het zo snel mogelijk helder te maken waar verbeteringen moeten worden doorgevoerd.
  5. De grafieken zijn van gummi. Wat zijn de cijfers die eronder staan? Waarschijnlijk procenten, maar waarom tellen de balken dan niet op tot 100%? Percentages die niet optellen tot 100% ontkrachten de boodschap en geven de gehele rapportage een ‘gummigevoel’. En dat is dodelijk voor de actiegerichtheid ervan. Overigens maakt het niet uit of de exacte werking van de grafieken in de tekst wordt uitgelegd: die wordt door het merendeel van de lezers niet gelezen. De functionaliteit van grafieken moet direct helder zijn.

Bestuur en ministerie

JOB stoeit met de dubbele doelgroep. Aan de ene kant zijn er  het ministerie en de bestuurders, die willen kunnen zien dat het goed gaat met het mbo in Nederland. De JOB Monitor 2010 is een verantwoordingsinstrument.

Maar het is wel een instrument met een grote potentie. Via de digitale site probeert JOB deze potentie te realiseren, maar daarmee bereik je een fractie van wat je zou kunnen bereiken.

Om tot daadwerkelijke verbetering te leiden, moeten de resultaten ‘in your face’ zijn: voorgekauwd per ROC, per opleiding en zonder twijfel over waar het beter kan.

Gerelateerde artikelen:

  1. Vier tips om de rapportage van een tevredenheidsonderzoek toegankelijker te maken
  2. 2 voordelen van het GROOTS verspreiden van de resultaten van uw tevredenheidsonderzoek