Meten = (z)weten! Een stappenplan
Monitoren en evalueren van je resultaten; belangrijk maar niet gemakkelijk. Kenniscentrum Sport heeft daarom een handleiding laten ontwikkelen voor de monitoring en evaluatie van projecten en interventies die zich richten op kinderen met (risico op) overgewicht. Dit artikel biedt een samenvatting van de stappen en tips die handig zijn voordat je met de handleiding ‘Monitoring en evaluatie bij leefstijlinterventies’ verder de diepte in gaat.
Keuzes maken
Start altijd met het maken van een aantal afwegingen en keuzes bij het uitdenken van je monitoring en evaluatie plan (M&E- plan), zodat je een evaluatie opzet die past bij de daadwerkelijke mogelijkheden. Voor een wetenschappelijke effectstudie zijn in de praktijk vaak te weinig deelnemers, mankracht, kennis, geld en tijd aanwezig. Zo een studie is daarmee vaak niet realistisch, maar vaak ook niet nodig. Houd rekening met de lokale situatie en de doelen van je project bij het uitdenken van een realistisch M&E- plan.
Keuze diagram leefstijlinterventies: hoe pak je het aan?
Het volgende diagram maakt op een eenvoudige wijze duidelijk welke keuzes je dient te maken.
In de rest van dit artikel worden de keuzes uit bovenstaand diagram kort besproken en toegelicht aan de hand van de volgende casus.
Casus
In wijk X wonen veel kinderen in de leeftijd van 6-8 jaar met overgewicht die te weinig bewegen. Om deze kinderen meer te laten bewegen wordt een beweegstimulerende aanpak ontwikkeld. De aanpak bestaat uit onder andere uit zes workshops waarin ouder en kind, door middel van spelletjes en informatie, samen leren bewegen. De verwachting is dat kinderen blijvend meer gaan bewegen, omdat de workshops ervoor zorgen dat ouders samen met hun kinderen bewegen en omdat ouders zich meer bewust worden van het belang van bewegen. Hoe pak je je M&E voor dit onderdeel van de aanpak aan?
1. Doelen
Uitgangspunt van je plan zijn je doelen die weergeven welke gewenste situatie je wil bereiken. Probeer deze zo SMART (specifiek, meetbaar, acceptabel, realistisch, tijdgebonden) mogelijk te maken. Het hoofddoel is wat je met het gehele project wil bereiken; subdoelen krijg je door het hoofddoel op te delen in onderdelen die gedaan moet worden om het hoofddoel te bereiken.
Hoofddoel en subdoelen van de casus kunnen zijn:
- 50% van de kinderen in de leeftijd van 6-8 jaar met overgewicht die deelnemen aan het project, bewegen een maand na afsluiting van het project minimaal zestig minuten per dag
- alle ouders zijn zich bewust van het belang van bewegen voor hun kinderen;
- alle ouders hebben de intentie om ook buiten de workshops samen meer met hun kinderen te bewegen;
- alle kinderen en hun ouders hebben plezier in het samen bewegen;
Voor meer informatie over niveaus van doelen en samenhang van activiteiten zie figuur 8 op pagina 7 in de handleiding monitoring en evaluatie bij leefstijlinterventies of doelen formuleren op de site van Loket Gezond Leven.
Voorbeelden van doelstellingen voor preventie van overgewicht vind je in het themadeel ‘overgewicht’ van Loket Gezond Leven.
2. Effect- of procesevaluatie?
Monitoring
Monitoring vormt een belangrijk onderdeel van je evaluatie. Beiden worden vaak in één adem genoemd, maar betekenen niet hetzelfde. Monitoren is het bijhouden van belangrijke gegevens, zoals cijfers over aantal deelnemers aan activiteiten, op verschillende momenten. Het doel is om inzicht te krijgen in de voortgang van de activiteiten en resultaten. Knelpunten worden gesignaleerd en een eventuele koerswijziging kan tijdig worden ingezet. Bij evaluatie kun je onderscheid maken tussen een proces- en een effectevaluatie.
Procesevaluatie
Een procesevaluatie geeft inzicht in de onderliggende processen, in de realisatie van het project: is het uitgevoerd volgens plan en wat zijn de sterke en zwakke punten in de uitvoering? Deze inzichten kunnen gebruikt worden ter verbetering van de gekozen aanpak. Het kan uitgevoerd worden op het niveau van deelnemers, uitvoerders/professionals en op het niveau van de projectgroep. Het geeft vaak antwoord op de ‘waarom’ vraag, zoals ‘waarom verliep de werving zo stroef?’
Vragen die in een procesevaluatie aan bod kunnen komen zijn:
- Hoe verliep de samenwerking tussen de verschillende projectleden?
- Welke onderdelen van de workshops vonden de ouders goed?
- waarom deden ouders/kinderen wel of niet mee?
- Welke verbetersuggesties hebben uitvoerders en ouders voor invulling van de workshops?
Voor een procesevaluatie kun je meerdere meetmomenten kiezen. Voor aanvang van het project kun je bijvoorbeeld inzicht krijgen in waarom deelnemers deelnemen en wat ze verwachten. Gedurende de aanpak kun je peilen waar de kinderen en ouders behoefte aan hebben. Wat hebben zij nodig om meer te gaan bewegen of waar willen zij meer informatie over hebben? Door deelnemers achteraf te bevragen over de aanpak kan in onze casus bijvoorbeeld blijken dat één van de workshops geen toegevoegde waarde heeft. Je kan er dan voor kiezen om voor de volgende groep deelnemers de workshop te verbeteren of te vervangen.
Effectevaluatie
Met een effectevaluatie wordt gekeken naar de gewenste opbrengsten (effecten) van een project: ‘zijn de doelen behaald en wat zijn neveneffecten van het project?’ ‘Wat heeft de gezamenlijke inspanning opgeleverd?’ Hiervoor is het belangrijk dat er een beeld is van de beginsituatie. Voorafgaand aan de start van het project dient daarom een beginmeting in de einddoelgroep ‘kinderen met overgewicht’ (0-meting) gerealiseerd te worden. Vaak wordt ook een tussenmeting (1-meting) uitgevoerd, maar in ieder geval een eindmeting na afronding van het project. De veranderingen tussen de metingen zijn de effecten. Belangrijk is dat bij de verschillende metingen de vragen of meetmethode hetzelfde zijn.
Het aan te tonen effect is onder andere afhankelijk van het doel van het project (welk effect wil je bereiken met jouw aanpak), de aanpak zelf (methode en intensiteit) en de projectduur. Voor projecten met een korte projectduur gaat het vaak om voorboden van de bedoelde effecten op lange termijn.
Een voorbeeld in onze casus is dat ouders de intentie uitspreken om meer te blijven bewegen met hun kinderen. Dat is een voorbode van het daadwerkelijk meer gaan bewegen. Bij een langere projectduur kan het zijn: 50% van de deelnemende kinderen en ouders bewegen een half jaar na de workshop meer minuten per dag dan voor aanvang van het project.
Om goed inzicht te krijgen in of je doelen zijn behaald en in de uitvoering van je aanpak is het raadzaam om zowel een effect- als een procesevaluatie in kleinere of grotere vorm te doen.
3. Instrument
De volgende stap is het kiezen van je meetinstrument. Welke instrumenten je kiest hangt af van de doelen van je project. Beslissingen die je neemt bij deze keuzes zijn:
Kwantitatief of kwalitatief?
Je kunt kiezen voor kwalitatieve methoden, zoals een interview, een focusgroepgesprek of een observatie- onderzoek. Voor een interview kies je bijvoorbeeld als je persoonlijke drijfveren wil achterhalen of wil doorvragen naar specifieke ideeën van een deelnemer of professional in bijvoorbeeld een procesevaluatie. Hieruit kunnen aanbevelingen komen om jouw aanpak te verbeteren. Een interview geeft de mogelijkheid om af te wijken van de vragen en door te vragen op antwoorden. Hiermee krijg je meer gedetailleerde informatie. De handleiding kwalitatief onderzoek licht dit verder toe en helpt je bij het opzetten van bijvoorbeeld een interview.
Bij kwantitatieve methoden gaat het om bijvoorbeeld een vragenlijst. Is een doel een gezonder gewicht van de kinderen, dan kun je dit kwantitatief meten door lengte en gewicht in kaart te brengen: body mass index. Voor het evalueren van doelen gericht op uithoudingsvermogen en motorische vaardigheden bestaan specifieke testen. In hoofdstuk 5 uit de handleiding monitoring en evaluatie bij leefstijlinterventies lees je hier meer over. Kijk op pagina 3 van dezelfde handleiding voor goede en handige vragenlijsten voor de doelgroep kinderen met overgewicht. Klik door door middel van de hyperlinks.
Onderstaand schema helpt bij het kiezen van je methode.
| Kwalitatief | Kwantitatief |
| Waarom? (vaak procesevaluatie) | Wat? (vaak effectevaluatie) |
| Explorerend | Verklarend |
| Inzicht in gedragingen, motivaties, meningen, wensen en behoeften | Antwoorden op vragen die in hoeveelheden kunnen worden uitgedrukt |
| Kan ingezet worden om de doelgroep zelf mee te laten denken over het project (aanbevelingen voor verbeteringen bijvoorbeeld) | Evalueren interventie; meten gedragsveranderingen |
| Resultaten niet statistisch representatief (gelden bijvoorbeeld niet voor alle kinderen met overgewicht) | Grote groepen mensen om statistisch betrouwbare en representatieve uitspraken te doen |
| Mogelijkheid tot doorvragen; diepgang | Mogelijkheid tot anonimiteit |
| Gedetailleerde informatie (vaker ook citaten) | Resultaten vaak weergegeven in tabellen, grafieken en percentages (cijfers) |
| Minder mensen bereiken met relatief meer tijd en kosten | Veel mensen bereiken met relatief weinig tijd en kosten |
Objectief of subjectief/ zelfrapportage?
Een ander beslissing die je dient te nemen bij de keuze voor instrumenten is of je wil gaan voor objectieve metingen of voor zelfrapportage om sport-, beweeg en voedingsgedrag te meten (Brug, Assema & Lechner, 2007).
Je kunt de mate waarin de kinderen uit de casus lichaamsbeweging krijgen objectief meten met bijvoorbeeld een stappenteller. Je kunt het ook meten door middel van zelfrapportage. Bijvoorbeeld door de kinderen en/ of de ouders dagboekjes in te laten vullen. In de casus zou een van de vragen kunnen zijn: ‘Hoeveel uur heeft je kind de afgelopen week buiten gespeeld?’ Aangeraden wordt om vanaf 10 jarige leeftijd vragenlijsten te gebruiken, omdat ze voor jongere kinderen vaak nog te moeilijk zijn. Voor jongere kinderen of kinderen met een verstandelijke beperking wordt vaak gebruikgemaakt van de mening van ouders
Handleiding Monitoring en evaluatie bij leefstijlinterventies
Met dit artikel is inzichtelijk gemaakt waar over nagedacht dient te worden bij het opstellen van je M&E plan. Wil je hier meer mee en daadwerkelijk aan de slag, dan is het inschakelen van een M&E expert of de handleiding monitoring en evaluatie bij leefstijlinterventies je volgende stap.
Te Velde Research & Consultancy heeft de handleiding ‘Monitoring en evaluatie bij leefstijlinterventies’ in opdracht van Kenniscentrum Sport, mede voor het programma Sport en Bewegen in de Buurt geschreven.
De handleiding geeft aan de hand van een stroomdiagram stap voor stap weer hoe projecten en interventies geëvalueerd kunnen worden. Het is opgebouwd met een algemene inleiding (hoofdstuk 3) over gedragsverandering (theorieën en determinanten van gedrag) ten behoeve van overgewichtspreventie en – behandeling. Vervolgens wordt dieper ingegaan op monitoring en evaluatie (hoofdstuk 4). Daarna volgen hoofdstukken die specifiek over bepaalde onderdelen in de evaluatie gaan. In hoofdstuk 6 staat beschreven hoe je de gevonden gegevens goed in een database verzameld, kunt analyseren en rapporteren.
De lezer kan zich met behulp van de handleiding specifiek richten op de hoofdstukken die voor hem/ haar relevant zijn. De handleiding beschrijft de M&E van projecten die zich richten op kinderen met (risico op) overgewicht, maar is ook bruikbaar voor andere sport- en beweegprojecten.
Op Loketgezondleven.nl vind je tips voor gemeenten die de impact van hun gezondheidsbeleid – inclusief sport en bewegen – willen evalueren.
Bronnen
- Alles over sport (2016). Monitoren meet het effect van je project. Geraadpleegd op 15 april 2016.
- Brug, J., Assema, P. V. & Lechner, L. (2012). Gezondheidsvoorlichting en gedragsverandering: een planmatige aanpak. Assen: Uitgeverij Van Gorcum
- Hoyng, J. & Bisseling, R., (2018). Monitoring- en evaluatiewijzer sport- en beweegbeleid. Bennekom: Nederlands Instituut voor Sport en Bewegen (NISB).
Met dank aan de bijdrage van Michelle Brouwhuis (stagiair bij Kenniscentrum Sport).