Organiseren van evaluaties

Dit thema behandelt verschillende aspecten van evaluaties en hoe je dit aan kunt pakken. ⓘ

Evalueren met professionals

✘ Werkt niet

De waarde van evaluatie onderschatten

Het nut en de waarde van het evalueren van eHealth-interventies wordt soms onderschat, terwijl dit de beste manier is om de interventie te verbeteren.

: Wanneer professionals zelf niet overtuigd zijn van de voordelen en de waarde van de interventie, kan het lastig zijn hen te enthousiasmeren voor een evaluatie van de interventie.

✔ Werkt wel

Maak de toegevoegde waarde van evalueren inzichtelijk

Informeer teamleden en andere professionals over de voordelen en de toegevoegde waarde van het evalueren van eHealth-interventies.

Door de voordelen en toegevoegde waarde van de evaluatie inzichtelijk te maken, kun je professionals makkelijker overtuigen en zullen ze meer bereid zijn om de evaluatie te faciliteren.

• Formatieve evaluaties van eHealth hebben diverse voordelen, zoals de mogelijkheid om het programma continu te verbeteren, kostenbesparingen, verhoogde gebruikerstevredenheid en een hogere acceptatiegraad. Ontwikkelaars kunnen feedback van de doelgroep direct gebruiken om het product te verbeteren of problemen in een vroeg stadium te verhelpen.

• Laat teamleden of stakeholders die twijfelen over het nut van evaluaties testsessies met de doelgroep observeren. Dit legt een gemeenschappelijke basis. Ook kun je zo direct bevindingen documenteren en communiceren.

• Organiseer een bijeenkomst waarin je de verschillende teamleden en stakeholders informeert over de te plannen evaluaties.

Inspireer ze door showcases te laten zien. Bekijk voor voorbeelden de website van Pharos, Designkit & Got-It.
Beantwoord hun vragen en probeer hun zorgen over de evaluatie weg te nemen.
Zorg voor een lunch of borrel ter afsluiting van de bijeenkomst als extra motivatie.

Expertadvies

✘ Werkt niet

Gebrek aan kennis van evaluaties

Een gebrek aan kennis over de juiste methoden en momenten voor evaluatie kan een obstakel vormen.

: Wanneer de professionals geen ervaring hebben met het evalueren van eHealth-interventies bij deze doelgroep, is het moeilijker een effectieve evaluatie te plannen en uit te voeren.

✔ Werkt wel

Schakel deskundigen in

Schakel deskundigen op het gebied van eHealth én de doelgroep in om te begeleiden bij het organiseren van evaluaties.

: Deskundigen hebben veel kennis en ervaring op dit gebied, waardoor ze weten wanneer en op welke manier een evaluatie het best kan plaatsvinden. Zo ga je effectiever en efficiënter te werk.
: • Zorg voor interdisciplinaire kennis door samen te werken met andere onderzoekers of professionals op het gebied van eHealth en de doelgroep. Bekijk de website van Pharos voor meer informatie.

✔ Werkt wel

Stel een evaluatieplan op

Stel een evaluatieplan op om richting te geven aan de evaluatie van de eHealth-interventie.

: Een evaluatieplan geeft de evaluatie richting op het gebied van prioriteiten, middelen, tijd en vaardigheden die nodig zijn om de evaluatie uit te voeren.
: • In het evaluatieplan kun je beschrijven hoe de interventie gemonitord en geëvalueerd zal worden en op welke manier de evaluatieresultaten gebruikt zullen worden voor de verbetering van de eHealth-interventie of voor besluitvorming. Het evaluatieplan kan gebruikt worden als een communicatiemiddel tussen teamleden.

• Geadviseerd wordt om de volgende onderwerpen op te nemen in het plan: naam van het product of de site die wordt getest; studiedoelen; welke effecten je evalueert en hoe; logistiek: tijd, data, locatie en studievorm; deelnemersprofielen; taken; analyses en vragenlijsten; beschrijving van het systeem (bijvoorbeeld mobiel, desktop, computerinstellingen). Bekijk voor inspiratie de ‘usability test plan template’ van de Usability/gov website.

• Je kunt niet alles evalueren, dus is het belangrijk van tevoren je doelen en vragen voor de evaluatie te formuleren. Bepaal bijvoorbeeld welke aspecten van de technologie en navigatie je doelgroep moet begrijpen met usability testing. Met de resultaten kun je de interventie verbeteren. Als je in plaats daarvan interventietrouw wilt meten, kun je bijvoorbeeld Log Data Analysis gebruiken. Voor meer informatie over verschillende evaluatievormen, lees het hoofdstuk van Sieverink et al., 2019.

Stapsgewijs evalueren

✘ Werkt niet

Tussentijds evalueren overslaan

EHealth-interventies worden vaak pas tijdens het gebruik, in plaats van tijdens de ontwikkeling geëvalueerd. Met tussentijdse evaluaties kun je echter veel effectiever ontwikkelen. Sla deze dus niet zomaar over.

: De bekendste vorm van evaluatie in de gezondheidswereld is de effectevaluatie. Hiermee beoordeel je of en hoe goed een eHealth-interventie haar beoogde doel(en) heeft behaald. Tussenevaluaties zijn een stuk minder bekend. Continue evaluatiecycli (ook wel formatieve evaluatie) zijn misschien nog wel belangrijker dan eindevaluaties. Maar ze vergen kennis, geld en tijd, wat een belemmering vormt voor de uitvoering.

✔ Werkt wel

Ontwerp en test stapsgewijs

Om de interventie goed af te stemmen op de doelgroep is het belangrijk om al tijdens de ontwikkeling te evalueren.

Wanneer je de eHealth-interventie stapsgewijs ontwerpt en tussentijds test met verschillende gebruikers uit de doelgroep, werk je doelgericht aan een eindproduct dat goed aansluit bij de doelgroep.

• Er is geen gouden standaard voor het evalueren van eHealth. De keuze voor een evaluatiemethode hangt af van de technologische doelen en de (onderzoeks)vragen die de interventie moet beantwoorden.

• Probeer zo vroeg mogelijk te evalueren. Tussenevaluaties kunnen gebruikt worden voor de ontwikkeling van inhoud, informatiearchitectuur, visueel ontwerp, interactieontwerp en algemene gebruikerstevredenheid. Voor inspiratie, raadpleeg het artikel over de SABA app, speciaal ontworpen met en voor astmapatiënten en het artikel over het ontwikkelen van een digitale interventie voor medicijngebruik voor astmapatiënten met een lage gezondheidsvaardigheid.

• GOT-IT geeft praktische aanbevelingen voor onderzoekers en ontwikkelaars voor het uitvoeren van co-design-sessies met mensen met een lage eHealth-geletterdheid.

• Als je een concreter idee wilt krijgen van hoe evaluaties eruit kunnen zien voor bijvoorbeeld mensen met een lagere eHealth literacy, bekijk dan deze website

• Bekijk het evaluatieplan dat je hebt ontwikkeld en inventariseer voor de start van de evaluatie de volgende aspecten:

Definieer doelen voor de evaluatie.
Bepaal het formaat en de setting van het onderzoek.
Bepaal het aantal participanten.
Bereid duidelijke instructies en taken voor.

• Voer, voordat je daadwerkelijk begint met de evaluatie, een pilotstudie uit met de doelgroep (bijvoorbeeld mensen met een lagere SEP) om te kijken of alle taken helder zijn, etc.

Doelgroepgerichte evaluatie

✘ Werkt niet

Een mismatch tussen de evaluatiemethoden en de doelgroep

Wanneer evaluatiemethoden (zoals vragenlijsten) niet aansluiten bij de doelgroep, is de kans groot dat je onvoldoende of onbruikbare feedback krijgt.

: Een gebrek aan kennis over de doelgroep kan ervoor zorgen dat de professionals die de evaluaties uitvoeren kiezen voor evaluatiemethoden die niet aansluiten bij de interesse of kunde van de doelgroep. Hierdoor is de kans groot dat de doelgroep afhaakt of helemaal niet deelneemt en dat gaat ten koste van de resultaten.

✔ Werkt wel

Kies voor eenvoudige evaluatiemethoden

Gebruik evaluatiemethoden die de doelgroep laagdrempelig kan gebruiken. Zo vergroot je de kans op bruikbare feedback.

: Door eenvoudige evaluatiemethoden te gebruiken wordt het voor de doelgroep aantrekkelijker en gemakkelijker om input te leveren aan de evaluatie. Ook is de kwaliteit van de feedback beter, omdat de doelgroep serieuze antwoorden heeft kunnen geven.
: • Maak gebruik van de toolkit van Got-It die ontwikkeld is voor de doelgroep met lage eHealth literacy. Bekijk hun tips over co-designen met deze doelgroep. Klik op ‘find a tool’ op de website van userinterviews voor een overzicht van verschillende evaluatietools. Bekijk voor een korte uitleg over ‘usability evaluaties’ en hun methoden deze website

• Maak gebruik van stoplichtkleuren of smileys in plaats van talige antwoorden. Pharos geeft in dit document een aantal voorbeelden waarbij vragen zijn gebruikt met laagdrempelige antwoordopties.

• Deze vereenvoudigde vragenlijst van de gezondheidsmonitor kun je als inspiratie gebruiken om simpele vragenlijsten te ontwikkelen voor je evaluatie.

• Wil je inspiratie opdoen voor bruikbare evaluatievormen, raadpleeg dan de Designkit website en de Nielsen Norman Group. Deze websites geven een overzicht van verschillende methoden die laagdrempelig kunnen zijn voor de doelgroep.

• Gebruik feedbackrondes in spelvorm. Een goed voorbeeld is card sorting. Je kunt dit gebruiken bij het ontwerpen of evalueren van de eHealth-interventie. Gebruik een woord of een afbeelding op elke kaart, maar wat je ook kiest; zorg ervoor dat het gemakkelijk te begrijpen is. Meer informatie over deze methode vind je op deze websites [1][2][3].

• Vermijd te uitgebreide vragenlijsten. Focus op het meten van slechts de noodzakelijke gegevens en overweeg het gebruik van verkorte varianten. Voor tussentijdse evaluaties kun je bijvoorbeeld een op maat gemaakte vragenlijst ontwerpen, gebaseerd op gevalideerde vragenlijsten die aansluiten bij de behoeften van de doelgroep.

Tijd en budget voor evaluaties

✘ Werkt niet

Een gebrek aan middelen bij professionals

Een beperkt budget en tijdgebrek bij professionals kunnen de uitvoering van het evaluatieonderzoek bemoeilijken.

: Veel professionals beschouwen evaluatieonderzoeken als extra belastend omdat ze tijd en inspanning vergen. Daarom worden ze minder vaak uitgevoerd dan misschien wenselijk zou zijn (Al-Dhahir et al., 2022).

✔ Werkt wel

Stel middelen beschikbaar

Voor kwalitatief goede (tussentijdse) evaluaties van eHealth-interventies is het belangrijk om voldoende tijd en budget toe te kennen aan professionals.

: Evaluaties dragen bij aan het bepalen van effectiviteit en efficiëntie, het oplossen van problemen en het verbeteren van kwaliteit en gebruikerstevredenheid. Zo kunnen de adoptie en impact van de interventie worden vergroot. Daarom is het belangrijk om de (tussentijdse) evaluaties voldoende aandacht en dus middelen te geven.
: • Betrek vanaf het begin een deelnemerspanel bij het project. Zo bespaar je jezelf tijd bij het werven van deelnemers. Maak van tevoren afspraken over het budget voor het panel, zodat er voldoende middelen beschikbaar zijn.