Wat is een forest plot?

Een forest plot is een illustratie van een meta-analyse. Het toont de resultaten van zowel elke individuele studie als het gecombineerde resultaat van de meta-analyse. De inschatting en betrouwbaarheidsinterval worden weergegeven voor elke individuele studie. Het gecombineerde resultaat wordt onderaan weergegeven, in de vorm van een diamant. De naam ‘forest plot’ is gebaseerd op het bos van lijnen dat in de figuur weergegeven wordt.

Hier vind je meer informatie over de oorsprong van forest plots.

Het resultaat van mijn meta-analyse is statistisch significant. Wat betekent dit nu?

Statistische significantie impliceert dat de verschillen tussen twee behandelingen, bijvoorbeeld de resultaten van een meta-analyse, echt zijn en niet gebaseerd op puur toeval of kans. Statistische tests berekenen de kans dat een resultaat gebaseerd is op toeval. Hoe lager deze kans, hoe groter de waarschijnlijkheid dat de resultaten echt zijn. Een verschil wordt statistisch gezien als ‘echt’ beschouwd wanneer de waarschijnlijkheid dat de resultaten gebaseerd zijn op toeval kleiner is dan 5%. Dit is de gekende p-waarde van 0.05.
Statistische significantie betekent niet automatisch dat de resultaten ook klinisch belangrijk zijn.

Wat wordt bedoeld met klinische relevantie?

Klinische relevantie betekent belangrijk voor de patiënt. Sommige effecten zijn zo klein dat patiënten het verschil niet zouden merken. Om klinische relevantie in te schatten moeten patiënten de grootte van een effect inschatten: is het groot genoeg om van belang te zijn? Er is geen algemene manier om in te schatten of resultaten klinisch relevant zijn. Dit hangt af van de uitkomst, de patiënt en de aandoening.
Om resultaten van een meta-analyse te interpreteren zouden zowel de statistische significantie als de klinische relevantie moeten ingeschat worden.
Meer informatie over statistische significantie versus klinische relevantie vind je hier.

Hoe interpreteer je een forest plot?

Stap 1: Kijk eerst welke groepen of behandelingen met elkaar vergeleken worden.
Stap 2: Kijk naar de uitkomstmaat en hoe het gerapporteerd wordt.
Stap 3: Interpreteer de oriëntatie van de forest plot: welke kan van de plot geeft een voordeel weer voor de behandeling.
Stap 4: Kijk naar de hoeveelheid studies, het aantal patiënten en de significantie van de resultaten in de individuele studies.
Met deze informatie kan je een meta-analyse gaan interpreteren.

Hoe interpreteer je een meta-analyse?

Om de resultaten van een meta-analyse te interpreteren bekijk je eerst de richting van het effect: Toont het gecombineerd effect een positief of een negatief effect aan in de interventiegroep, vergeleken met de controlegroep? Daarna bekijk je hoe precies de resultaten van de meta-analyse zijn, via de breedte van het betrouwbaarheidsinterval. Is het effect statistisch significant? Zo ja, is het ook klinisch relevant? Als laatste kijk je of er heterogeniteit tussen de studies aanwezig is.

Wat is de PRISMA checklist?

PRISMA is een afkorting voor ‘Preferred Reporting Items for Systematic Reviews and Meta-Analyses. De PRISMA checklist bevat 27 items die richting geven over hoe het item te rapporteren. PRISMA helpt auteurs van systematische reviews en meta-analyses om hun werk transparant weer te geven. Meer en meer vakbladen vragen auteurs om zich te houden aan deze checklist bij het indienen van een systematische review. Het PRISMA statement verscheen in meerdere vakbladen, bijvoorbeeld: http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1000100.
Momenteel ondergaat het PRISMA statement een update. Een preprint van PRISMA 2020 is hier beschikbaar.

Wat is een netwerk-meta-analyse?

Netwerk-meta-analyses vergelijken de effecten van verschillende behandelingen voor dezelfde aandoening. Traditionele meta-analyses daarentegen vergelijken slechts twee behandelingen. Netwerk-meta-analyses zijn nuttig om verschillende behandelingen voor een aandoening te evalueren en te achterhalen welke behandeling het meest effectief is.
Hoe werkt het?
Veel studies vergelijken een behandeling enkel met placebo, terwijl andere studies twee behandelingen met elkaar vergelijken. Netwerk-meta-analyses kunnen al het bewijsmateriaal in één analyse bevatten; zowel directe als indirecte bewijzen (zie figuur onder). Direct bewijs komt voort uit studies die behandeling A met behandeling B vergelijken. Voor indirect bewijsmateriaal zijn twee soorten studies nodig: studies die behandeling A met B vergelijken en studies die behandeling A met C vergelijken. Door beide effecten van elkaar af te trekken kan je het effect van B ten opzichte van C schatten. Belangrijk hierbij is dat behandeling C tussen alle studies vergelijkbaar is. Op deze manier wordt een netwerk van effecten tussen alle mogelijke interventies gebouwd met behulp van direct en indirect bewijsmateriaal.

Bekijk hier een korte video over dit onderwerp. Meer traininkg kan u hier vinden.

Moeten we echt in parallel werken om een goede systematische review te maken, en in welke stappen van de review is dit het belangrijkst? 

Het voorbereiden en uitvoeren van een systematische review vraagt veel beslissingen. Het in parallel en apart laten schrijven van delen van een review door twee personen, vermindert de kans op fouten. Het verkleint ook de mogelijkheid dat overtuigingen van één reviewer de beslissingen beïnvloeden, wat bias kan veroorzaken.
Voor Cochrane reviews is werken in parallel verplicht bij beslissingen over de inclusie van de studies, bij het verzamelen van uitkomstdata en bij het oordelen van bias. Verder is het is zeer wenselijk bij het verzamelen van informatie over studiekarakteristieken (MECIR standaarden: C39, C45, C46, C53).

Wat is heterogeniteit?

Heterogeniteit betekent variatie of verschillen tussen studies die opgenomen werden in een systematische review. Heterogeniteit is altijd aanwezig, omdat een systematische review meerdere unieke studies bevat. De variatie tussen studies kan liggen aan de karakteristieken van de bestudeerde deelnemers (bv. Een studie die volwassenen onderzocht, terwijl een andere keek naar 65-plussers), behandeling (bv. Een studie diende medicatie toe in tabletvorm terwijl de een andere injecties gebruikte) of uitkomsten (bv. Een studie bestudeerde ongewenste effecten, terwijl de andere ernstige ongewenste effecten als uitkomst had). Dit noemen we klinische heterogeniteit. Verschillen in studieresultaten (bv. Een studie vond positieve effecten, terwijl de andere negatieve effecten vond) noemen we statistische heterogeniteit in deze YouTube video.

Wat kan ik doen aan heterogeniteit?

In het geval van klinische heterogeniteit, dus wanneer er verschillen zijn tussen studies met betrekking tot de deelnemers, behandelingen of uitkomsten, moet je goed overwegen of een meta-analyse gepast is. Wanneer je verwacht dat verschillen in studie karakteristieken geen invloed zullen hebben op de resultaten is een meta-analyse gepast. In andere gevallen niet. Deze beslissing dient gemaakt te worden door personen met klinische expertise in het onderwerp.
Statistische heterogeniteit moet onderzocht worden. Eerst test je of het aanwezig is of niet. Wanneer dit het geval is moet je testen hoe groot de heterogeniteit is. Wanneer er een grote mate van heterogeniteit is moet dit verder onderzocht worden. De verschillen methoden hiervoor kunnen hier niet besproken worden, maar meer informatie is te vinden in het Cochrane handboek.

Valkuilen bij subgroepanalyses

Subgroepanalyses onderzoeken heterogeniteit, bijv. of het effect van een behandeling varieert op basis van bepaalde kenmerken van een populatie, zoals leeftijd, of op basis van kenmerken van de behandeling, zoals de dosis. Ze beantwoorden ook onderzoeksvragen die zich richten op specifieke groepen deelnemers of behandelingen. 
Er zijn beduidende problemen met dit soort analyses: 

• Studies rapporteren zelden resultaten voor specifieke subgroepen van deelnemers, bijvoorbeeld het effect bij personen van een bepaalde leeftijd. Veel studies kunnen daarom niet worden gebruikt in standaard meta-analyses van subgroepen. 
• Subgroepanalyses zijn observationeel onderzoek, omdat ze niet meer gebaseerd zijn op een vergelijking waarbij mensen willekeurig toegewezen worden aan de ene of de andere groep. 
• Hoe meer subgroepanalyses worden uitgevoerd, hoe groter de kans dat je vals-positieve of vals-negatieve resultaten verkrijgt. 

Door deze valkuilen kunnen resultaten van subgroepen misleidend zijn. Als je resultaten van subgroepanalyses als heel zeker interpreteert, kan dit tot verkeerde aanbevelingen voor de praktijk leiden. Patiënten krijgen dan behandelingen die eigenlijk niet werken, of krijgen geen behandelingen die in het echt effectief zijn. 
Subgroepanalyses moeten vooraf worden gepland, als onderdeel van het protocol, en voorzichtig geïnterpreteerd. Om verschillen tussen subgroepen te onderzoeken beveelt Cochrane een formele statistische benadering aan. Bekijk deze in het Cochrane Handbook.