Wat is publicatie bias?

Publicatie bias is een verstoring van de resultaten van een systematische review doordat niet alle studies opgenomen werden. We weten dat studies die negatieve resultaten bevatten, dus studies die aantonen dat een bepaalde behandeling niet werkt, minder kans hebben om gepubliceerd te worden. Zulke studies zijn dus moeilijker om te vinden en om op te nemen in een systematische review. Wanneer een aantal negatieve studies ontbreken in een systematische review zal het resultaat niet representatief zijn voor het ware effect van de onderzochte interventie. Dit is de belangrijkste zwakte van systematische reviews. Lees meer in deze Evidently Cochrane blog (in Engels).

Hoe omgaan met publicatie bias in een systematische review?

De methoden van je review moeten proberen om publicatie bias zoveel mogelijk te vermijden, door bijvoorbeeld een heel uitgebreide zoektocht te ondernemen. Verschillende bronnen raadplegen is belangrijk, onder registers van klinische studies. Wanneer je de resultaten van je systematische review interpreteert is het belangrijk dat er studies werden gemist interpreteert. Wanneer de kans op publicatie bias groot is, is het belangrijk dat je het vertrouwen in de resultaten verminderd.
De GRADE working group heeft een systeem ontwikkeld om deze vorm van bias, naast andere vormen van bias, te beoordelen op een systematische manier. Zie GRADE guidelines: Rating the quality of evidence - publication bias.

Hoe weet ik of een systematische review van goede kwaliteit is?

Er bestaat een checklist met 16 items die de kwaliteit van een systematische review omvatten, de AMSTAR 2 (A MeaSurement Tool to Assess systematic Reviews). De verschillende items beoordelen hoe een systematische review werd uitgevoerd, bijvoorbeeld of de onderzoekers vooraf een protocol opstelden, hoe breed hun zoektocht naar relevante literatuur was, of de screening van studies door twee reviewers onafhankelijk van mekaar gebeurde etc. Een systematische review is van goede kwaliteit wanneer aan alle items voldaan werd. De AMSTAR 2 tool kan ook gebruikt worden als hulpmiddel bij het uitvoeren van een systematische review.

Wat is GRADE?

GRADE komt van ‘Grading of Recommendations Assessment, Development and Evaluation’. Dit is een transparante methode om het vertrouwen in de resultaten van een review te beoordelen en om aanbevelingen in systematische reviews en richtlijnen te formuleren. Veel onderzoekers en internationale organisaties hebben hieraan meegewerkt. GRADE wordt nu beschouwd als gouden standaard om het vertrouwen in wetenschappelijk bewijs over het effect van behandelingen te beoordelen. Een aangepaste GRADE-methodiek is beschikbaar om wetenschappelijk bewijs over diagnostische testen te beoordelen. Meer informatie op de GRADE working group website.

Hoe GRADE toepassen, ofwel de kwaliteit van bewijs graderen?

Elke effectmaat van de systematische review ontvangt een beoordeling: hoge, matige, lage of zeer lage kwaliteit. Dit geeft aan hoe zeker we zijn over de resultaten van dit effect. Het GRADE-systeem werkt als volgt:

De beoordeling begint bij het type studie dat in de review is geïncludeerd. Zijn dit RCTs, dan is het begin niveau ‘hoog’. GRADE benoemt vijf factoren die het vertrouwen in de resultaten verlagen, bijvoorbeeld: risico op bias (vertekening van de resultaten) of indirectheid van de resultaten. Elke factor die van toepassing is op de resultaten verlaagt de kwaliteit met 1 niveau; in extreme situaties zelfs met 2 niveaus. Dus, als een van de vijf factoren van toepassing is op de resultaten van de review met RCTs, dan is het eindoordeel ‘matig niveau van kwaliteit’.
Voor systematische reviews van observationele studies is het begin niveau ‘laag’. GRADE benoemt 3 factoren die het vertrouwen in de resultaten verhogen, zoals er is een groot effect of er is bewijs voor een dosis-response relatie. Dus, als een van de drie factoren van toepassing is op de resultaten van de review met observationele studies, dan is het eindoordeel ook ‘matig niveau van kwaliteit’.

Voor meer informatie, lees het online GRADE handboek op de GRADEpro website.

Hoe een aanbeveling formuleren met GRADE?

GRADE heeft vier mogelijkheden om aanbevelingen te formuleren: sterk voor, zwak voor, zwak tegen en sterk tegen. Een sterke aanbeveling voor een behandeling betekent dat alle patiënten gebaat zijn met die behandeling, terwijl een zwakke aanbeveling impliceert dat sommige, maar niet alle patiënten de behandeling zouden moeten krijgen. 
De aanbeveling weerspiegelt de zekerheid dat deze behandeling meer voordelen dan nadelen heeft. De keuze is dan weer gebaseerd op de afweging tussen effecten en nevenwerkingen, de kwaliteit van het bewijs, de voorkeuren van patiënten en het gebruik van middelen.
Voor meer informatie, lees het online GRADE handboek op de GRADEpro website.

Wat is een funnel plot?

Een funnel plot is een diagram dat wordt gebruikt in meta-analyses ter beoordeling van bias. Het plot toont voor elke studie de effect grootte op één as (bijvoorbeeld de odds ratio) en de grootte van de studie of de precisie ervan op de andere as, meestal uitgedrukt als standaardfout.
Elke stip in de figuur hieronder vertegenwoordigt een studie. Grotere studies hebben kleinere standaardfouten en staan bovenin de figuur. Kleinere studies staan in het midden en de kleinste staan onderaan. Wanneer er geen bias is, wordt de variatie in effecten tussen studies alleen veroorzaakt door verschillen tussen de studie populaties. Omdat deze variatie random is, zijn de effecten van kleinere studies gelijkmatig verdeeld rond de effecten van de grote studies. De stippen vormen dan een piramide of een omgekeerde trechter.

Hoe een funnel plot interpreteren?

Asymmetrische funnel plots in systematische reviews van interventiestudies worden soms geïnterpreteerd als de aanwezigheid van publicatiebias. Dit is echter niet altijd waar. Er zijn verschillende verklaringen voor asymmetrische funnel plots, zoals:

• reporting bias, d.w.z. dat significante resultaten die een positief effect suggereren meer kans hebben op publicatie dan niet-significante resultaten;
• echte heterogeniteit, d.w.z. verschillende resultaten tussen subgroepen (zie onderstaande figuur);
• methodologische problemen, die leiden tot inflatie van resultaten van kleine studies;
• toeval, vooral als de systematische review weinig studies bevat.

Naast het maken van een funnel plot zijn statistische tests hiervoor aanbevolen. Deze tests hebben weinig power, wat betekent dat bias niet kan worden uitgesloten als de test negatief is. Enkele algemene aanbevelingen voor het testen op asymmetrische funnel plots: 

• Beschrijf in je protocol welke tests op asymmetrische funnel plots je wil doen.
• Voer deze tests enkel uit als je systematische review ten minste 10 studies bevat.
• Interpreteer de resultaten van de tests samen met een visuele inspectie van de plot.
• Beschouw in geval van asymmetrie publicatie bias als een van de mogelijke verklaringen.

Figuur linksboven (alle studies): asymmetrische funnel plot o.w.v. echte heterogeniteit
Andere figuren (subgroup 1, 2 en 3): resultaten van drie subgroepen die de heterogeniteit verklaren
(Bron: Sterne et al, 2011)

Meer informatie:
Sterne JAC et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;343:d4002
Cochrane Handbook for Systematic Reviews of Interventions: Funnel plots.

Risico op bias: willekeurige volgorde van toewijzing

RCT’s zijn zeer geschikt om de effecten van interventies te onderzoeken. De randomisatieprocedure zorgt voor gelijke prognostische factoren en dus twee vergelijkbare groepen bij aanvang van de studie.
De eerste stap van een goede randomisatie is het genereren van een willekeurige volgorde. Deze lijst geeft de volgorde aan van toewijzing van de deelnemers. Het belangrijkste principe van een goede  randomisatie is dat je onmogelijk kan voorspellen welke behandeling de volgende deelnemer zal ondergaan.
Als je kan voorzien naar welke groep de volgende patiënt zal worden toegewezen, kan risico op bias optreden als gevolg van veranderende selectieprocedures. Patiënten kunnen selectief of helemaal niet worden geïncludeerd als de volgende behandeling niet passend lijkt. Dit verhindert een evenwichtige inclusie en kan tot verschillen tussen beide groepen leiden.
Inadequate manieren van een willekeurige volgorde zijn bijvoorbeeld het toewijzen volgens geboortedatum of dag van de week. Adequate manieren zijn bijvoorbeeld lijsten met willekeurige getallen of een computergegenereerde lijst met willekeurige getallen.

Risico op bias: verbergen van de toewijzing

De tweede stap van een goede randomisatie is het verbergen van de toewijzingsvolgorde voor de mensen die betrokken zijn bij de studie. Dit betekent dat de deelnemers en onderzoekers niet weten welke behandeling de volgende deelnemer zal ontvangen.
Als je kan voorzien naar welke groep de volgende patiënt zal worden toegewezen, kan risico op bias optreden als gevolg van veranderende selectieprocedures. Patiënten kunnen selectief of helemaal niet worden geïncludeerd als de volgende behandeling niet geschikt lijkt. Dit verhindert een evenwichtige inclusie en kan tot verschillen tussen beide groepen leiden.
Een inadequate manier is bijv. het gebruik van enveloppen die onvoldoende beveiligd zijn, bijv. niet dichtgeplakt, doorschijnend of niet opeenvolgend genummerd. Een adequate manier is bijv. een centrale toewijzing, waarbij de persoon die de deelnemer rekruteerde een onafhankelijk centrum of persoon contacteert die de volgende toewijzing doorgeeft. Dit kan telefonisch gebeuren, via internet of bij een apotheker.

Risico op bias: blindering patiënten en personeel

Verschillende (groepen) personen kunnen geblindeerd worden in een gerandomiseerde gecontroleerde studie. Dit domein richt zich op het blinderen van patiënten en zorgverleners.
Gebrek aan blindering kan een invloed hebben op de uitkomsten van de deelnemers van de studie, bijv. omdat personen in de controlegroep lagere verwachtingen hebben. Er kunnen systematische verschillen tussen groepen optreden, bijv. in de dropout, co-interventies of follow-up-procedures. Effectieve blindering zorgt ervoor dat de twee groepen een soortgelijke hoeveelheid aandacht, ondersteunende behandeling en diagnostische onderzoeken krijgen.
Het risico op bias kan hoog zijn voor sommige uitkomsten en laag voor andere. Gebrek aan blindering kan bijv. een invloed hebben op de levenskwaliteit, maar minder op mortaliteit. Het risico op bias door gebrek aan blindering moet daarom afzonderlijk beoordeeld worden voor verschillende uitkomstmaten.

Risico op bias: blindering van beoordelaars

Blindering van de beoordelaars is een afzonderlijk domein in het risico op bias instrument van Cochrane. Deze beoordelaars voeren de beginmetingen uit en meten de resultaten van studies. Als zij weten welke behandeling een bepaalde deelnemer ontvangt, kan dit hun oordeel beïnvloeden. Dit risico op bias is vooral, maar niet uitsluitend, van belang voor subjectieve uitkomstmaten zoals het stellen van een diagnose op basis van röntgenfoto's en scans.
In sommige studies is het niet mogelijk om de assessoren te beoordelen. Dit wil echter niet zeggen dat dit zomaar genegeerd moet worden. Auteurs van systematische reviews moeten altijd evalueren of beoordelaars geblindeerd waren en, indien ze dat niet waren, of dit mogelijks leidt tot bias.

Risico op bias: onvolledige uitkomstdata

De term ‘onvolledige uitkomstdata’ verwijst naar het ontbreken van gegevens in een studie doordat patiënten uitvallen, afhaken of uitgesloten worden nadat ze gerandomiseerd werden. Sommige uitsluiting kunnen gerechtvaardigd zijn, bijv. patiënten die verhuizen, maar dergelijke uitsluitingen moeten plaatsvinden voordat alle resultaten worden gemeten.
Het risico op bias gerelateerd aan onvolledige uitkomstdata hangt af van verschillende factoren, waaronder de volgende:

• Van hoeveel patiënten ontbreken de gegevens?
• Zijn deze aantallen in evenwicht tussen de groepen?
• Wat zijn de redenen voor dropout?
• Zijn de resultaten tussen patiënten met of zonder gegevens verschillend?
• Hoe moeten de ontbrekende resultaten geïnterpreteerd worden in een klinische context?

Het risico op bias is laag als de redenen voor het ontbreken van gegevens in voldoende detail worden beschreven en als ze gelijk verdeeld zijn over de groepen. Als de redenen voor dropout alleen in algemene termen worden beschreven, is het moeilijk om de gevolgen ervan te beoordelen. 'Weigeren patiënten deelname' omdat ze niet willen oefenen in de experimentele groep, of omdat ze ontevreden zijn met het advies om niet te oefenen in de controlegroep?
De stelling 'wij voerden een ITT-analyse uit' is een onvoldoende basis om een laag risico op bias te verwachten, omdat de term ITT geen consistente definitie heeft. Een echte ITT volgt 3 principes:

• Houd deelnemers in de groepen waartoe ze werden gerandomiseerd, ongeacht de interventie die ze daadwerkelijk ontvangen.
• Meet uitkomstdata van alle deelnemers.
• Neem alle gerandomiseerde deelnemers op in de analyse.

Het risico op bias is hoog als de dropout gekoppeld is aan de studieresultaten, bijv. als ziekere mensen een hogere kans hebben op dropout. Het uitsluiten van patiënten omwille van het 'falen van een behandeling' kan bias opleveren als de aantallen voor de behandelgroepen niet gelijk zijn.

Risico op bias: selectieve rapportage

'Selectieve rapportage' verwijst naar de situatie waarin niet alle variabelen uit een studie worden gerapporteerd. Dit is een potentiële bron van bias, omdat het meestal niet-significante resultaten betreft. Meta-analyses die geen niet-gepubliceerde resultaten bevatten, overschatten dus waarschijnlijk het effect van interventies.
De volgende situaties zijn voorbeelden van selectieve rapportage. Er kan risico op bias optreden wanneer de niet-significante resultaten selectief worden weggelaten.

• selectieve rapportage van uitkomsten binnen een studie;
• selectieve keuze van gegevens voor een uitkomst:
  • Sommige resultaten worden gerapporteerd m.b.v. verschillende maten, of worden op verschillende tijdstippen gemeten.
• selectieve rapportage van analyses van dezelfde gegevens:
  • Er zijn verschillende manieren om gegevens te analyseren, bijv. de eindscore of het verschil ten opzichte van de beginmeting.
  • Continue gegevens, bijv. een VAS pijnschaal, kunnen worden beschreven als gemiddelde of als drempelwaarde (het aantal personen met een pijnscore van minstens 6).
• selectieve rapportage van subsets van gegevens:
  • Sommige uitkomstmaten, bijv. de levenskwaliteitsschaal SF-36, geven een totaalscore, maar ook scores van verschillende subschalen.
• selectieve onderrapportage van resultaten, zodanig dat ze niet bruikbaar zijn voor een meta-analyse:
  • Sommige artikels stellen dat "de resultaten niet significant waren".

Om een eventueel risico op bias te bepalen, moeten review auteurs op zoek gaan naar het protocol van de review en dit vergelijken met de volledige review.

Wat is nieuw aan de Cochrane risk of bias tool 2?

Cochrane heeft het instrument voor de beoordeling van het risico op bias van RCT’s herzien. Een geüpdatete versie, RoB tool 2, is nu beschikbaar. Vandaag beschrijven we 5 vernieuwingen van het instrument, die we in de komende 5 weken in meer detail zullen toelichten.
De RoB 2 tool:

1. beoordeelt het risico op bias van afzonderlijke resultaten, in plaats van het risico op bias van een studie als geheel;
2. bestaat uit 5 domeinen, die de belangrijkste bronnen van bias omvatten. Het is niet mogelijk om nieuwe domeinen van bias toe te voegen;
3. hanteert signaleringsvragen om het gebruik van het instrument eenvoudiger en transparanter te maken;
4. heeft de antwoordmogelijkheden aangepast naar ‘ja’, ‘waarschijnlijk wel’, ‘waarschijnlijk niet’, ‘nee’ en ‘geen informatie’. Het is niet meer mogelijk om bij items 'onduidelijk' te antwoorden;
5. maakt gebruik van een formeel algemeen risico op bias-oordeel.

Meer informatie vind je hier op de Cochrane Methods website.

Cochrane risk of bias 2 tool beoordeelt bias in resultaten in plaats van studies

Het herziene Cochrane risk of bias instrument richt zich op resultaten van studies die het effect van twee interventies op een bepaalde uitkomst vergelijken. Omdat studies meestal meerdere resultaten beschrijven, moeten meerdere risk of bias evaluaties uitgevoerd worden voor 1 studie. Op dit moment zijn er nog geen aanbevelingen over het aantal uit te voeren beoordelingen per studie. Een goede indicatie hiervoor is het beoordelen van de resultaten beschreven in de Summary of Findings tabel.

Cochrane risk of bias 2 tool gebruikt signaliseringsvragen

Het nieuwe instrument heeft vijf domeinen waarbinnen risico op bias voor een studieresultaat kan voorkomen. Voor elk domein bevat het instrument vragen om dit risico te beoordelen. Deze vragen gaan na of de studie al dan niet belangrijke criteria volgt om bias te voorkomen. Een voorbeeld: 'Was de volgorde van toewijzing willekeurig'? Signaliseringsvragen zijn bedoeld om het gebruik van dit instrument eenvoudiger en transparanter te maken. 
Elke vraag kan de onderzoeker beantwoorden met ‘ja’, ‘waarschijnlijk wel’, ‘waarschijnlijk niet’, ‘nee’ of ‘geen informatie’. Als het antwoord duidelijk is, zal hij ‘ja’ of ‘nee’ kiezen. In andere gevallen, waar de onderzoeker een oordeel moet maken, zal hij kiezen voor ‘waarschijnlijk wel’ of ‘waarschijnlijk niet’. 
Het nieuwe instrument bevat algoritmen die leiden tot een algemene beoordeling van het risico op bias in een domein.

Cochrane risk of bias 2 tool heeft geen optie ‘onduidelijk’ meer

Waar mogelijk beantwoordt men de signaleringsvragen van het nieuwe instrument met ‘ja’, ‘nee’, ‘waarschijnlijk wel’ of ‘waarschijnlijk niet’. In tegenstelling tot de eerste versie van het instrument is er geen mogelijkheid meer om ‘onduidelijk’ te scoren. Als een studie onvoldoende details verstrekt die nodig zijn om een beoordeling te maken, is er de optie ‘geen informatie’.
In sommige gevallen kan men, zelfs als informatie ontbreekt, toch een redelijk oordeel vellen. Als bijvoorbeeld informatie over de randomisatiemethode ontbreekt voor een grote gerandomiseerde trial, dan is het antwoord 'waarschijnlijk wel' op de vraag of de toewijzing geblindeerd was waarschijnlijk accurater dan ‘geen informatie’. 

Cochrane risk of bias tool 2. Domein 1: bias voortkomend uit het randomisatieproces

Het proces van randomisatie is belangrijk, omdat dit ervoor zorgt dat de twee groepen bij aanvang van een studie vergelijkbaar zijn. Er zijn 3 signaleringsvragen voor dit domein:

1. Was de volgorde van toewijzing willekeurig?
2. Was de volgorde van toewijzing verborgen totdat de deelnemers waren ingeschreven en aan groepen toegewezen?
3. Wezen verschillen tussen groepen bij aanvang van de studie op een probleem met het randomisatieproces?

De nieuwe tool suggereert een algoritme om het risico op bias voortkomend uit het randomisatieproces te kunnen beoordelen.

Cochrane risk of bias tool 2. Domein 2: bias door afwijking van de geplande interventies

Afwijking van geplande interventies kan bepalend zijn, omdat dit kan leiden tot een systematisch verschil tussen de effectief verleende zorg en de geplande zorg (zoals beschreven in het protocol).
De beoordeling voor dit domein hangt af van het doel van de review. Dit kan het kwantificeren van het intention-to-treat effect zijn (het effect van het toewijzen aan een interventie), of het per-protocol effect (het effect van het uitvoeren van een interventie).
Signaliseringsvragen voor dit domein peilen of de deelnemers en de personen die de interventie verstrekken geblindeerd waren en of de auteurs van de studie hun resultaten correct hebben geanalyseerd. Een laag risico op bias voor dit domein geldt alleen als beide onderdelen correct zijn uitgevoerd. Als de deelnemers en personen die de interventie verlenen niet geblindeerd zijn, is een meer gedetailleerde evaluatie nodig van de mogelijke afwijking.

Cochrane risk of bias tool 2. Domein 3: bias door ontbrekende gegevens

Het ontbreken van gegevens is belangrijk, omdat het resulteert in analyses die niet alle deelnemers bevatten. Dit leidt tot bias als er een link is tussen de oorzaak van het ontbreken van de gegevens en de werkelijke waarde van de uitkomst. 
Je kunt er enkel zeker van zijn dat er geen bias is als de uitkomsten zijn gemeten bij alle deelnemers of als er zo weinig gegevens ontbreken dat de impact te klein is om belangrijk te kunnen zijn. In alle andere situaties moet je de oorzaken van het ontbreken van de gegevens en de impact ervan beoordelen.
Items voor het beoordelen van dit domein zijn:

• Hoeveel gegevens ontbreken in elke groep?
• Is er enig bewijs dat het eindresultaat niet vertekend is?
• Kunnen de ontbrekende gegevens gelinkt zijn aan de werkelijke waarde van de uitkomst? 

In tegenstelling tot de vorige risico-op-bias tool beoordeelt dit domein niet de deelnemers die uit de analyses werden gesloten. Dit valt nu onder het domein 'bias door afwijkingen van geplande interventies'.

Cochrane risk of bias tool 2. Domein 4: bias door fouten in de meting van de uitkomsten

Fouten in de uitkomstmeting hebben een impact op de effectschatting van de interventie. Dergelijke fouten leiden vaker tot bias als er een systematisch verschil is in de wijze van uitkomstmeting tussen de interventie- en de controlegroep. Het blinderen van de personen die de uitkomsten meten vermindert het risico op zulke fouten. 
Dit domein beoordeelt de wijze waarop de resultaten worden gemeten:

1. RCT’s moeten gebruik maken van de juiste uitkomstmaten. Het gaat niet om de keuze van de uitkomstmaat, maar om de betrouwbaarheid en geldigheid van de meting ervan.
2. De resultaten moeten op dezelfde manier worden gemeten in de twee groepen.
3. Het is belangrijk om weten of de persoon die de uitkomst mat, geblindeerd was (niet op de hoogte van de interventie). Als dit niet het geval was en de interventie dus gekend was, beoordeelt dit domein of de meting hierdoor kan worden beïnvloed, en hoe waarschijnlijk deze beïnvloeding is.

Cochrane risk of bias tool 2. Domein 5: bias door selectie van het gerapporteerde resultaat

Een belangrijke verandering van de nieuwe tool is dat deze zich richt op risico op bias voor een gerapporteerd resultaat. Dit vijfde domein beoordeelt of dit resultaat is gekozen uit meerdere gemeten en geanalyseerde resultaten. Dit kan tot bias leiden als de selectie gebeurde op basis van de richting, omvang of significantie van het resultaat. Het domein omvat niet de bias als gevolg van onvolledige verslaglegging; in dit geval worden resultaten voor een specifieke uitkomst helemaal niet beschreven, ook niet als dit selectief gebeurde.
Signaleringsvragen gaan na of het resultaat werd geselecteerd uit meerdere metingen van de uitkomstmaat (zoals pijn gemeten met behulp van VAS en de McGill pijn-vragenlijst), op meerdere tijdstippen of meerdere analyses van de gegevens (zoals niet-gecorrigeerde vs. gecorrigeerde resultaten, eindwaarde vs. verschil van een waarde ten opzichte van baseline). 

Moeten we echt in parallel werken om een goede systematische review te maken, en in welke stappen van de review is dit het belangrijkst? 

Het voorbereiden en uitvoeren van een systematische review vraagt veel beslissingen. Het in parallel en apart laten schrijven van delen van een review door twee personen, vermindert de kans op fouten. Het verkleint ook de mogelijkheid dat overtuigingen van één reviewer de beslissingen beïnvloeden, wat bias kan veroorzaken.
Voor Cochrane reviews is werken in parallel verplicht bij beslissingen over de inclusie van de studies, bij het verzamelen van uitkomstdata en bij het oordelen van bias. Verder is het is zeer wenselijk bij het verzamelen van informatie over studiekarakteristieken (MECIR standaarden: C39, C45, C46, C53).

Moet ik studies die geen relevante uitkomsten rapporteren uitsluiten van mijn systematische review?

Studies die geen relevante uitkomsten rapporteren moeten niet uitgesloten worden van systematische reviews (zie ook MECIR-standaard C8). Als een studie geen uitkomsten rapporteert, betekent dit niet dat de studie deze uitkomsten niet heeft gemeten. Informatie over andere uitkomsten kan beschikbaar zijn via de auteurs.
Dit heeft te maken met uitkomstrapporteringsbias (outcome reporting bias), dit is bias die ontstaat doordat statistisch significante resultaten een grotere kans hebben om te worden gerapporteerd, terwijl de kans hierop juist lager is bij statistisch niet-significante resultaten. Uitkomstrapporteringsbias is een belangrijke bedreiging voor de validiteit van systematische reviews.