3 Rapporteren van Effect Sizes
samenwerken, betrouwbaarheidsinterval, effect size, open onderwijsbron, open studiebeurs, open wetenschap
Bij het rapporteren van effect sizes is het belangrijk om voldoende details en context te geven om transparantie te garanderen, richting aan te geven en precisie aan te geven. Transparantie houdt in dat procedures en gegevens duidelijk worden gedocumenteerd, zodat anderen uw berekeningen van effect sizes kunnen reproduceren. Zorg er vervolgens voor, voor directionele effecten zoals Cohen’s d, om de richting van de vergelijking te definiëren en deze af te stemmen op je hypothese. Geef ten slotte de nauwkeurigheid van de schatting aan, meestal door betrouwbaarheidsintervallen te vermelden. Smallere betrouwbaarheidsintervallen weerspiegelen meer precisie, terwijl bredere intervallen een grotere onzekerheid weerspiegelen (Winter, 2019). Factoren zoals steekproefgrootte, variabiliteit en studieopzet beïnvloeden de precisie. Door effectgroottes doordacht te rapporteren met transparantie, richting en precisie, kunnen lezers de betekenis en implicaties van uw resultaten nauwkeurig interpreteren. In de volgende secties geven we aanbevelingen om de rapportage over elk van deze factoren te optimaliseren.
Betrouwbaarheidsintervallen geven alleen de precisie van parameters aan onder specifieke aannames. Sommigen hebben dit probleem zelfs de precision fallacy genoemd (Morey et al. 2016). Voor dezelfde gegevens kunnen CI’s op verschillende manieren berekend worden, wat leidt tot sterk verschillende intervallen (zie het voorbeeld van de onderzeeër in Morey et al. 2016). Zulke CI’s worden berekend door hypothesetests om te keren (met behulp van de p-waarde verkregen uit een model); zie deze discussie door Gelman (2011). Bij deze aanpak weerspiegelt de CI de gegevens en het model (+aannames), niet alleen de parameterschatting. Als men een onjuist model gebruikt, zal de bijbehorende CI misleidend zijn en zal de breedte ervan de precisie of onzekerheid niet weerspiegelen. De oplossing is om CI’s te berekenen op basis van de beschikbare gegevens, zoals parametrische (als de verdeling bekend is) of niet-parametrische (empirische verdeling)
3.1 Transparantie
Wanneer u effectgroottes en hun berekeningen rapporteert, moet u prioriteit geven aan transparantie en reproduceerbaarheid. Welke tool u ook gebruikt om uw effectgrootte te berekenen (R wordt hier het meest aanbevolen), u moet ervoor zorgen dat anderen gemakkelijk uw procedures kunnen volgen en dezelfde resultaten kunnen verkrijgen. Dit betekent dat als je online calculators gebruikt (wat wordt afgeraden) of standalone programma’s (JAMOVI wordt het meest aanbevolen; je kunt ook JASP gebruiken, dat op dit moment echter geen toegang geeft tot syntax), je screenshots moet toevoegen die de invoer en uitvoer vastleggen, met duidelijke uitleg. Als je R, Python of andere programmeertalen gebruikt, moet je je codes kopiëren en plakken in je aanvullend document (of je scripts indienen bij open online repositories), idealiter met annotaties en commentaar waarin de codes worden uitgelegd. inputs en outputs.
3.2 Directionaliteit
Sommige effectgroottes zijn directioneel (bijvoorbeeld Cohen’s \(d\), Pearson correlaties \(r\)), wat betekent dat ze positief of negatief kunnen zijn. Hun teken bevat belangrijke informatie en kan daarom niet worden weggelaten. Wanneer u deze effectgroottes rapporteert, maak dan duidelijk wat met wat wordt vergeleken (d.w.z. de richting van de vergelijking). Beter nog, zorg ervoor dat je vergelijking in lijn is met de theorie. Als een theorie bijvoorbeeld voorspelt dat je groep X hoger zou moeten scoren op een item dan je groep Y, [^reporting-effect-sizes-1] moet je dienovereenkomstig veronderstellen dat groep X een hoger gemiddelde zal hebben dan groep Y op het item, en gemiddelde(Y) aftrekken van gemiddelde(X) (in plaats van andersom) om het gemiddelde verschil te krijgen. Je moet dan verwachten dat je \(t\) statistiek positief is, en je \(d\) waarde ook. Met andere woorden, vermijd om iets te rapporteren als \(t\) = -5,14, \(d\) = 0,36, waar de tekens van de statistieken dan niet overeenkomen.
3.3 Nauwkeurigheid
Effect sizes kunnen zeer nauwkeurig worden geschat op basis van de beschikbare gegevens, de gebruikte methodologie en de manier waarop de populatie is bemonsterd. Het kan ook worden geschat met weinig vertrouwen in het resulterende getal. Dit kan bijvoorbeeld het geval zijn als de steekproef erg klein is, als de populatie veel variabiliteit vertoont, als er een tussen-groepsdesign is gebruikt in plaats van een gepaarde steekproefdesign en tot slot als er geclusterde steekproeftrekking is gebruikt in plaats van gerandomiseerde steekproeftrekking. Precisie kan worden geschat met behulp van verschillende hulpmiddelen, maar het meest gebruikte hulpmiddel is waarschijnlijk het betrouwbaarheidsinterval. Dit interval heeft een betrouwbaarheidsniveau, vaak 95%.