14  Artefacten en vertekeningen in effectmaten

Keywords

samenwerken, betrouwbaarheidsinterval, effect size, open onderwijsbron, open studiebeurs, open wetenschap

14.1 Bronnen

Schattingen van effectgroottes zoals correlatiecoëfficiënten en Cohen’s \(d\) waarden kunnen sterk vertekend zijn door verschillende statistische artefacten zoals meetfouten en selectie-effecten (bijv. bereikbeperking). Er zijn methoden ontwikkeld om te corrigeren voor de vertekening in effectgroottes en deze correcties worden “artefactcorrecties” genoemd. Formules voor artefactcorrectie kunnen complex zijn en daarom worden lezers verwezen naar andere bronnen die hieronder worden vermeld:

  • Jané (2023) : Een open tekstboek dat vergelijkingen en R-code bevat voor verschillende soorten artefactcorrecties. Nog niet uitgebracht.

  • Hunter and Schmidt (1990) : Klassiek leerboek over artefactcorrecties. Hunter en Schmidt pionierden met de methodologie voor meta-analyses in de stijl van artefactcorrectie.

  • Wiernik and Dahlke (2020) : Een paper dat dient als een verkorte versie van het boek van Hunter en Schmidt. Het bevat de meeste vergelijkingen die nodig zijn om effectgroottes te corrigeren.

  • Dahlke and Wiernik (2019) : Een R-pakket voor het uitvoeren van meta-analyses met artefactcorrectie. Bevat alle functies die nodig zijn om effectgroottes te corrigeren voor artefacten in R.

14.2 Corrigeren voor meetfouten

Als we betrouwbaarheidsschattingen hebben van de variabelen die van belang zijn, kunnen we een Pearson correlatie of een gestandaardiseerd gemiddeld verschil (Cohen’s \(d\)) corrigeren voor meetfouten. Niet-differentiële meetfouten verzwakken Pearson correlaties en Cohen’s \(d\) daarom kunnen we correctiefactoren toepassen om voor deze vertekening te corrigeren. Voor een Pearson correlatie kunnen we de correctie voor verzwakking gebruiken die voor het eerst werd ontwikkeld door Spearman (1904),

\[ r_c = \frac{r_\text{obs}}{\sqrt{r_{xx'}r_{yy'}}} \tag{14.1}\] waarbij \(r_c\) de gecorrigeerde correlatie is, \(r_text{obs}\) de waargenomen correlatie, \(r_{xx'}\) de betrouwbaarheid van \(x\) en \(r_{yy'}\) de betrouwbaarheid van \(y\). Betrouwbaarheidscoëfficiënten kunnen op een aantal verschillende manieren worden geschat, maar de twee meest gebruikte schatters zijn Cronbach Alpha en test-hertestbetrouwbaarheid. Alpha meet de interne consistentie van een set subcomponentmetingen (bijv. antwoorden op vragen in een vragenlijst) terwijl test-hertestbetrouwbaarheid de stabiliteit in de tijd meet.

Een Cohen’s \(d\) kan op dezelfde manier worden gecorrigeerd als een correlatiecoëfficiënt, maar omdat het maar één continue variabele heeft, kunnen we gewoon corrigeren voor betrouwbaarheid in de continue variabele

\[ d_c = \frac{d_\text{obs}}{\sqrt{r_{yy'}}} \] In het geval van een Cohen’s d is het echter belangrijk dat \(r_{yy'}\) de gepoolde betrouwbaarheid binnen de groep is (bereken de gepoolde betrouwbaarheid op dezelfde manier als je de gepoolde standaardafwijking berekent voor de noemer van Cohen’s \(d\)). Als je alleen de betrouwbaarheid van de totale steekproef hebt (wat vaker wordt gerapporteerd), kun je dit proces in drie stappen volgen (Wiernik and Dahlke 2020),

  1. Converteer de d-waarde naar een punt-biseriële correlatie (zie het gedeelte over conversies)
  2. Corrigeer de punt-biseriële correlatie met Equation 14.1 (door \(r_{xx'}=1\) in te stellen)
  3. Converteer het terug naar een Cohen’s \(d\)

Merk op dat betrouwbaarheidsintervallen voor \(r_c\) en \(d_c\) ook gecorrigeerd moeten worden. Een Pearson-correlatie zou bijvoorbeeld zo moeten worden gecorrigeerd dat, \[ CI_{r_c} = \left[\frac{r_\text{lower-bound}}{\sqrt{r_{xx'}r_{yy'}}},\frac{r_\text{upper-bound}}{\sqrt{r_{xx'}r_{yy'}}}\right] \]

14.3 Corrigeren voor bereikbeperking

Correcties voor bereikbeperking kunnen behoorlijk complex zijn, afhankelijk van het selectieproces. Het proces voor het corrigeren van Pearson correlaties en Cohen’s \(d\) voor bereikbeperking wordt beschreven in tabel 3 van Wiernik and Dahlke (2020).