Vægte

8. februar 2019


Hvordan vægtes studieresultaterne?

Alle studieresultater har ikke samme kvalitet og relevans, og de skal derfor ikke tillægges samme vægt, når der foretages samlede konklusioner på tværs af studieresultaterne. Derfor vægtes studierne, således at resultater fra studier af lav kvalitet eller mindre relevans vægtes lavere end resultater fra studier af høj kvalitet eller høj relevans. Vægtningen foregår ud fra følgende kriterier:

  1. Forskerens kvalitetsvurdering
  2. Analysemetode
  3. Geografi
  4. Udgivet i et videnskabeligt tidsskrift/relevans af videnskabeligt tidsskrift 

Kriterierne for vægtningen og vægtenes størrelse er fastlagt i samarbejde med de uafhængige forskere, som har bidraget til at udvikle Jobeffekter.dk. Den højeste vægt, et studieresultat kan opnå, er 1, og det gives til resultater fra et dansk randomiseret kontrolleret forsøg, som er udgivet i et af de bedste videnskabelige tidsskrifter og har fået den højeste kvalitetsvurdering af den forsker, der har indtastet studiet.

Det vægtede studieresultat svarer til studieresultatets vidensbidrag til jobeffekten, eftersom vægtningen har betydning for, hvor stor indflydelse et studieresultat får i beregningen af jobeffekten. Du kan læse mere om beregningen af jobeffekten her

Det er for hvert studie muligt at se, hvilken forsker der har vurderet studiet.

I nedenstående gennemgås de fire vægte.

Kvalitetsvurdering

I forbindelse med indtastningen af et studie, foretager forskerne en kvalitetsvurdering af studiet. I kvalitetsvurderingen tager forskeren højde for studiets datakvalitet og metode. Her er det blandt andet vigtigt, at studiet er baseret på et tilstrækkelig stort antal observationer, at der tages højde for andre effekter, der har kunnet påvirke udfaldene, og at der i studiet vurderes, hvor robuste resultaterne er.

Forskerne vurderer studiet ud fra følgende skala:

Kvalitetsvurdering

Vægte

God

1

Tilfredsstillende

0,5

Ikke tilfredsstillende

0,25

Vægtningen medfører, at estimerede effekter fra et studie, der kvalitetsvurderes som ”ikke tilfredsstillende” vægtes mindre end estimerede effekter fra et studie med ”tilfredsstillende kvalitet”. 

Analysemetode

I forbindelse med indtastningen af et studie vægter forskeren studiet i forhold til den brugte analysemetode ud fra følgende skala:

Analysemetode

Vægte

Kontrolleret forsøg

1

Økonometrisk/statistisk effektstudie

0,8

Vægtningen medfører, at estimerede effekter fra randomiserede kontrollerede forsøg vægtes højere end analyser baseret på økonometriske/statistiske effektstudier. Dette skyldes, at man ved kontrollerede forsøg kan sikre, at individer, der er i målgruppen for indsatsen, inddeles tilfældigt i grupper, der henholdsvis modtager indsatsen og fungerer som kontrolgruppe. Derved kan man sikre, at de estimerede effekter helt kan tilskrives indsatserne og ikke evt. uobserverede forskelle mellem indsats- og kontrolgruppe.

Geografi

I forbindelse med indtastningen af et studie registrerer forskeren, hvilket land studiet er fra. Et studie indtastes dog kun, hvis studiet er fra Danmark, Nordeuropa og OECD (eksklusiv Nordeuropa). Valget er truffet ud fra en vurdering af, hvilke arbejdsmarkedstrukturer, der mest ligner de danske, og derved vil forventes at have størst relevans for det danske arbejdsmarked. På baggrund af registreringen vægtes studiet ud fra nedenstående skala:

Det skal bemærkes, at vægten slås fra i den engelske version af Jobeffekter.dk, når jobeffekten skal udregnes.

Analysemetode

Vægte

Danmark

1

Nordeuropa

0,75

OECD (eksklusiv Nordeuropa)

0,5

Arbejdsmarkedsstrukturen på de nordeuropæiske arbejdsmarkeder minder mere om den danske med hensyn til de sociale ydelser, den aktive indsats, fleksibiliteten og lønstrukturen end de resterende OECD- lande. Resultater fra Nordeuropa vil derfor forventes at være lettere at overføre til det danske arbejdsmarked, hvorfor et studie fra Nordeuropa vægtes tungere end et studie fra andre OECD-lande.

Videnskabeligt tidskrift

I forbindelse med indtastning af et studie registrerer forskeren, om studiet er udgivet i et videnskabeligt tidsskrift. Er studiet ikke udgivet i et videnskabeligt tidsskrift, gives vægtningen 0,5. Er studiet udgivet i et videnskabeligt tidsskrift registreres det, hvilket tidsskrift studiet er udgivet i, der er rangeret efter internationale retningslinjer og kan få tildelt en vægtning fra 1 til 0,6:

Udgivelse af resultater

Vægte

Resultater udgivet i videnskabeligt tidsskrift (Rangeret som kategori A)

1

Resultater udgivet i videnskabeligt tidsskrift (Rangeret som kategori B)

0,9

Resultater udgivet i videnskabeligt tidsskrift (Rangeret som kategori C) 

0,7

Resultater udgivet i videnskabeligt tidsskrift (Rangeret som kategori D) 

Resultater udgivet i et videnskabeligt tidsskrift, der ikke fremgår på listen over tidsskrifter 

0,6

Resultater ej udgivet i videnskabeligt tidsskrift

0,5

Et studie, hvis resultater har været udgivet i et videnskabeligt tidsskrift, vægtes højere, da det vurderes at være en yderligere garanti for studiets kvalitet. Dette skyldes, at en udgivelse medfører, at flere forskere har evalueret studiernes resultater i processen op til udgivelsen. Da det dog er nemmere at få udgivet resultater af nye indsatser end resultater, der understøtter eksisterende viden, vil der være en skævhed i hvilke resultater, der bliver udgivet. Samtidig tager det tid at få resultaterne udgivet, hvorfor ældre studier vil have større sandsynlighed for at være udgivet. 

Klik her og her, for at se listen over tidsskrifter og deres vægtning.