Vægtning af studieresultater på Jobeffekter.dk

Beskrivelse af hvordan et studieresultat vægtes på Jobeffekter.dk

Alle studieresultater har ikke samme kvalitet og relevans, og de skal derfor ikke tillægges samme vægt, når der foretages samlede konklusioner på tværs af studieresultaterne. Derfor vægtes studierne, således at resultater fra studier af lav kvalitet eller mindre relevans vægtes lavere end resultater fra studier af høj kvalitet eller høj relevans. Vægtningen foregår ud fra følgende kriterier:

• Forskerens kvalitetsvurdering
• Analysemetode
• Geografi
• Udgivelse i et videnskabeligt tidsskrift/relevans af videnskabeligt tidsskrift 

Kriterierne for vægtningen og vægtenes størrelse er fastlagt i samarbejde med de uafhængige forskere, som har bidraget til at udvikle Jobeffekter.dk. Den højeste vægt, et studieresultat kan opnå, er 1, og det gives til resultater fra et dansk randomiseret kontrolleret forsøg, som er udgivet i et af de højest rangerede videnskabelige tidsskrifter og har fået den højeste kvalitetsvurdering af den forsker, der har indtastet studiet.

Det vægtede studieresultat udgør studieresultatets vidensbidrag til jobeffekten, eftersom vægtningen har betydning for, hvor stor indflydelse et studieresultat får i beregningen af jobeffekten.

I nedenstående gennemgås de fire vægte.

Kvalitetsvurdering

I forbindelse med indtastningen af et studie, foretager forskerne en kvalitetsvurdering af studiet. I kvalitetsvurderingen tager forskeren højde for studiets datakvalitet og metode. Her er det blandt andet vigtigt, at studiet er baseret på et tilstrækkelig stort antal observationer, at der tages højde for andre effekter, der har kunnet påvirke udfaldene, og at der i studiet vurderes, hvor robuste resultaterne er.

Forskerne vurderer studiet ud fra følgende skala:

Kvalitetsvurdering	Vægte
God	1
Tilfredsstillende	0,5
Ikke tilfredsstillende	0,25

Vægtningen medfører, at estimerede effekter fra et studie, der kvalitetsvurderes som ”ikke tilfredsstillende” vægtes mindre end estimerede effekter fra et studie med ”tilfredsstillende kvalitet”. 

Analysemetode

I forbindelse med indtastningen af et studie vægter forskeren studiet i forhold til den brugte analysemetode ud fra følgende skala:

Analysemetode	Vægte
Kontrolleret forsøg (RCT)	1
Økonometrisk/statistisk effektstudie	0,8

Vægtningen medfører, at estimerede effekter fra randomiserede kontrollerede forsøg vægtes højere end analyser baseret på økonometriske/statistiske effektstudier. Dette skyldes, at man ved kontrollerede forsøg kan sikre, at individer, der er i målgruppen for indsatsen, inddeles tilfældigt i grupper, der henholdsvis modtager indsatsen og fungerer som kontrolgruppe. Derved kan man sikre, at de estimerede effekter helt kan tilskrives indsatserne og ikke evt. uobserverede forskelle mellem indsats- og kontrolgruppe.

Geografi

Ved indtastningen af et studie registrerer forskeren, hvilket land studiet er fra. Et studie indtastes dog kun, hvis studiet er fra et OECD-land. Valget er truffet ud fra en vurdering af, hvilke arbejdsmarkedsstrukturer, der mest ligner de danske, og derved vil forventes at have størst relevans for det danske arbejdsmarked. På baggrund af registreringen vægtes studiet ud fra nedenstående skala:

Det skal bemærkes, at vægten slås fra i den engelske version af Jobeffekter.dk, når jobeffekten skal udregnes.

Analysemetode	Vægte
Danmark	1
Nordeuropa	0,75
OECD (eksklusiv Nordeuropa)	0,5

Arbejdsmarkedsstrukturen på de nordeuropæiske arbejdsmarkeder minder mere om den danske med hensyn til de sociale ydelser, den aktive indsats, fleksibiliteten og lønstrukturen end de resterende OECD- lande. Resultater fra Nordeuropa vil derfor forventes at være lettere at overføre til det danske arbejdsmarked, hvorfor et studie fra Nordeuropa vægtes tungere end et studie fra andre OECD-lande.

Videnskabeligt tidsskrift

I forbindelse med indtastning af et studie registrerer forskeren, om studiet er udgivet i et videnskabeligt tidsskrift. Er studiet ikke udgivet i et videnskabeligt tidsskrift, gives vægtningen 0,5. Er studiet udgivet i et videnskabeligt tidsskrift registreres det, hvilket tidsskrift studiet er udgivet i, der er rangeret efter internationale retningslinjer og kan få tildelt en vægtning fra 1 til 0,6:

Udgivelse af resultater	Vægte
Resultater udgivet i videnskabeligt tidsskrift (Rangeret som kategori A)	1
Resultater udgivet i videnskabeligt tidsskrift (Rangeret som kategori B)	0,9
Resultater udgivet i videnskabeligt tidsskrift (Rangeret som kategori C)	0,7
Resultater udgivet i videnskabeligt tidsskrift (Rangeret som kategori D)  Resultater udgivet i et videnskabeligt tidsskrift, der ikke fremgår på listen over tidsskrifter	0,6
Resultater ej udgivet i videnskabeligt tidsskrift	0,5

Et studie, hvis resultater har været udgivet i et videnskabeligt tidsskrift, vægtes højere, da det vurderes at være en yderligere garanti for studiets kvalitet. Dette skyldes, at en udgivelse medfører, at flere forskere har evalueret studiernes resultater i processen op til udgivelsen. Da det dog er nemmere at få udgivet resultater af nye indsatser end resultater, der understøtter eksisterende viden, vil der være en skævhed i hvilke resultater, der bliver udgivet. Samtidig tager det tid at få resultaterne udgivet, hvorfor ældre studier vil have større sandsynlighed for at være udgivet. Rangering af tidsskrifter er baseret på en international rangeringsliste, få tidsskrifter er tilføjet senere og er kategoriseret på baggrund af impact factor.

Se listen over vægtning af relevante tidsskrifter her:

Vægtning af relevante tidsskrifter (pdf) (åbner i nyt vindue)