Beregninger

8. februar 2019


Hvordan beregnes jobeffekten og evidensniveauet?

På Jobeffekter.dk er det muligt at se jobeffekten for en given indsats og målgruppe samt hvilket evidensniveau, der gør sig gældende for jobeffekten. I det følgende beskrives beregningen af jobeffekten og evidensniveauet i 6 trin.

Trin 1: Beregning af vidensbidraget

Først beregnes vidensbidraget for samtlige resultater, der vedrører indsatsen og målgruppen, ved at anvende studiets vægte og kombinationsfaktoren:

Vidensbidraget beskriver den værdi, et resultat skal tillægges i udregningen af jobeffekten.  Det er således et udtryk for den indflydelse, det enkelte resultat har på jobeffekten. Vidensbidraget kan være mellem 0 og 1. 

Trin 2: Beregning af vidensmængden

Dernæst beregnes den samlede vidensmængde for jobeffekten, ved at aggregere de udregnede vidensbidrag:

Vidensmængden beskriver det vidensgrundlag, der ligger til grund for jobeffekten, når der tages højde for resultaternes kvalitet og relevans. Vidensmængden kan som minimum være 0 og maksimal være lig antallet af resultater, der vedrører indsatsen og målgruppen.

Hvis vidensmængden er mindre end 1, bliver den samlede konklusion om effekt ”Få studier”.

Trin 3: Valg af dominerende effektretning

Herefter udvælges den dominerende effektretning ved at opgøre og sammenligne vidensmængden for hver af de mulige effektretninger (positiv, negativ og ingen effekt). Vidensmængden, der understøtter en given effektretning, opgøres som:

Hvor Ri er betegnelsen for effektretningen i resultat i, dvs. Ri {-1, 0, +1}

Vidensmængden for hver af de tre effektretninger bruges til at afgøre, om den dominerende effektretning er negativ, positiv eller ingen effekt. En effektretning er dominerende, hvis vidensmængden, der understøtter effektretningen, er større end vidensmængden, der ikke understøtter effektretningen. Den dominerende effektretning bestemmes således ved at følge nedenstående:

Hvor  er betegnelsen for den dominerende effektretning, -1 svarer til negativ effekt, 0 svarer til ingen effekt og +1 svarer til positiv effekt.

Hvis der ikke kan bestemmes en dominerende effektretning, bliver den samlede konklusion om effekt ”Modstridende”.            

Trin 4: Beregning af den relative nettovidensmængde

Når den dominerende effektretning er bestemt, beregnes den relative nettovidensmængde (NVM), ved at dividere vidensmængden, der understøtter den dominerende effektretning med den samlede vidensmængde:

Des større andel af den samlede vidensmængde, der understøtter den dominerende effektretning, des større bliver den relative nettovidensmængde. Hvis alle studier understøtter den samme effektretning, antager den relative nettovidensmængde værdien 1.

Hvis nettovidensmængden er mindre end 0,55 bliver den samlede konklusion om effekt enten ”Få studier” eller ”Modstridende”.

Trin 5: Find jobeffekten

På baggrund af ovenstående kan jobeffekten bestemmes.

Jobeffekten bestemmes ud fra, hvorvidt den samlede vidensmængde og nettovidensmængde er større eller mindre end hhv. 1 og 0,55. Jobeffekten lig den dominerende effektretning, hvis den samlede vidensmængde er større end 1 og nettovidensmængde (NVM) er i intervallet 0,55 til 1. Jobeffekten bestemmes således ved at følge nedenstående:

 

Hvor  er betegnelsen for den dominerende effektretning, som enten kan være positiv, negativ eller ingen effekt.

Trin 6: Afgør evidensniveauet

Ud fra værdien af den relative nettovidensmængde vurderes evidensniveauet, dvs. tyngden af evidens bag den dominerende effektretning. Evidensniveauet beskriver, hvor robust jobeffekten vurderes at være, og den kan enten være ”Stærk evidens”, ”Moderat evidens”, ”Indikation” eller ”Usikker”.

Kategoriseringen af evidensniveauet sker i forhold til de nedenstående intervaller kombineret med kriterier for det minimale niveau af samlet vidensmængde: