Stofmisbrug -bedre behandling til færre penge Munkebjerg marts 2012

Transkript

1 Stofmisbrug -bedre behandling til færre penge Munkebjerg marts 2012 Professor Hanne Kathrine Krogstrup Det Samfundsvidenskabelige Fakultet Aalborg Universitet

2 Stofmisbrug Bedre behandling for færre penge? Munkebjerg Marts

3 Definition af evaluering Systematisk retrospektiv vurdering af processer, præstationer og udfald i offentlig politik, som tiltænkes at spille en rolle i praktiske handlingssituationer

4 Systemmodellen

5 Nemme at definere Kan adskilles fra andre problemer Klare kriterier for bedste løsning Løsningen er af teknisk karakter Tamme problemer

6 Vanskelige at definere Vanskelige at adskille fra andre problemer Der er ikke objektive kriterier for den bedste løsning Mange variable er inddraget i løsningen Kontekst har indflydelse på interventionen og på effekterne heraf Vilde problemer

7 Alle interventioner er baseret på antagelser om, hvad der virker "Hvad virker, for hvem, hvornår og i hvilken sammenhæng?" Såfremt en effekt ikke opstår, kan det skyldes 1) at interventionsteorien er forkert 2) Implementeringen sker ikke i overensstemmelse med det foreskrevne Generative mekanismer

8 Interventionsteorier er dynamiske Mange interventionsteorier er i spil Interventioner er ikke lineære Interventioner er indlejret i systemer Interventioner ændres over tid Interventioner fortolkes for skelligt Interventionens karakteristika

9 Sikker effekt indebærer, at variabel X forårsager Y, hvis og kun hvis X uvægerligt fører til Y. Det betyder, hvis X er til stede, da vil Y nødvendigvis og uundgåeligt forekomme. Sikker effekt udtrykker en lovmæssighed. Et centralt begreb i forbindelse med sikker effekt er alt andet lige, så vil X producere Y Deterministisk effekt

10 Sandsynlighedseffekt vil sige, at en forøgelse eller formindskelse af en bestemt faktor tilsvarende vil forøge (eller formindske) sandsynligheden for, at en bestemt effekt er tilstede. Det er således muligt at specificere betingelserne under hvilke X mere eller mindre sandsynligt vil forårsage Y statistisk og analytisk generalisering Probabilistisk effekt

11 Prætest Intervention Post test Vilkårlig indsatsgruppe Måling af outcome variable Intervention Måling af outcome variable Vilkårlig kontrolgruppe Måling af outcome variable Ingen intervention Måling af outcome variable Eksperimentelle design

12 Det randomiserede kontrollerede forsøg Quasi-eksperimentelle design Før og efter sammenligninger Procesevaluering, formative studier og aktionsforskning Kvalitative studier og etnografisk design Deskriptive guidelines og eksempler på god praksis Professionelle og ekspertvurderinger Brugervurderinger The Golden Standard- Evidens hierarkiet

13 Forskningsbaseret evaluering Eksperimentelle evalueringer Casebaseret evaluering Metaevalueringer Hverdagsevaluering Evalueringsdesign Forskningsbaseret/hverd agsviden

14 Dybde men ikke bredde Hvordan og hvorfor spørgsmål Casestudiet fokusere på særlige tilfælde Kan være multiple (generalisering) Forklaringskraft, når man ved lidt Fokusere på det særlige tilfælde Har ikke eksplicitte metodebindinger Caseorienteret evaluering

15 BIKVA-modellen Kompetenceevaluering Interessentmodellen Realistisk evaluering Eksempler på caseorienterede modeller

16 Sammenfatter en række evalueringer Metaevaluering som reviewproces (Cochrane) Udvælgelse af emne Udarbejdelse af forskningsprotokol Godkendelse af protokol Identifikation af primærstudier Selektion af studier, der skal udgå Syntetisering af data Endelig rapport Kontrol af rapportens kvalitet Metaevaluering eksperimental society

17 Problemstilling afklares og præciseres Afsøgning af alle studier og kilder Internet, databaser, personlige kontakter Hypotesegenerering Ny programteori eller forfinelse af eksisterende Syntese: A, be aware of B, take care of C, D can result in both E and F; G and H means Formidling helt afgørende Metaevaluering synthesizing

18 Præimplementeringsevaluering Metaevaluering Opsummerer antagelser Hurtig vurdering Interview nøgleinformanter Fokusgrupper Observation Survey Hverdagsevaluering opfølgning

19 1: Opfølgningsspørgsmålet defineres 2: Effektmål defineres 3: Interventionsteorien defineres 4: Indikatorer fastsættes 5: Analyseenhederne defineres 6: Data defineres 7: Data indsamles 8: Foreløbig dataanalyse 8-11 : Ny problemformulering 12: Nye indikatorer for implementering og effekter 13: Opfølgning Kvalificeret opfølgning