evalua&e  van  preven&eprojecten   Een  methodologisch  complex   vraagstuk   Mark  Leys,  VUB,  december  2014  

•  Hoe  en  wat  beslissen  als  we  niet  helemaal   zeker  zijn?   – (vergelijk  Bertand  Russell,  1950)  

Het  beleid   •  Zoektocht  naar  “beter  gefundeerde”   beslissingen   – Men  wil  meer  en  meer  weg  van  intuï&e,   overtuiging  (ideologie)  en  expertopinie   – Vragen  over  nut  en  benuRen  van  publieke   middelen  

Evidence  based  prac&ce/policy….   •  Streven  naar  “bewijs”  over  werkzaamheid   •  Centraal  staan  interven&es   •  De  rela&e  met  kostprijs  wordt  vaak  gemaakt   •  Gefundeerd  in  WETENSCHAPPELIJK  EMPIRISCH   onderzoek   –  Methodologie!   –  Waarnemingen!   •  Meer  en  meer  nadruk  op  Prak&jkrelevan&e  van  het   onderzoek  

Werkt  het?   •  Resultaten  (Outcome)  versus  Effecten  (Impact)   Methodologisch  probleem:     •  wat  meet  je?   •  Gewilde  effecten   •  Ongewilde  effecten   •  Ongewenste  effecten   –  Wat  met     •  de  “wijze  waarop  een  interven&e  vorm  krijgt”  :  het  proces?   •  het  -jdsperspec-ef  waarop  effecten  worden  gemeten   (duurzaamheid)  

De  “posi&vis&sche”  methodologie   •  Cfr  de  medische  wereld:  Biomedisch  model   •  Experimenteel   –  GeRandomiseerd   •  Double  blind   –  GeControleerd   –  geTest  (groepen  vergelijken)   •  meta-­‐analyses   •  Cfr  levels  of  evidence  “cochrane  criteria”   •  kwan&ficeren   •  Causaliteit:  is  de  interven&e  “oorzaak”  van  het  resultaat  (cgr  placebo)   •  Kri&ek  :     –  Reduc&onisme   –  Teveel  nadruk  op  het  (korte  termijn)  resultaat  (outcome)  

interven&es   •  Eenvoudige  interven&es   •  Complexe  interven&es  (   – Meerdere  componenten   – Verschillende  “groepen”  ondergaan  interven&e   –   &jd:  niet  noodzakelijk  stabiel   – Ingebed  in  niet  gecontroleerde  context   – Inspelend  op  mensen  en  interac&es   – Interven&es  worden  niet  stabiel  uitgevoerd  

Evalua&e-­‐onderzoek   •  In  de  sociale  wetenschapepn  ook  een  tradi&e   van  evalua&e-­‐onderzoek   – Campbell,  Rossi   •  Het  paradigma  kijkt  breder   – Niet  alleen  effecten,  ook  verklarend   – Voldoende  aandacht  voor  ondreliggende  theorie   en  wereldbeel   – Nadruk  op  context  en  implementa&eproces  

Realist  evalua&on   •  Pawson,  2013   –  Tracht  de  onderliggende  theorie  van  de  interven&e  te   begrijpen   –  Maak  zelf  gebruik  van  sociaal-­‐wetenschappelijke   theorieën   •  Bij  een  interven&e  (en  het  bestuderen  ervan)   –  Context   –  Mechanismen  die  een  rol  spelen  bij  implementa&e   –  Interven&es  zijn  geen  “lineaire”  processen    

Interessante  vragen   •  Wanneer  wordt  iets  als  een  probleem  ervaren?   •  Hoe  wordt  het  probleem  gedefinieerd?   –  Het  denken  over  oorzaken  van  een  probleem  bepaalt  in   veel  gevallen  de  keuze  voor  een  interven&estrategie.   –  Wat  verwachten  mensen     •  Welke  alterna&eve  strategieën  worden  overwogen?   –  Is  “niets  doen”  (nog)  een  op&e?   –  -­‐hebben  we  ons  voorbereid  door  kri&sch  elders  te  kijken?   •  Hoe  selec&ef  wordt  een  preven&estrategie  ingezet?   •  Begrijpen  we  wat  er  gebeurt,  of  willen  we  scoren  met   gekwan&ficeerde  maten  (cijfers)