Upgrade to Pro — share decks privately, control downloads, hide ads and more …

evaluatie van preventieprojecten

evaluatie van preventieprojecten

Een methodologisch complex vraagstuk Mark Leys, VUB, december 2014

More Decks by Federale Overheidsdienst Binnenlandse Zaken

Other Decks in Research

Transcript

  1. •  Hoe  en  wat  beslissen  als  we  niet  helemaal  

    zeker  zijn?   – (vergelijk  Bertand  Russell,  1950)  
  2. Het  beleid   •  Zoektocht  naar  “beter  gefundeerde”   beslissingen

      – Men  wil  meer  en  meer  weg  van  intuï&e,   overtuiging  (ideologie)  en  expertopinie   – Vragen  over  nut  en  benuRen  van  publieke   middelen  
  3. Evidence  based  prac&ce/policy….   •  Streven  naar  “bewijs”  over  werkzaamheid

      •  Centraal  staan  interven&es   •  De  rela&e  met  kostprijs  wordt  vaak  gemaakt   •  Gefundeerd  in  WETENSCHAPPELIJK  EMPIRISCH   onderzoek   –  Methodologie!   –  Waarnemingen!   •  Meer  en  meer  nadruk  op  Prak&jkrelevan&e  van  het   onderzoek  
  4. Werkt  het?   •  Resultaten  (Outcome)  versus  Effecten  (Impact)  

    Methodologisch  probleem:     •  wat  meet  je?   •  Gewilde  effecten   •  Ongewilde  effecten   •  Ongewenste  effecten   –  Wat  met     •  de  “wijze  waarop  een  interven&e  vorm  krijgt”  :  het  proces?   •  het  -jdsperspec-ef  waarop  effecten  worden  gemeten   (duurzaamheid)  
  5. De  “posi&vis&sche”  methodologie   •  Cfr  de  medische  wereld:  Biomedisch

     model   •  Experimenteel   –  GeRandomiseerd   •  Double  blind   –  GeControleerd   –  geTest  (groepen  vergelijken)   •  meta-­‐analyses   •  Cfr  levels  of  evidence  “cochrane  criteria”   •  kwan&ficeren   •  Causaliteit:  is  de  interven&e  “oorzaak”  van  het  resultaat  (cgr  placebo)   •  Kri&ek  :     –  Reduc&onisme   –  Teveel  nadruk  op  het  (korte  termijn)  resultaat  (outcome)  
  6. interven&es   •  Eenvoudige  interven&es   •  Complexe  interven&es  (

      – Meerdere  componenten   – Verschillende  “groepen”  ondergaan  interven&e   –   &jd:  niet  noodzakelijk  stabiel   – Ingebed  in  niet  gecontroleerde  context   – Inspelend  op  mensen  en  interac&es   – Interven&es  worden  niet  stabiel  uitgevoerd  
  7. Evalua&e-­‐onderzoek   •  In  de  sociale  wetenschapepn  ook  een  tradi&e

      van  evalua&e-­‐onderzoek   – Campbell,  Rossi   •  Het  paradigma  kijkt  breder   – Niet  alleen  effecten,  ook  verklarend   – Voldoende  aandacht  voor  ondreliggende  theorie   en  wereldbeel   – Nadruk  op  context  en  implementa&eproces  
  8. Realist  evalua&on   •  Pawson,  2013   –  Tracht  de

     onderliggende  theorie  van  de  interven&e  te   begrijpen   –  Maak  zelf  gebruik  van  sociaal-­‐wetenschappelijke   theorieën   •  Bij  een  interven&e  (en  het  bestuderen  ervan)   –  Context   –  Mechanismen  die  een  rol  spelen  bij  implementa&e   –  Interven&es  zijn  geen  “lineaire”  processen    
  9. Interessante  vragen   •  Wanneer  wordt  iets  als  een  probleem

     ervaren?   •  Hoe  wordt  het  probleem  gedefinieerd?   –  Het  denken  over  oorzaken  van  een  probleem  bepaalt  in   veel  gevallen  de  keuze  voor  een  interven&estrategie.   –  Wat  verwachten  mensen     •  Welke  alterna&eve  strategieën  worden  overwogen?   –  Is  “niets  doen”  (nog)  een  op&e?   –  -­‐hebben  we  ons  voorbereid  door  kri&sch  elders  te  kijken?   •  Hoe  selec&ef  wordt  een  preven&estrategie  ingezet?   •  Begrijpen  we  wat  er  gebeurt,  of  willen  we  scoren  met   gekwan&ficeerde  maten  (cijfers)