Opleiding Assesseringstrategie Dokument

Evalueringstrategieë vir Maatskaplike Dienste Programme 'N Gids vir beleidmakers en Verskaffers In die voortgesette poging om menslike diens programme te verbeter, is finansiers, beleidmakers, en diensverskaffers toenemend erkenning van die belangrikheid van streng programevaluerings. Hulle wil weet wat die programme te bereik, wat hulle kos, en hoe hulle moet uitgevoer word om die maksimum koste-effektiwiteit te bereik. Hulle wil weet watter programme werk waarvoor groepe, en hulle wil gevolgtrekkings op grond van bewyse, eerder as om getuigskrifte en passievolle pleidooie. Hierdie vraestel is uit, want die nontechnician, die basiese beginsels van programevaluering ontwerp. Dit dui op algemene slaggate, identifiseer beperkinge wat oorweeg moet word, en bied idees vir die oplossing van die potensiële probleme. Hierdie beginsels is algemeen en kan toegepas word op 'n wye verskeidenheid van menslike diens programme. Ons illustreer hierdie beginsels hier met voorbeelde uit programme vir kwesbare kinders en jeug. Evaluering van hierdie programme is veral uitdagend omdat hulle 'n wye verskeidenheid van probleme en moontlike oplossings aan te spreek, sluit dikwels verskeie agentskappe en kliënte, en verander met verloop van tyd te ontmoet verskuiwing diens behoeftes. Stappe in die kies van die toepaslike evaluering Design. Die eerste stap in die proses van die keuse van 'n evaluering ontwerp is om die vrae wat beantwoord moet word te verduidelik. Die volgende stap is om 'n logika model wat lê buite die verwagte oorsaaklike verhoudings tussen die program (of program komponente) en die program doelwitte te ontwikkel. Sonder die opsporing van hierdie verwagte skakels is dit onmoontlik om die evaluering bewyse wat ingesamel is te interpreteer. Die derde stap is om die program om sy gereedheid vir evaluering te evalueer hersien. Hierdie drie stappe gedoen kan word op dieselfde tyd of in oorvleuelende fases. Vir eksegese duidelikheid sal ons elkeen op sy beurt bespreek. Ons sal dan beskryf hoe om die beste ontwerp te kies vir 'n gegewe doel uit die groot tipes evaluering wat bestaan. Verduidelik die evalueringsvrae Die ontwerp van 'n evaluering begin met die definisie van die gehoor vir die evaluering bevindings, wat hulle nodig het om te weet, en wanneer. Hierdie vrae bepaal watter een van die volgende vier hooftipes evaluering gekies moet: Impak evaluerings fokus op vrae van oorsaaklikheid. Het die program het die beoogde effekte? As dit so is, is wat gehelp het en watter aktiwiteite of kenmerke van die program het die impak? Het die program enige onbedoelde gevolge, positief of negatief? Prestasiemonitering verskaf inligting oor sleutelaspekte van hoe 'n stelsel of program aktief is en die mate waarin bepaalde doelwitte program word bereik (bv getalle van die jeug bedien in vergelyking met doelwitte te rig, verlagings in die skool uitsakkers in vergelyking met doelwitte teiken). Resultate word deur diensverskaffers, befondsers, en beleidmakers om prestasie en prestasies van die program beoordeel. Proses evaluerings vrae te beantwoord oor hoe die program werk en dokumenteer die prosedures en aktiwiteite onderneem in dienslewering. Sulke evaluerings te help identifiseer probleme in die lewering van dienste en strategieë vir die oorwinning van hierdie probleme. Dit is nuttig om praktisyns en diensverskaffers in replicerende of aanpassing program strategieë. Koste evaluerings te spreek hoeveel die program of program komponente kos, verkieslik met betrekking tot alternatiewe gebruike van dieselfde hulpbronne en om die voordele wat deur die program. In die huidige fiskale omgewing, moet programme verwag om hul koste te verdedig teen alternatiewe gebruike. 'N Omvattende evaluering sluit al hierdie aktiwiteite. Soms, egter, die vrae wat geopper word, die teikengehoor vir uitsprake, of die beskikbare hulpbronne beperk die evaluering fokus op een of twee van hierdie aktiwiteite. Of voorlopige evaluerings te verskaf aan personeel vir gebruik in die verbetering van die program bedrywighede en die ontwikkeling van bykomende dienste is 'n kwessie wat aangespreek moet word in die gesig gestaar. Voorlopige resultate kan effektief gebruik word om operasionele probleme te identifiseer en te ontwikkel die vermoë van program personeel om hul eie gang evaluering en monitering van aktiwiteite uit te voer. (1) Maar hierdie gebruik van evaluering bevindings, genoem formatiewe evaluerings, bied 'n uitdaging aan beoordelaars wat gekonfronteer word met die veel moeiliker taak van die skatte van die impak van 'n ontwikkelende ingryping. Wanneer die program self is bly om te verander, te meet impak vereis deurlopende meting van die tipes en vlak van diens wat gelewer word. Die gevaar in formatiewe evaluerings is dat die lyn tussen program bedrywighede en assessering sal vervaag. Die ekstra moeite en hulpbronne wat nodig is vir impak analise in formatiewe evaluerings moet word gemeet teen die potensiële winste aan die program van voortgesette verbeterings en hoe groter nut van die finale evaluering bevindings. Die ontwikkeling van 'n logiese model Dit is onmoontlik om evaluering te interpreteer sonder 'n duidelike begrip van die program doelwitte, implementering rye, en die verwagte verband tussen hulle en verwag program voordele. Verwagtinge oor hierdie skakeling is eksplisiete deur die ontwikkeling van 'n logika model gemaak. So 'n model is ontwikkel deur 'n bespreking met diensverskaffers en befondsers van die doelwitte van en rasionaal agter program organisasie en inhoud, die behandeling van beplanning dokumente en program verslae, en die hersiening van navorsingsbevindinge op soortgelyke programme of probleme. Die literatuuroorsig kan veral nuttig in die identifisering van geloofwaardige oorsaaklike skakels en behalwe die program wat in die evaluering moet in ag geneem word enige faktore wees. Die logika model bied 'n vereenvoudigde beskrywing van die program, die beoogde uitgange, en die beoogde uitkomste. Program kenmerke sluit in die bevolking te bereik, die hulpbronne wat gebruik gaan word en die identifisering van die tipe en vlak van diens elemente. Uitsette is onmiddellike program produkte as gevolg van die interne bedrywighede van die program, soos die lewering van beplande dienste. Voorbeelde van uitset aanwysers op die gebied van programme vir kwesbare kinders en jeug kan insluit die nommers van kinders geïmmuniseer, huisbesoeke deur gevallebestuurders, of jeug voltooiing van 'n taak opleidingsprogram. Hierdie program uitgange is, op sy beurt, die voertuig vir die vervaardiging van die gewenste programuitkomste, byvoorbeeld, daal in kindersiektes, afneem mishandeling en verwaarlosing gevalle, of stygings in die jeug werk. Noukeurige aandag moet betaal word wanneer die verwagte uitkoms moet verwag om plaas te vind. Om hierdie rede is dit dikwels nuttig om uitkomste te verdeel in intermediêre versus langer termyn. Byvoorbeeld, kan verbeter skoolbywoning vroeg grade 'n intermediêre uitkoms wat verband hou met die longerterm uitkoms van uitval voorkoming wees. Sorg moet gedra word om te fokus op uitkomste wat sal plaasvind binne die studietydperk. 'N klassieke mislukking in 'n uitkoms wat na verwagting binne die tydraamwerk van die studie te kies plaasgevind het in evaluerings van die DARE-program dwelm voorkoming, 'n opvoedkundige program vir die vyfde en sesde skrapers ontwerp om dwelmgebruik te voorkom. Evaluering resultate toon geen beduidende voorkoming van dwelmgebruik aan die einde van die program. Hierdie resultaat moes gewees het verwag, aangesien dwelmgebruik nie tipies begin onder die jeug in hierdie land tot die middel-tienerjare (14-17). 'N eeue-toepaslike intermediêre uitkoms moes gewees het gekies as die primêre uitkoms maatreël, soos verbeterde eweknie weerstand vaardighede en veranderinge in oortuigings oor die risiko's van dwelmgebruik. Die logika model moet ook eksplisiete kartering van die huidige in die program omgewing of eienskappe van die teikengroep of gemeenskap wat die vermoë van die program se aan sy doelwitte te bereik kan beïnvloed voorwaardes. Nie-program kenmerke van die program organisasie, gemeenskap of teikenpopulasie wat waarskynlik die uitsette en uitkomste en / of gebruik van program dienste beïnvloed is geroep voorafgaande veranderlikes. Toestande of gebeure in die program, teikenpopulasie, of gemeenskap wat mag beperk of uit te brei oor die mate waarin die program uitgange eintlik produseer die verlangde uitkomste genoem word bemiddel veranderlikes. Byvoorbeeld, kan 'n dwelmmisbruik voorkoming program minder effektief wees indien die program personeel is onervare, of indien die plaaslike gemeenskap bied minder ontspanningsgeriewe alternatiewe vir dwelmmisbruik en / of meer aktief oop markte dwelm (voorafgaande veranderlikes). Bied ander ondersteuningsdienste in kombinasie met die program kan die impak daarvan (a bemiddelende veranderlike) verbeter. In impak evaluerings die logika model word gebruik om uit te spel hoe en vir wie, word sekere dienste sal na verwagting spesifieke veranderinge / voordele te skep. Byvoorbeeld, as die program sluit in ouerskap klasse, die logika model sal hierdie aktiwiteit as 'n belangrike program komponent te identifiseer en te wys die tipe veranderinge in ouerskap wat gebruik sal word om programuitkomste te meet (bv deur die verbetering van ouerlike bystand met huiswerk of help ouers te kommunikeer meer effektief met adolessente). In Prestasiemonitering, is die logika model wat gebruik word om te fokus op wat vorme van uitset en uitkoms aanwysers is geskik vir spesifieke teiken bevolkings, gemeenskappe, of tydperke. Byvoorbeeld, onder aanwysers van verbetering kind in die skool, kan 'n mens verwag om teenwoordig te verbeter in die eerste semester van 'n program, maar akademiese toetstelling verbetering eers nadat 'n beduidende tydperk van program deelname-met die tydsberekening dalk wisselende deur die ouderdom en ontwikkelingsvlak van die kinders. In die proses evaluering, is die logika model wat gebruik word om verwagtinge oor hoe die program moet werk-'n & quot identifiseer; ideale tipe & quot; - wat kan dan gebruik word om die afwykings in die praktyk, waarom hierdie afwykings voorgekom het bepaal, en hoe die afwykings kan beïnvloed program uitgange. Dit help programbestuurders (en beoordelaars) om verskille (insluitend positiewe en negatiewe onbedoelde gevolge) identifiseer, te oorweeg moontlike meganismes vir fine-tuning program bedrywighede om die werklike program in lyn met die beplande benadering, of her-besoek program strategieë om alternatiewe te oorweeg. (2) Logika modelle aangebied word om tydelike rye wys, die bou van links na regs, en hulle tipies diagram verhoudings met pyle. 'N Voorbeeld van 'n logika model word in Exhibit A. Dit is ontwikkel deur die Urban Institute tydens die beplanning van die evaluering van die kinders in nood program (CAR). CAR is 'n intensiewe intervensie program is ontwerp om betrokkenheid by dwelms en misdaad te voorkom, en om gesonde ontwikkeling onder adolessente ouderdomme 13 tot 15 wat ernstige risiko aanwysers toon en woon in erg benoud middestad buurte te bevorder. Die ingryping bestaan ​​uit agt vereiste program komponente: Gevallebestuurders in diens van die program 'n diensplan vir al die lede van die huishouding van deelnemende jeug en bied intensiewe opvolg op verwysings na noodsaaklike dienste, hantering van 'n. gevallelading van 15; Familie Dienste sluit in ouerskap vaardigheidsopleiding vir alle ouers, en verwysing na ander dienste soos benodig (intensiewe gesinsberading, streshantering / hantering opleiding, identifisering en behandeling van dwelmmisbruik, gesondheidsorg, indiensopleiding en indiensneming programme, behuising, en inkomste ondersteuning dienste); Onderwys Dienste sluit in onderrig of huiswerk hulp vir alle jeug, en verwysing na ander dienste soos benodig (opvoedkundige toets, spesiale onderwysbehoeftes klasse); Na-Skool en somer aktiwiteite vir die hele motor jeug sluit ontspanningsgeriewe programme en lewenslange vaardigheid / leierskap ontwikkeling aktiwiteite, gekombineer met opleiding of onderwys; Mentorskap is verskaf deur plaaslike organisasies vir die jeug in die behoefte van 'n omgee-verhouding met 'n volwassene. Die rol van die mentor is om: (a) die jeug in te lig oor alternatiewe beskikbaar keuses (bv aktiwiteite en doelwitte); (B) vertroud hulle met strategieë vir die voortsetting van daardie keuses; (C) verskaf opleiding, geleenthede vir die praktyk, en terugvoer in die ontwikkeling van vaardighede vir die implementering van bepaalde strategieë; en (d) voorsiening verhoudings waardeur die jeug is bevestig, geïnspireer, en aangemoedig om gesonde keuses te maak; Aansporings soos geskenke en spesiale geleenthede gebruik word om moreel en gehegtheid aan die pro-sosiale doelwitte van die program te bou (bv 'n geskenk sertifikate, reise, en geskenkbewyse vir pizza, sportwinkels, films, en toelae vir gemeenskapsdiens gedurende die somer programme); Gemeenskapspolisiëringsforum / Verbeterde handhawing word gebruik in al die teiken woonbuurte veiliger omgewings met minder dwelms aktiwiteit te skep. Wetstoepassing aktiwiteite sluit buite gestasioneer polisie in skole en omgewing plekke om orde te handhaaf en te verbeter verhoudings met gemeenskapsgroepe, Kriminele / Juvenile Justice intervensie behels samewerking tussen gevallebestuurders en jeughof personeel om gemeenskapsdiens geleenthede en beter toesig van die jeug in die regstelsel verskaf. Voorafgaande veranderlikes sluit in die vlakke en tipes buurt, familie, portuurgroep, en persoonlike risikofaktore vir deelnemers sowel as hul demografiese eienskappe. Dit is invloede wat voor die program ingryping is. Bemiddeling veranderlikes sluit blootstelling aan ander sosiale of opvoedkundige dienste, persepsies van geleenthede, en sosiale norme. Dit is invloede wat Logika model wat gebruik word in Evaluering van die kinders in nood Program bedryf op dieselfde tyd as die program aktief is. Die program komponente is ontwerp om die intermediêre uitkomste-verlagings in risikofaktore en verbetering van beskermende faktore te bereik aan die einde van deelname program. Hierdie intermediêre uitkomste, gemeet aan die einde van deelname program word vermoed om nodige stappe in die rigting van die gewenste langer termyn uitkomste-voorkoming van dwelmgebruik, dwelms verkoop, misdadigheid, skool mislukking en uitval, en tiener ouerskap wees. Program uitgange, nie in hierdie diagram getoon, sluit aanwysers van prestasie soos die aantal onderrigsessies voorsien, aantal tuisbesoeke deur gevallebestuurders, en hoeveel keer ouers deelgeneem program aktiwiteite. Assesseer Gereedheid vir Evaluasie Evaluability assessering is 'n sistematiese proses om te besluit of programevaluering is geregverdig, haalbaar, en waarskynlik nuttige inligting te voorsien. Vrae in 'n evaluability assessering in ag geneem word, sluit in: (3) Is die program se logika model geloofwaardige gegee beskikbaar die hulpbronne en die leiding van die relevante literatuur? As die program doelwitte is onrealisties of die intervensiestrategieë nie goed gegrond is in teorie en / of vorige bewyse, dan evaluering is nie 'n goeie belegging. Watter soort data sal nodig wees, uit watter getal vakke, en watter data is geneig om reeds beskikbaar wees? Evaluerings moet ontwerp word om die gebruik van beskikbare data te maksimeer, solank dit is geldig aanwysers van belangrike begrippe en betroubaar. Beskikbare data kan, byvoorbeeld, sluit in die regering statistieke, individuele en opsomming agentskap rekords en statistieke, en inligting deur navorsers vir ander studies ingesamel. As daar belangrike inligting hoef nie nagekom met bestaande data, moet hulpbronne beskikbaar wees om die nodige nuwe data in te samel. Voldoende hulpbronne en bates beskikbaar-geld, tyd, kundigheid, en gemeenskap en die regering ondersteun? Is daar enige faktore wat beperk of te beperk toegang tot hierdie hulpbronne? Kan die evaluering behaal in 'n tyd dat die bevindinge sal toelaat nuttig in die maak van program en beleidsbesluite deur die federale, staats te wees, en plaaslike amptenare? Tot watter mate evaluering inligting wat reeds bestaan ​​iewers op dieselfde of 'n naverwante ingryping? Die antwoord op hierdie vraag kan belangrike implikasies vir aksie. Enige suksesvolle vorige pogings kan belowende modelle lewer vir replikasie. Lesse geleer uit vorige mislukte pogings kan die huidige poging in te lig. As voldoende bewyse bestaan ​​reeds uit vorige pogings, kan die waarde van 'n nuwe evaluering marginale wees. Tot watter mate is die bevindinge van 'n evaluering waarskynlik generalizable te wees om ander gemeenskappe, en dus nuttig in die bepaling of die program moet uitgebrei word om ander instellings of gebiede? Is daar unieke eienskappe van die projekte te evalueer wat dalk nie van toepassing op die meeste ander projekte? Program eienskappe wat nie generalizable verminder die waarde van enige bevindings. Die keuse van 'n Evaluering Design Die keuse van die evaluering ontwerp volg die sistematiese oorweging van hierdie vrae. Soos reeds genoem, is daar vier hooftipes evaluering: impak, monitering van prestasie, proses, en koste. Ons bespreek elkeen op sy beurt. Impak Evaluering Designs Drie moontlike ontwerpe is moontlik vir impak evaluerings: eksperimentele, kwasi-eksperimentele, en nie-eksperimentele. Hulle het almal deel van die strategie van vergelyking programuitkomste met 'n mate van wat sou gebeur het sonder die program. Eksperimentele ontwerpe is die mees kragtige en produseer die sterkste bewyse. Dit is nie altyd moontlik nie, maar in welke geval een van die twee ander alternatiewe moet gekies word. (A later afdeling bespreek hoe om die keuse te maak.) eksperimentele ontwerpe Sleutelelemente. Eksperimentele ontwerpe word beskou as die & quot; goudstandaard & quot; in impak evaluering. Eksperimente vereis dat individue of groepe, soos klaskamers of skole, word toegeken na willekeur (deur die flip van 'n muntstuk of gelykstaande randomizing prosedure) om een ​​of meer groepe voor die aanvang van dienste. Die & quot; behandeling & quot; groep of groepe sal aangewys word om bepaalde dienste wat ontwerp is om duidelik gespesifiseerde uitkomste te bereik ontvang. As veelvuldige behandeling groepe aangewys, kan die uitkomste vir die behandeling groepe vergelyk word met mekaar om die relatiewe impak van die verskillende dienste of die impak met betrekking tot 'n kontrole groep skat. A & quot; beheer & quot; groep ontvang geen dienste. Die uitkomste behandeling groep is in vergelyking met uitkomste groep beheer om impak te skat. Omdat kans alleen bepaal wie die program dienste ontvang, kan die groepe aanvaar soortgelyke alle eienskappe wat kan beïnvloed die uitkoms maatreëls behalwe die program te wees. Enige verskille tussen behandeling en beheer groepe dus kan toegeskryf word met vertroue na die impak van die program. Ontwerp Variasies. Een ontwerp variasie is gebaseer op 'n ewekansige seleksie van tydperke waartydens dienste gelewer word. Byvoorbeeld, kan nuwe dienste word aangebied op lukraak gekies weke of dae. 'N weergawe van hierdie benadering is om te gebruik & quot; week op / week af & quot; opdrag prosedures. Alhoewel dit nie werklik ewekansige, hierdie benadering ten nouste by benadering ewekansige opdrag as kliënt eienskappe nie stelselmatig wissel van week tot week. Dit het die groot voordeel dat program personeel dikwels vind dit makliker om te implementeer as die neem van besluite oor program inskrywing deur die flip van 'n muntstuk op 'n geval-tot-geval basis. 'N Tweede ontwerp variasie is 'n verspringende begin benadering - in wat sommige lede van die teikengroep lukraak gekies word om dienste te ontvang met dien verstande dat die res dienste sal ontvang op 'n later tyd (in die geval van 'n skool of klaskamer, die volgende semester of maand). Een nadeel van die verspringende begin ontwerp is dat die waarnemings van uitkomste is beperk tot die tydperk tussen die tyd dat die eerste groep die program voltooi en die tweede groep begin. As gevolg hiervan, is dit oor die algemeen beperk tot die assessering van winste wat gemaak is tydens deelname aan relatief kort termyn programme. Beperkings / oorwegings. Hoewel eksperimente is die voorkeur-ontwerp vir 'n impak-evaluering op wetenskaplike gronde, ewekansige opdrag evaluerings is nie altyd die ideale keuse in die werklike lewe instellings. Sommige ingrypings is inherent onmoontlik om te studeer deur middel van ewekansige eksperimente. Jeug curfews, byvoorbeeld, kan nie afgedwing word teen 'n lukraak gekies subset van kinders in 'n gemeenskap. En & quot; week op / week af & quot; handhawing is geneig om minagting te teel vir beide die wet en die handhawing. 'N Tweede oorweging is of ewekansige opdrag is etiese en aanvaarbaar vir die gemeenskap. Openbare mening kan weerstaan ​​die behandeling van soortgelyke kinders verskillend op grond van 'n muntstuk flip of dalk ewekansige opdrag te sien as die ontginning van kwesbare bevolkings en magteloos mense. Noukeurig ontwerp prosedures vir randomisasie mag in staat wees om so 'n weerstand te oorkom. Een strategie is ewekansige seleksie van hierdie dienste ontvang van 'n lys van diegene wat aan voorwaardes voldoen wanneer hulpbronne is nie beskikbaar vir almal wat in aanmerking kom dien. Hierdie vorm van loting is naby genoeg om & quot; first come, first served & quot; aanvaar te word as billike in baie situasies. Die verskaffing van dienste vir 'n paar kliënte op 'n later tyd (die volgende maand of semester soos hierbo beskryf) kan bevredig gemeenskap kommer oor regverdigheid en wees in ooreenstemming met beskikbare personeel en hulpbronne. Soms, kan ewekansige opdrag behels ontspan 'n vereiste in plaas van die toevoeging van een, wat randomisasie minder omstrede maak. Groot sorg moet geneem word om te verseker dat die kontrole groep nie noodsaaklike dienste wat hulle andersins sou moes word ontken dat die voordele vir deelnemers en die gemeenskap versigtig verduidelik, en die program personeel en deelnemers te verstaan ​​en te ondersteun die navorsing. Baie finansiers vereis dat 'n formele hersiening van die navorsing ontwerp deur 'n paneel opgelei in riglyne ontwikkel om navorsing deelnemers te beskerm. Selfs wanneer sodanige hersiening nie nodig is, eksplisiete oorweging van hierdie kwessie is noodsaaklik. 'N Derde belangrike vraag is of die resultate wat waarskynlik verkry is regverdig die belegging. Eksperimente tipies vereis hoë vlakke van hulpbronne - geld, tyd, kundigheid en ondersteuning van program personeel, regeringsagentskappe, finansiers en die gemeenskap. Evaluering beplanners moet hulself afvra of die antwoorde op die lys van evalueringsvrae-en die besluite op program voortsetting, uitbreiding, of verandering wat gemaak sal word op grond van die bevindinge - kan gebaseer wees op goedkoper, minder finaal, maar steeds aanvaarbaar evaluering strategieë. Praktiese kwessies. Eksperimentele ontwerpe hardloop die meeste risiko om besmet as gevolg van opsetlike of onopsetlike foute gemaak in die veld. Om hierdie gevaar te verminder, moet daar noue samewerking tussen die evaluering span en die program personeel in die identifisering van doelwitte, die opstel van skedules, te verdeel verantwoordelikhede vir rekordhouding en data-insameling, die neem van besluite met betrekking tot die kliënt kontak, en die deel van inligting oor die vordering en probleme wees. Aktiewe ondersteuning van die sleutel administrateurs program, voortgesette opleiding van personeel en kommunikasie via vergaderings, konferensie oproepe of e-pos is noodsaaklik. Versuim om te voldoen aan die plan vir ewekansige opdrag is 'n algemene probleem. Personeel is dikwels intens verbind aan hul kliënte en sal wil basis program inskrywing besluite oor hul persepsies van wat nodig het, of sal baat vind by die program. Om hierdie slaggat te voorkom, moet prosedures opgestel word sodat die evalueerder, nie-program personeel, is in beheer van die toekenning op behandeling of kontrole groep. Statistiese aanpassings in die analise wat nodig mag wees as daar operasionele mislukkings om die randomisatietechnieken proses (4) in stand te hou. En selfs dit mag onvoldoende om die aldus ingestel vooroordele te verwyder. Nog 'n moontlike probleemarea is noncomparable inligting vir behandeling en beheer groeplede. Program personeel kan geredelik versamel data en voorsien kontakbesonderhede vir lede behandeling groep, want hulle het die voortsetting van kontak met kliënte, ander agentskappe, en die gemeenskap. Invordering van vergelykbare data en kontakbesonderhede op kontrole groep lede kan moeilik wees. As die eksperiment verloor spoor heeltemal van meer beheer as lede behandeling groep, sal die evaluering data nie net onvolledig wees, dit sal verdraai en dus misleidend inligting oor wat die impak van die program het voorsien. Die beste manier om vooroordeel uit hierdie probleem (genoem ewenaar uitvloei) te vermy is om dop prosedures en data-insameling te beplan aan die begin van die evaluering, die insameling van inligting van die groeplede beheer oor hoe hulle opgespoor kan word, en die ontwikkeling van ooreenkomste met ander gemeenskap agentskappe , verkieslik skriftelik, om hulp in data-insameling en voorbeeld lid dop. Hierdie ooreenkomste is nuttig in die handhawing van monster kontinuïteit in die aangesig van personeelomset by die betrokke agentskappe. As die program dienste en inhoud verander met verloop van tyd, kan dit moeilik wees om te bepaal watter vlak of tipe dienste die uitkomste geproduseer. Die beste strategie is om die sleutel veranderinge in die program en die tydsberekening van die veranderinge te identifiseer as deel van 'n proses evaluering en hierdie inligting gebruik om te definieer & quot; soorte program & quot; variasies in die program ervaring van verskillende deelnemers vir die impak analise. Ander potensiële probleme kan opgelos word deur die gebruik van spesiale statistiese tegnieke word. Sulke probleme sluit in onvoldoende of ongelyke opvolg periodes vir behandeling versus beheer, (5) en die risiko van gebeure (bv mislukking op skool, aanhouding, besering, beweeg) wat is meer geneig om 'n paar vorme van lede van 'n monster as ander verwyder voor die einde van die beplande opvolg tydperk. (6) Voorbeeld. Die evaluering van Projek Alert, 'n agt-week junior hoërskool kurrikulum vir die onderrig van graad sewe studente om dwelmgebruik te vermy, gebruik 'n eksperimentele ontwerp (7). Dertig Kalifornië en Oregon skole is ewekansig toegewys aan drie groepe: 1) studente in opdrag van volwasse gesondheid opvoeders, 2) studente in opdrag van ouer tieners, en 3) 'n nie-behandeling kontrole groep, hoewel vier van die nie-behandeling skole voorsien ander dwelms voorkoming onderrigprogramme. Om die veralgemeenbaarheid van die bevindinge te verhoog, is die skole uit agt stedelike, voorstedelike, en landelike gemeenskappe en byna 'n derde van die skole het bevolkings minderheid van 50 persent of hoër. Om die pre-opdrag ooreenkomste van die drie eksperimentele groepe te verhoog en die bevordering van die statistiese krag van die analise (gegewe die relatief klein steekproef van skole), was elke eksperimentele groep ingesluit in ten minste een skool in elke gemeenskap, en die skole in die eksperiment is gekoppel aan die mate moontlik om verskille tussen groepe in sulke eienskappe soos toetstellings, taal gepraat by die huis, dwelmgebruik onder 8 skrapers, en etniese en inkomste samestelling verminder. Hierdie prosedures wat aansienlike pre-eksperimentele ooreenkomste in faktore wat verband hou met dwelmgebruik onder die eksperimentele groepe. Sedert skole, maar nie studente lukraak toegewys is statistiese aanpassings gebruik is om vir die groepering van studente in skole. Studente voltooide vraelyste oor hul dwelmgebruik sewe keer tussen graad 7 en 12; diegene wat na ander skole of distrikte oorgedra voltooi pos en telefoon onderhoude te monster uitvloei te verminder. Uitkoms maatreëls ingesluit kognitiewe risikofaktore wat verband hou met dwelmgebruik: oortuigings oor gevolge van die gebruik, norme met betrekking tot dwelmgebruik, peer weerstand, selfdoeltreffendheid en verwagte toekomstige dwelmgebruik. Eksperimentele evaluerings is duur. Die kinders in nood evaluasie, byvoorbeeld, kos $ 1,5 miljoen. Maar die streng ontwerp toegelaat sterk gevolgtrekkings te maak oor die doeltreffendheid van die dwelm voorkoming onderwys langtermyn tydens vroeë adolessensie en getoon dat die resultate nie beperk tot middelklas gemeenskappe, maar kan gebruik word in skole met 'n hoë verhouding van laer inkomste en minderheid studente. Kwasi-eksperimentele ontwerpe Sleutelelemente. Soos eksperimente, kwasi-eksperimentele evaluering vergelyk uitkomste van programdeelnemers om uitkomste vir 'n vergelyking groepe wat nie die program dienste ontvang nie. Die kritieke verskil is dat die besluit oor wat die program ontvang is nie lukraak. Vergelyking groepe is saamgestel uit lede van die teikenpopulasie as soortgelyke moontlik om die program deelnemers op faktore wat 'n invloed kan die geselekteerde uitkomste in ag moet neem. Meerveranderlike statistiese tegnieke word dan gebruik om te beheer vir oorblywende verskille tussen die groepe. Gewoonlik, evalueerders gebruik bestaande bevolkingsgroepe vir 'n vergelyking-diegene wat in 'n soortgelyke omgewing woon, of ingeskryf is in dieselfde skool in 'n ander klas, of bygewoon dieselfde skool met dieselfde onderwyser in die vorige jaar. In sommige gevalle, personeel (of skole of gemeenskappe) bereid is of opgelei om te probeer die nuwe & quot; behandeling & quot; terwyl ander is nie, maar dit is dieselfde reëls vir diens in aanmerking te kom word deur almal. Ontwerp Variasies. Die primêre variasie is om 'n vergelyking groep te bou deur ooreenstem individue aan individue in die behandeling groep op 'n sekere aantal eienskappe. Hierdie proses vir die kies van 'n vergelyking groep is metodologies minder verdedigbare (8). Die bedreigings vir geldigheid is tweeledig. 1) Pasmaats gebaseer op ooreenkomste op 'n enkele punt in die tyd nie altyd lei tot groepe van individue wat vergelykbaar met verloop van tyd. Dus, kan die groepe toenemend verskillende mettertyd onafhanklik van die program. 2) Verskille in veranderlikes nie gebruik word in die komende kan 'n aansienlike uitwerking onafhanklik van die program geëvalueer het. Kwasi-eksperimentele ontwerpe wissel in die aantal en tydsberekening van die versameling van data oor program uitkoms maatreëls. Die keuse van die aantal en tydsberekening metings is gebaseer op 'n evaluering van die potensiaal bedreiging deur meeding hipoteses wat nie deur die vergelyking metode regeer. In baie gevalle, die sterkste ontwerpe is dié wat pre-program maatreëls van uitkomste en risikofaktore te samel en gebruik dit in die ontleding om te fokus op binne-individuele veranderinge wat plaasvind gedurende die tydperk program. Hierdie veranderlikes word ook gebruik om groepe van deelnemers wat die meeste van die dienste tot voordeel te identifiseer. Een ontwerp variasie behels bykomende meting punte (bykomend tot eenvoudige voor en na) om tendense meer presies te meet. Nog 'n variasie is nuttig wanneer versameling pre-program data (soos die toediening van 'n toets oor kennis of houdings) kan & quot; leer & quot; jeug oor die vrae wat gevra moet word na die program om verandering te meet, en dus verdraai die meting van program impak. Hierdie variasie behels die beperking van data-insameling aan die einde van die program tydperk vir 'n paar groepe, sodat hulle na-program antwoorde te vergelyk met die post-program antwoorde van diegene wat ook deelgeneem aan die pre-program toets. Oorwegings / Beperkings. Gebruik van nie-ekwivalente kontrole groep ontwerpe vereis noukeurige aandag aan prosedures wat uit die kompetisie hipoteses oor wat veroorsaak enige waargenome verskille oor die uitkomste van belang. In evaluerings van programme vir kwesbare kinders en jeug, drie bedreigings vir geldigheid uitstaan. (9) Die eerste is die bedreiging van & quot; rypwording & quot; - die moontlikheid dat die ouderdom-verwante prosesse sal bydra om onafhanklik van die program ingryping uitkomste. Onder die jeug, sekere uitkomste, positief en negatief, word sterk gekoppel is aan ouderdom - uitkomste soos dwelmgebruik, misdadigheid, en vroeë ouerskap. Voorbeeld. Voorbeeld. Prestasiemonitering hulle Voorbeeld. praktyke. en Voorbeeld. Voorbeeld. gevolgtrekkings Washington DC; & Quot; die risiko