What Works Clearinghouse è un'iniziativa del Dipartimento per l’istruzione degli Stati Uniti d’America, in particolare del Centro Nazionale per la valutazione dell’istruzione e l’assistenza regionale (NCEE) e dell’Istituto per le scienze educative (IES). WWC fornisce valutazioni scientifiche sull'efficacia dei programmi di educazione, delle politiche e delle pratiche e una gamma di prodotti che riassumono e diffondono i risultati.
Cosa funzione davvero?
Quali sono gli interventi, le pratiche davvero efficaci, che funzionano, nel campo dell’istruzione? Nella scuola si ripongono tante aspettative ed individuare le pratiche migliori ha un immediato risvolto innanzitutto sul futuro dei bambini o dei ragazzi su cui vengono implementati gli interventi ed in secondo luogo e più in generale sulla società. “Cosa funziona davvero?” diventa una delle domande più ricorrenti tra i genitori, gli insegnanti, i policy maker. Spesso, nella pratica, ci si affida alla tradizione o agli aneddoti. Se c’è un campo in cui le buone pratiche dovrebbero essere individuate in maniera oggettiva e scientifica è proprio quello scolastico. Ma cosa significa in questo caso in maniera scientifica?
Origini
Nel 2001, con il “No Child Left Behind Act”, l’amministrazione americana si ripropose l’uso di “ricerche scientifiche” per rifondare i programmi educativi e per dare istruzioni operative nella gestione delle classi. Nel febbraio 2002 fu organizzato un seminario proprio per rispondere alla domanda su cosa significhi nel campo educativo ricerca scientifica e su come applicarla per “non lasciare indietro nessun bambino”. Al termine di queste riflessioni, il Dipartimento per l’educazione americano ha definito gli studi basati sul confronto di campioni casuali lo standard per la propria ricerca di buone pratiche: l’efficacia di un intervento si sarebbe valutato preferibilmente sulla base dei risultati ottenuti da un campione casuale sottoposto a quell’intervento rispetto ai risultati ottenuti da un campione casuale di soggetti non sottoposti a tale intervento. Un approccio molto diffuso in medicina ma che non era stato ancora adottato in maniera estensiva nel campo dell’educazione.
What Works Clearinghouse
Si arriva così alla creazione di What Works Clearinghouse (WWC), un’organizzazione nata per rendere sistematica la ricerca scientifica di buone pratiche educative e per favorirne la diffusione. Istituito su iniziativa del Dipartimento per l’istruzione degli Stati Uniti d’America, in particolare del Centro Nazionale per la valutazione dell’istruzione e l’assistenza regionale (NCEE) e dell’Istituto per le scienze educative (IES), WWC è una parte fondamentale della strategia per migliorare il sistema educativo degli Stati Uniti.
Obiettivi
Obiettivo della WWC è quello di fornire supporto alla presa di decisioni nell’ambito dell’istruzione identificando e valutando scientificamente i programmi di educazione, le politiche e le pratiche (denominati "interventi") in campo educativo e fornendo dati su ciò che funziona in quel campo. WWC distribuisce tali informazioni tramite il proprio sito web attraverso una gamma di prodotti che riassumono e diffondono i risultati. Con oltre 700 pubblicazioni disponibili e più di 6.000 studi recensiti sul proprio database disponibile online, il WWC aiuta gli educatori e le istituzioni a distinguere tra le ricerche di alta qualità e quelle più deboli o realizzate a puro scopo promozionale.
Il processo di revisione
WWC non produce nuove ricerche ma valuta la qualità ed i risultati di ricerche già esistenti. Un processo sistematico di revisione è alla base di tutti i prodotti WWC, consentendo a WWC di utilizzare standard e procedure coerenti, oggettive e trasparenti, ma anche di garantire una copertura pressoché completa della letteratura pertinente. Le procedure, gli standard e gli aspetti organizzativi sono documentati in un manuale, giunto alla terza edizione, aggiornato al febbraio 2013.
Il processo di revisione sistematica WWC si compone di quattro fasi:
- Sviluppo del protocollo di revisione. WWC sviluppa un protocollo di revisione formale che stabilisce innanzitutto i parametri per definire il campo di ricerca (ad esempio, le caratteristiche della popolazione ed i tipi di interventi) e come verrà effettuata la ricerca sulla letteratura esistente (ad esempio, i termini di ricerca e le banche dati).
- Identificazione della letteratura. Ricercatori appositamente addestrati usano le parole chiave definite nel protocollo di revisione per cercare esperienze documentate, all’interno di un set standard di database di letteratura e di siti web (l’elenco completo è riportato nel manuale). In più, i ricercatori di WWC conducono ulteriori indagini per individuare altri lavori non contenuti nei database ma che, ad esempio, sono stati inviati direttamente a WWC.
- Screening e revisione degli studi. L’aspetto fondamentale del processo di revisione è la valutazione del singolo studio. Il processo di revisione si compone di due step: uno screening iniziale per verificare l’ammissibilità dell’intervento ed una revisione dello studio secondo gli standard WWC.
Step 1 - screening iniziale:
Gli studi raccolti durante la fase di ricerca della letteratura sono controllati per verificare che siano in possesso dei parametri specificati nel protocollo di revisione e che possano essere quindi inclusi nel set di studi eligibili per una valutazione WWC.
Gli studi possono essere dichiarati ineleggibili per una serie di motivi:
● non si tratta di un’analisi degli effetti dell’intervento.
● lo studio non è basato su un disegno di ricerca eligibile: WWC da la priorità a studi controllati randomizzati ed a studi quasi sperimentali.
● lo studio non utilizza un campione conforme al protocollo: le caratteristiche del campione sono elencate nel protocollo e includono età, genere, grado e località geografica.
● lo studio non include la valutazione di effetti rilevanti per il protocollo WWC e che generalmente ricadono in uno di questi domini: (a) accesso ai gradi superiori di istruzione (b) accumulazione di crediti (c ) risultati accademici (d) raggiungimento di risultati (e) mercato del lavoro.
Per facilitare questo primo controllo WWC ha elaborato lo Study Review Guide Template, disponibile anche su un foglio excel scaricabile dal sito e che guida i revisori nella documentazione degli studi.
Step 2 - Revisione dello studio secondo gli standard WWC.
Tutti gli studi che hanno soddisfatto le condizioni minime poste al primo step sono analizzate secondo gli standard WWC per verificare il disegno di ricerca, le modalità di creazione del campione, la presenza di almeno una misura rilevante dei risultati, valida e affidabile e se ci sono fattori confondenti, lo studio riceve uno dei tre possibili punteggi: soddisfa gli standard WWC senza riserve, soddisfa gli standard WWC con riserve oppure non soddisfa gli standard WWC.
4. Diffusione dei risultati. I particolari della analisi e le sue conclusioni sono riassunte in una serie di prodotti. Di solito WWC diffonde la recensione dei singoli studi abbinandoli ad indici di risultato, che descrivono l’efficacia dei risultati e il grado di significatività degli stessi.
I prodotti delle analisi del WWC sono così diffusi in vari formati:
• Rapporti di intervento. Questi report sintetizzano tutti gli studi pubblicati nel corso di uno specifico periodo di tempo che esaminano l' efficacia di un intervento. Per gli studi che soddisfano le norme WWC, la WWC sintetizza i risultati per stimare la portata dell’efficacia dell'intervento.
• Guide pratiche. Queste guide contengono raccomandazioni pratiche che gli educatori possono utilizzare per affrontare specifiche sfide nelle loro classi e scuole. Le raccomandazioni sono basate sulle opinioni di ricerca, sull'esperienza ed i giudizi professionali di un panel di esperti riconosciuti a livello nazionale che comprende sia ricercatori che educatori.
• Singole recensioni di studi. Questi rapporti sono recensioni su una particolare ricerca riguardante un programma, una politica o una pratica ed indicano se lo studio soddisfa gli standard WWC e ne riassume i risultati relativi all’efficacia . Gli studi che raccolgono maggiori menzioni nella stampa sono oggetto di un particolare tipo di recensione: questi studi sono rivisti in modo rapido e viene subito pubblicato un riassunto del lavoro di revisione, seguito da uno studio più completo per quelli che soddisfano i requisiti WWC.
Organizzazione del lavoro
WWC ha messo a punto anche procedure organizzative rigorose che garantiscono un esame indipendente, sistematico ed obiettivo. Dopo una ricerca preliminare, se si verifica la presenza di sufficiente materiale per generare la recensione di interventi su un dato argomento, vengono identificati esperti di contenuto e metodologhi come team leaders. Se questi stanno affrontando per la prima volta un processo di revisione WWC, ricevono un training sui contenuti e sugli aspetti procedurali. I team leaders sono responsabili dello sviluppo dei protocolli di analisi per un determinato argomento, per fornire supporto metodologico e di contenuto e per guidare il gruppo di lavoro nell’analisi dell’argomento, giocano quindi un ruolo fondamentale nel determinare il contenuto e la qualità dei prodotti finali. Nel gruppo di lavoro sono presenti anche revisori certificati WWC e coordinatori. I revisori certificati WWC sono responsabili dell’analisi della letteratura. I revisori sono addestrati nella progettazione di disegni di ricerca, in metodologia e nella conduzione di analisi critica dell’efficacia di studi e ricerche ed hanno superato un esame di certificazione. I coordinatori supportano i team leader, i revisori e gli altri membri del team di analisi gestendo vari aspetti delle revisioni. Ad esempio supervisionano il processo di ricerca della letteratura, organizzano e mantengono la comunicazione, tracciano il processo di revisione e sovrintendono il processo di produzione.