Riassunto Esame Analisi opinione pubblica e scelte di consumo, Prof Martire, libro consigliato Pretest

Pretest. Un approccio cognitivo

Capitolo 1 - Il pretest nei sondaggi

Sin dagli inizi del Novecento il sondaggio è stato considerato la strategia principe per rilevare l’opinione pubblica. Dillman, Lehmann, Hunt, Sparkman e altri studiosi affermano che fare un pretest per individuare i difetti di costruzione di un questionario è una fase molto raccomandata di una ricerca. Spesso però, in assenza di regole ben definite, viene fatto in modo casuale, quando viene fatto. In Italia solo nel testo di Mauceri (2003), dedicato alle strategie di progettazione e controllo della qualità dei dati, viene presentata anche una ricerca dell’autore su una tecnica di pretest, riportato anche nel manuale di Pitrone (2009).

1.1 Il dibattito sul pretest

Per molto tempo il pretest veniva effettuato semplicemente chiedendo agli intervistati se avessero riscontrato qualche problema nell’effettuare il questionario, fino a che questo metodo non fu molto criticato a causa della forte dipendenza dal giudizio degli intervistatori e dal comportamento degli intervistati, che avrebbero potuto anche essere inconsapevoli di avere un problema o di non volerlo dire per non apparire incompetenti. Nella seconda metà degli anni ottanta quindi si iniziò ad avvertire l’esigenza di studiare l’efficacia dei pretest.

1.2 Gli obiettivi della fase di pretest

Il pretest serve a controllare il funzionamento di uno strumento di rilevazione e ad individuarne i difetti che possono ridurre la qualità dei dati raccolti. Per qualità dei dati si intende la capacità di un’informazione, collocata sotto forma di simbolo numerico in una posizione univocamente definita della matrice, di rispecchiare lo stato di un oggetto sulla relativa proprietà. Questa definizione di qualità del dato sposta il controllo al di fuori della matrice e quindi si discosta dal concetto di accuratezza, e da quello connesso di errore di misurazione, eliminando ogni riferimento ad una valutazione basata sul calcolo di coefficienti di attendibilità. La valutazione di un questionario deve tener conto di come intervistatore e intervistato interagiscono tra loro e con lo strumento, perché è da queste che dipendono gli esiti della raccolta dei dati. Inoltre, tra intervistatore e intervistato si possono innescare dinamiche di negoziazione del significato di una domanda tali da produrre risultati inattesi dal ricercatore. Di seguito quindi alcuni possibili obiettivi del pretest:

• Controllo / affinamento della concettualizzazione del problema di ricerca. In questo caso il pretest può servire per indagare se nella mappa dei concetti sono state inserite tutte le proprietà rilevanti per gli obiettivi della ricerca e se le proprietà scelte rivestono importanza e significato dal punto di vista degli intervistati.
• Controllo della validità degli indicatori.
• Controllo dell’affidabilità delle definizioni operative. La funzione principale del pretest è di controllare se i procedimenti con cui una proprietà viene trasformata in una variabile, producono dati fedeli. Le componenti del sistema di rilevazione che possono causare distorsione sono: gli intervistatori, la formulazione delle domande e la struttura del questionario.
• Controllo della codifica delle risposte. Il pretest dovrebbe aiutare ad individuare e prevenire i probabili errori del passaggio di risposta. Gli errori di codifica possono dipendere anche dalle modalità di conduzione dell’intervista.

Oltre che per individuare cause di infedeltà dei dati, il pretest può servire per valutare come determinati aspetti della ricerca influenzano il tasso di partecipazione.

1.3 Una tipologia delle tecniche di pretest

Le tecniche di pretest vengono classificate secondo criteri diversi, dalla combinazione di alcuni di questi criteri, scaturiscono diverse tecniche:

• Controllo sul campo: gli strumenti vengono controllati replicando situazioni simili alla realtà di esecuzione;
• Controllo fuori campo: il controllo degli strumenti avviene in situazioni che prescindono dalla realtà;
• Partecipate e non partecipate, in base alla consapevolezza che i soggetti hanno di partecipare alla fase di controllo di uno strumento;
• L’ascolto del punto di vista degli intervistatori sul funzionamento dello strumento;
• L’ascolto del punto di vista degli intervistati sul funzionamento dello strumento.

DDM – Analisi opinione pubblica e scelte di consumo – Pretest Pag. 1 Il focus group non viene considerato perché è più adatto allo studio pilota piuttosto che al pretest. Tra le tipologie di tecniche di pretest, troviamo:

• Codifica del comportamento verbale degli intervistatori e degli intervistati: analizzare la frequenza con cui si verificano deviazioni dalla sequenza domanda-risposta prevista dal ricercatore nelle diverse interviste, è utile per la valutazione del questionario. Ma tale tecnica è utile per individuare le difficoltà di intervistatori e intervistati ma non per capirne le cause, per questo si affiancano altre tecniche, come il debriefing.
• Valutazione di esperti: facile e poco costosa, consiste nel coinvolgere studiosi estranei al gruppo di ricerca per valutare il questionario.
• Analisi del questionario con software ed esame dei movimenti oculari: Il software, detto QUAID, partendo da un modello di rappresentazione della cognizione umana, permette di individuare gli aspetti della domanda che ne rendono difficile la comprensione. L’eye-tracking è una tecnica hardware e software utile a capire dove e per quanto tempo lo sguardo dell’intervistato si fissa sul questionario.
• Debriefing degli intervistati, consiste nel porre domande di approfondimento delle risposte ottenute (probes) dopo la somministrazione del questionario o durante l’intervista. Tecnica molto utile ma molto dispendiosa sia in termini di tempo, sia di sforzo cognitivo richiesto all’intervistato.
• Intervista sull’intervista, per indagare il livello di comprensione delle domande e i processi di formazione delle risposte. Simile al debriefing perché anche questa dipende dai processi mentali degli intervistati e può essere valutata e migliorata solo ricostruendo il loro punto di vista sulle domande.
• Intervista cognitiva: tecnica basata sugli assunti del movimento “Cognitive Aspects of Survey Methodology”, che promuove una stretta collaborazione tra metodologi della ricerca sociale e psicologi cognitivi. Questa intervista è spesso condotta in laboratorio, in una situazione artificiale, e si basa sul cognitivismo. Alcune strategie dell’intervista cognitiva sono le vignette (come avrebbe risposto l’intervistato se si fosse trovato nella situazione descritta dalla storia), parafrasi (si chiede all’intervistato di ripetere la domanda con parole sue per vedere se ha capito il senso), giudizi di sicurezza (viene invitato a indicare su una scala quanto è sicuro della sua risposta), compito di classificazione (consente di conoscere come gli intervistati rappresentano mentalmente e organizzano le loro conoscenze su un determinato tema).
• Debriefing degli intervistatori: gli intervistatori vengono invitati a compilare schede di valutazione delle domande e del questionario in generale. Tali schede possono essere strutturate in modo da ottenere le impressioni degli intervistatori sul questionario e sugli intervistati, le difficoltà da loro incontrate nella lettura delle domande e i problemi manifestati dagli intervistati nel comprenderne il testo e dare una risposta.

1.4 Un confronto tra le tecniche di pretest del questionario

Alcuni ricercatori hanno messo a confronto diverse tecniche di pretest per valutare i questionari, ma è un’iniziativa abbastanza discutibile perché ogni tecnica individua difetti diversi e una sovrastima dei difetti può portare a modifiche peggiorative piuttosto che migliorative di un questionario. Presser e Blair, hanno sottoposto un questionario a quattro tecniche di controllo: valutazione di esperti (ha prodotto il maggior numero di segnalazioni di potenziali problemi), debriefing degli intervistatori, codifica del comportamento verbale degli intervistatori e degli intervistati e intervista cognitiva. I problemi di comprensione sono stati i più frequenti, quelli di lettura della domanda e di registrazione della risposta da parte degli intervistatori sono stati segnalati in percentuali significativi solo dal debriefing e dalla codifica del comportamento verbale, considerata in conclusione come la tecnica più attendibile. Gli stessi risultati sono stati ottenuti da uno studio simile effettuato da Willis, Schechter e Whitaker (1999). Nel 2004 Forsyth, Rothgeb e Willis hanno utilizzato tre tecniche: valutazione di esperti, formale e informale, e intervista cognitiva. I problemi segnalati corrispondevano a quelli individuati dalle precedenti ricerche.