Riassunto Esame Analisi opinione pubblica e scelte di consumo, Prof Martire, libro consigliato Pretest

PRETEST. UN APPROCCIO COGNITIVO

CAPITOLO 1 - IL PRETEST NEI SONDAGGI

Sin dagli inizi del Novecento il sondaggio è stato considerato la strategia principe per rilevare l’opinione pubblica.

Dillman, Lehmann, Hunt, Sparkman e altri studiosi affermano che fare un pretest per individuare i difetti di

costruzione di un questionario è una fase molto raccomandata di una ricerca. Spesso però, in assenza di regole ben

definite, viene fatto in modo casuale, quando viene fatto.

In Italia solo nel testo di Mauceri (2003), dedicato alle strategie di progettazione e controllo della qualità dei dati,

viene presentata anche una ricerca dell’autore su una tecnica di pretest, riportato anche nel manuale di Pitrone

(2009).

1.1 Il dibattito sul pretest

Per molto tempo il pretest veniva effettuato semplicemente chiedendo agli intervistati se avessero riscontrato

qualche problema nell’effettuare il questionario, fino a che questo metodo non fu molto criticato a causa della forte

dipendenza dal giudizio degli intervistatori e dal comportamento degli intervistati, che avrebbero potuto anche

essere inconsapevoli di avere un problema o di non volerlo dire per non apparire incompetenti. Nella seconda

metà degli anni ottanta quindi si iniziò ad avvertire l’esigenza di studiare l’efficacia dei pretest.

1.2 Gli obiettivi della fase di pretest

Il pretest serve a controllare il funzionamento di uno strumento di rilevazione e ad individuarne i difetti che

possono ridurre la qualità dei dati raccolti. Per qualità dei dati si intende la capacita di un’informazione, collocata

sotto forma di simbolo numerico in una posizione univocamente definita della matrice, di rispecchiare lo stato di

un oggetto sulla relativa proprietà. Questa definizione di qualità del dato sposta il controllo al di fuori della matrice

e quindi si discosta dal concetto di accuratezza, e da quello connesso di errore di misurazione, eliminando ogni

riferimento ad una valutazione basata sul calcolo di coefficienti di attendibilità. La valutazione di un questionario

deve tener conto di come intervistatore e intervistato interagiscono tra loro e con lo strumento, perché è da queste

che dipendono gli esiti della raccolta dei dati. Inoltre, tra intervistatore e intervistato si possono innescare

dinamiche di negoziazione del significato di una domanda tali da produrre risultati inattesi dal ricercatore. Di

seguito quindi alcuni possibili obiettivi del pretest:

a. Controllo / affinamento della concettualizzazione del problema di ricerca. In questo caso il pretest può servire

per indagare se nella mappa dei concetti sono state inserite tutte le proprietà rilevanti per gli obiettivi della

ricerca e se le proprietà scelte rivestono importanza e significato dal punto di vista degli intervistati.

b. Controllo della validità degli indicatori.

c. Controllo dell’affidabilità delle definizioni operative. La funzione principale del pretest è di controllare se i

procedimenti con cui una proprietà viene trasformata in una variabile, producono dati fedeli. Le componenti

del sistema di rilevazione che possono causare distorsione sono: gli intervistatori, la formulazione delle

domande e la struttura del questionario.

d. Controllo della codifica delle risposte. Il pretest dovrebbe aiutare ad individuare e prevenire i probabili errori

del passaggio di risposta. Gli errori di codifica possono dipendere anche dalle modalità di conduzione

dell’intervista.

Oltre che per individuare cause di infedeltà dei dati, il pretest può servire per valutare come determinati aspetti

della ricerca influenzano il tasso di partecipazione.

1.3 Una tipologia delle tecniche di pretest

Le tecniche di pretest vengono classificate secondo criteri diversi, dalla combinazione di alcuni di questi criteri,

scaturiscono diverse tecniche:

- Controllo sul campo: gli strumenti vengono controllati replicando situazioni simili alla realtà di esecuzione;

- Controllo fuori campo: il controllo degli strumenti avviene in situazioni che prescindono dalla realtà;

- partecipate e non partecipate, in base alla consapevolezza che i soggetti hanno di partecipare alla fase di

controllo di uno strumento;

- l’ascolto del punto di vista degli intervistatori sul funzionamento dello strumento;

- l’ascolto del punto di vista degli intervistati sul funzionamento dello strumento.

DDM – Analisi opinione pubblica e scelte di consumo – Pretest Pag. 1

Il focus group non viene considerato perché è più adatto allo studio pilota piuttosto che al pretest. Tra le tipologie

di tecniche di pretest, troviamo:

• Codifica del comportamento verbale degli intervistatori e degli intervistati: analizzare la frequenza con cui si

verificano deviazioni dalla sequenza domanda-risposta prevista dal ricercatore nelle diverse interviste, è utile

per la valutazione del questionario. Ma tale tecnica è utile per individuare le difficoltà di intervistatori e

intervistati ma non per capirne le cause, per questo si affiancano altre tecniche, come il debriefing.

• Valutazione di esperti: facile e poco costosa, consiste nel coinvolgere studiosi estranei al gruppo di ricerca per

valutare il questionario.

• Analisi del questionario con software ed esame dei movimenti oculari: Il software, detto QUAID, partendo da un

modello di rappresentazione della cognizione umana, permette di individuare gli aspetti della domanda che

ne rendono difficile la comprensione. L’eye-tracking è una tecnica hardware e software utile a capire dove e

per quanto tempo lo sguardo dell’intervistato si fissa sul questionario.

• Debriefing degli intervistati, consiste nel porre domande di approfondimento delle risposte ottenute (probes)

dopo la somministrazione del questionario o durante l’intervista. Tecnica molto utile ma molto dispendiosa

sia in termini di tempo, sia di sforzo cognitivo richiesto all’intervistato.

• intervista sull’intervista, per indagare il livello di comprensione delle domande e i processi di formazione delle

risposte. Simile al debriefing perché anche questa dipende dai processi mentali degli intervistati e può essere

valutata e migliorata solo ricostruendo il loro punto di vista sulle domande.

• intervista cognitiva: tecnica basata sugli assunti del movimento “Cognitive Aspects of Survey Methodology”, che

promuove una stretta collaborazione tra metodologi della ricerca sociale e psicologi cognitivi. Questa

intervista è spesso condotta in laboratorio, in una situazione artificiale, e si basa sul cognitivismo. Alcune

strategie dell’intervista cognitiva sono le vignette (come avrebbe risposto l’intervistato se si fosse trovato nella

situazione descritta dalla storia), parafrasi (si chiede all’intervistato di ripetere la domanda con parole sue per

vedere se ha capito il senso), giudizi di sicurezza (viene invitato a indicare su una scala quanto è sicuro della

sua risposta), compito di classificazione (consente di conoscere come gli intervistati rappresentano

mentalmente e organizzano le loro conoscenze su un determinato tema).

• Debriefing degli intervistatori: gli intervistatori vengono invitati a compilare schede di valutazione delle

domande e del questionario in generale. Tali schede possono essere strutturate in modo da ottenere le

impressioni degli intervistatori sul questionario e sugli intervistati, le difficoltà da loro incontrate nella lettura

delle domande e i problemi manifestati dagli intervistati nel comprenderne il testo e dare una risposta.

1.4 Un confronto tra le tecniche di pretest del questionario

Alcuni ricercatori hanno messo a confronto diverse tecniche di pretest per valutare i questionari, ma è un’iniziativa

abbastanza discutibile perché ogni tecnica individua difetti diversi e una sovrastima dei difetti può portare a

modifiche peggiorative piuttosto che migliorative di un questionario.

Presser e Blair, hanno sottoposto un questionario a quattro tecniche di controllo: valutazione di esperti (ha

prodotto il maggior numero di segnalazioni di potenziali problemi), debriefing degli intervistatori, codifica del

comportamento verbale degli intervistatori e degli intervistati e intervista cognitiva. I problemi di comprensione

sono stati i più frequenti, quelli di lettura della domanda e di registrazione della risposta da parte degli

intervistatori sono stati segnalati in percentuali significati solo dal debriefing e dalla codifica del comportamento

verbale, considerata in conclusione come la tecnica più attendibile. Gli stessi risultati sono stati ottenuti da uno

studio simile effettuato da Willis, Schechter e Whitaker (1999).

Nel 2004 Forsyth, Rothgeb e Willis hanno utilizzato tre tecniche: valutazione di esperti, formale e informale, e

intervista cognitiva. I problemi segnalati corrispondevano a quelli individuati nelle interviste sul campo con lo

DDM – Analisi opinione pubblica e scelte di consumo – Pretest Pag. 2

stesso questionario, quindi sono emersi dubbi sull’utilità del pretest. Secondo i tre studiosi bisognava prevedere

più sessioni di pretest, in quanto è difficile che in una sola volta si individuino tutti i problemi di un questionario.

CAPITOLO 2 - L’APPROCCIO COGNITIVISTA ALLA METODOLOGIA DELLA

RICERCA SOCIALE

2.4 Il ruolo della memoria

La memoria, attraverso un processo che prevede attività selettive, svolge una funzione conservativa. Essa

custodisce un insieme di indizi del passato che vengono continuamente rievocati ed interpretati. Grazie alla critica

dell’approccio comportamentista, il cognitivismo ha riportato la memoria al centro degli interessi degli psicologi.

Secondo Tulving le informazioni sugli eventi, collegate tra loro da relazioni spazio temporali, formano la memoria

episodica.

Secondo Kolodner la memoria autobiografica ha una struttura gerarchica ed è composta da informazioni su classi

di eventi e da descrizioni dei singoli eventi ad esse appartenenti. In questo modello, chiamato CYRUS, l’unità usata

per rappresentare una classe di eventi è lo Event Memory Organization Packet (E-MOP), che contiene sia info

generali sulla classe sia strutture organizzative secondarie.

Secondo Barsalou la memoria autobiografica organizza i ricordi in ordine cronologico, secondo linee temporali di

“eventi estesi” che durano a lungo e sono discontinui. Questi eventi sono frequentemente interrotti dagli “eventi

specifici” che hanno durata più limitata e non sono particolarmente significativi.

Rievocare significa trasferire un’informazione dalla memoria a lungo termine a quella di lavoro, con capacità

limitata e di breve durata, che consente lo svolgimento di compiti cognitivi complessi come ragionare,

comprendere e apprendere. Questo trasferimento, spesso accompagnato da processi ricostruttivi della traccia

originaria, può causare distorsioni. Ebbinghaus ha dimostrato c