Riassunto esame valutazione in psicologia dello sviluppo, prof Salerni, libro consigliato manuale di psicologia dello sviluppo (Barone), sperimentazione e alternative di ricerca D'Odorico; osservare i bambini: tecniche ed esercizi, Cassibba, Salerno

RILEVAZIONE DI TIPO OSSERVATIVO:

Anche per l’osservazione diretta, essendo che lo strumento è un osservatore, quindi è un individuo, in qualche modo è

necessario definire e comunicare qual è l’attendibilità del dato.

Quindi, così come quando utilizziamo un test abbiamo tutti i controlli di affidabilità e attendibilità, questo è necessario anche

quando lo strumento è l’osservazione diretta: bisogna capire quanto quel giudizio che ha portato a quella misura corrisponde

effettivamente alla caratteristica del fenomeno che intendiamo rilevare e non sia l’esito di capacità percettive dell’osservatore.

 Lo “strumento” è un essere umano che esprime un giudizio più o meno complesso a seconda dello schema di codifica

utilizzato

 esiste un problema di affidabilità dello strumento

 i dati raccolti costituiscono effettivamente una misura oggettiva di ciò che si voleva osservare o sono il risultato di

idiosincrasie, desideri o caratteristiche di chi ha effettuato l’osservazione?

AFFIDABILITÀ:

L’affidabilità è come se si componesse di due dimensioni:

- quella della precisione, che noi possiamo intendere come coerenza nel tempo. Quindi quanto l’osservatore, nell’utilizzare i

propri parametri e i propri giudizi, rimane coerente con il passaggio del tempo e quindi delle misurazioni.

- quella dell’accuratezza, che fa riferimento a quanto ciascun giudizio espresso dall’osservatore corrisponde effettivamente a

quello che dovrebbe essere il criterio, ossia la corrispondenza con la realtà.

Ovviamente se noi avessimo un criterio per ogni osservazione significherebbe che avremmo a disposizione uno strumento altro,

perché il criterio rispetto a cui confrontare il giudizio di un osservatore non può che essere il giudizio di un altro osservatore.

Quindi ciò che diventa fondamentale per mettere assieme questi due aspetti in termini di affidabilità è l’accordo tra osservatori.

Quindi l’accordo tra osservatori va calcolato sempre per riferire quanto i dati che abbiamo raccolto sono affidabili.

Naturalmente, il calcolo dell’accordo, indipendentemente dalla tecnica che utilizziamo, parte da un assunto di base

importantissimo: la somiglianza fra le rilevazioni (i dati raccolti) da due osservatori in maniera indipendente è una prova effettiva

dell’affidabilità e dell’accuratezza delle loro rilevazioni se e solo se noi possiamo escludere che ci sia un errore sistematico

comune ad entrambe le rilevazioni, perché due osservatori possono essere moto d’accordo sulla rilevazione e sulla

classificazione ma il grado di accordo può essere elevato anche nel caso in cui entrambi gli osservatori procedano commettendo

lo stesso errore. Se entrambi fanno lo stesso errore, l’accordo è elevato ma il dato non è accurato.

Quindi è necessario controllare questo aspetto attraverso dei training, addestramenti e confronti preliminari.

 Una grande somiglianza tra due rilevazioni indipendenti costituisce una prova sufficiente della loro accuratezza SOLAMENTE

se si può escludere che le due rilevazioni esaminate contengano lo stesso errore sistematico

PRECISIONE E ACCURATEZZA: 39

SCOPI DELLA VALUTAZIONE DELL’AFFIDABILITÀ:

Il fatto che non ci sia un errore sistematico comune può essere controllato utilizzando il calcolo dell’accordo in una fase

precedente rispetto alla fase finale in cui diciamo “questo è l’indicatore che dice quanto i miei dati sono affidabili” (fase di

addestramento). Quindi noi dobbiamo addestrare gli osservatori indipendenti (quindi nella fase di progettazione della

rilevazione) sia per quanto riguarda l’utilizzo vero e proprio dei codici (è chiaro che se diversi osservatori in maniera

indipendente devono utilizzare lo stesso schema di codifica, c’è un momento preliminare in cui gli osservatori devono essere

contemporaneamente addestrati all’utilizzo di questo schema.

Questo permette ad esempio di chiarire eventuali dubbi rispetto al significato delle categorie, permette di calibrare gli

osservatori sempre in riferimento alla corrispondenza fra significato delle categorie e tipi di comportamento che rientrano nelle

varie categorie.

Una volta che questo è stato verificato, esclude il fatto che ci sia un errore sistematico e quindi i due osservatori possono

lavorare in maniera indipendente.

 1) Dimostrare che lo strumento utilizzato ha funzionato correttamente

 2) Addestramento degli osservatori (nella fase di progettazione)

- Uso di un particolare codice

- Diversi osservatori che dovranno applicare, in modo indipendente, lo stesso schema di codifica ad osservazioni diverse devono

essere “calibrati” tra loro

- Chiarezza di definizione e applicabilità delle categorie comprese nello schema di codifica

LA VALUTAZIONE DELL’ACCORDO TRA OSSERVATORI NELLA CODIFICA DI EVENTI:

Fatto questo, quello che ci dovrà guidare nella scelta degli indici che è necessario calcolare e comunicare per dichiarare

l’affidabilità delle rilevazioni, dipende fondamentalmente dalla strategia che abbiamo utilizzato per applicare lo schema.

Quindi ci sono alcuni indici che co-occorrono e quindi che ritroviamo in diverse strategie, mentre altri che possiamo calcolare

solo per alcune strategie di rilevazione.

 1) Accordo sul fatto che si è verificato un evento codificabile

 2) Accordo sulla codifica assegnata ad ogni evento

 IMPORTANTE: Per poter valutare entrambi questi tipi di accordo è necessario IDENTIFICARE correttamente gli eventi che

sono stati rilevati

Quando utilizziamo gli eventi, ci troviamo di fronte a due possibilità:

1) un compito più semplice: rilevare l’occorrenza, la produzione o la comparsa di un comportamento

2) nel caso in cui lo schema sia multicategoriale dobbiamo dare una categorizzazione al comportamento.

Questo si riflette sul fatto che dobbiamo avere a disposizione almeno due indicatori che riflettono l’accordo su entrambe le

richieste che vengono fatte agli osservatori. Devo sapere quanto gli osservatori sono d’accordo nel dire “quel comportamento si

è verificato” e quanto sono d’accordo nel dire “quel comportamento si è verificato ed è di tipo C e non di tipo A”.

Sono due livelli di rilevazione e classificazione che possono andare per strade diverse, non necessariamente vanno

parallelamente. Se i due osservatori classificano un comportamento in modo diverso allora l’accordo non c’è più e il dato sulla

qualità è un dato che non si può utilizzare.

Quindi entrambe le cose vano misurate.

Ovviamente, se devo trovare un sistema che mi dica quanto siamo d’accordo sia sul rilevare i comportamenti che sul classificare,

questo calcolo dell’accordo deve essere fatto a partire da due protocolli separati. Questi protocolli, per forza di cose, devono

darmi la possibilità di identificare chiaramente di quale evento stiamo parlando: io devo avere un’informazione che mi dice che il

primo evento rilevato da me corrisponde per esempio al primo evento rilevato dall’altro osservatore, perché se non riesco a

identificare cosa hanno classificato entrambi gli osservatori non posso calcolare l’accordo.

Non basta però sapere che per esempio un osservatore ne ha rilevati 15 e l’altro 15, perché magari sono 15 comportamenti

diversi.

Quindi ho bisogno di un’indicazione che mi dica che due comportamenti rilevati corrispondono tra loro.

È facile quando abbiamo una strategia di rilevazione per eventi con informazioni temporali, perché si capisce bene se l’evento è

rilevato nello stesso momento o no. Quando però parliamo di strategia di rilevazione per eventi sappiamo che abbiamo anche la

rilevazione per eventi senza informazioni temporali. In questi casi però, sapendo che prima o poi l’accordo lo devo calcolare per

forza, è opportuno avere degli indicatori sul tempo di comparsa di quell’evento che mi permetta poi di fare l’identificazione

corretta, oppure un indizio contestuale.

Quindi la prima cosa da fare è identificare gli eventi.

 INFATTI: se l’accordo viene calcolato tenendo conto solo della frequenza delle diverse categorie (senza un previo controllo

dell’identità degli eventi codificati) è possibile ottenere un accordo molto alto anche classificando sistematicamente gli stessi

eventi in modo diverso, purché le frequenze assegnate alle diverse categorie siano corrispondenti

40

Per valutare il grado di affidabilità rispetto alla rilevazione di comparsa si utilizza generalmente la percentuale di accordo sulla

comparsa del comportamento: un rapporto dove al numeratore indichiamo la frequenza assoluta dei casi di accordo e al

denominatore la somma degli accordi + i disaccordi (eventi che sono rilevati dal primo e non dal secondo o viceversa), poi si

moltiplica per 100.

 Una volta identificati gli eventi codificati:

 CASO 1: compito dell’osservatore è quello di rilevare la comparsa o meno di un singolo comportamento

 si calcola: la percentuale di accordo sulla comparsa del comportamento

È necessario poi classificare i comportamenti. In questo caso dobbiamo avere a disposizione anche un indicatore relativo al

grado di accordo tra osservatori indipendenti sulla classificazione degli eventi.

In realtà, rispetto a questa seconda tipologia di accordo, noi potremmo procedere ancora con lo stesso tipo di indicatore, cioè

andando a calcolare una percentuale di accordo sulla classificazione piuttosto che sulla comparsa.

 Una volta identificati gli eventi codificati:

 CASO 2: compito dell’osservatore è quello di applicare uno schema di codifica multicategoriale

 si calcola: la percentuale di accordo sulla comparsa del comportamento + un indice relativo all’accordo sulla classificazione

degli eventi

Tuttavia, nel caso della classificazione, il numero delle categorie che abbiamo a disposizione (quindi che vanno a comporre lo

schema di codifica), per classificare i comportamenti incide moltissimo sulla possibilità di essere d’accordo o no.

Se io ho uno schema di codifica con tre categorie e uno schema di codifica con 20 categorie, la possibilità di essere d’accordo per

caso sarà maggiore nel primo caso, in cui abbiamo poche categorie.

È necessario calcolare qualcosa che tenga conto dell’accordo casuale. Questa cosa è la kappa di coehn.

 ACCORDO SULLA CLASSIFICAZIONE DEGLI EVENTI - INDICI POSSIBILI -

 Accordo Percentuale MA

- il numero di codici utilizzato può influenzare la % di accordo

- è possibile che un certo numero di accordi si sia verificato per caso

 Allora è meglio utilizzare il Kappa di Cohen

 N.B. le categ