Appunti completi per esame di Analisi dei dati

Analisi dei dati

L'analisi dei dati si serve di informatica, statistica e metodologia della ricerca. La ricerca va impostata sapendo già quale tecnica di analisi di dati verrà utilizzata. L'analisi dei dati ha due scopi differenti, ma per entrambi il punto di partenza è l'analisi di una matrice di dati:

Scopi dell'analisi dei dati

• Studiare relazioni tra variabili: tecniche multivariate come OxV, VxV, CxV. Nell'Ottocento si fanno queste analisi; gli individui sono considerati realizzazioni empiriche di un normotipo "essere umano". L'analisi della varianza inizia con Fisher a inizio Ottocento, che lavorava sulla produttività dei campi con la rotazione a maggese (studiava l'effetto dei cambiamenti sui terreni) e questa analisi viene poi applicata anche a studi psicologici. Il modello di analisi fattoriale si sviluppa dopo con la nascita del fattore generale di intelligenza.
• Costruire variabili latenti a partire da relazioni fra oggetti: matrici OXO e tecniche di assegnazione. A partire dal 1950, con lo sviluppo dei calcolatori, questa famiglia di tecniche si è concentrata sulle relazioni tra oggetti; se partiamo da una matrice caso per variabile, l'oggetto di interesse non sono le colonne con le variabili, ma le righe. Adesso si forma una matrice di relazioni tra oggetti; algoritmi di clustering (raggruppamenti).

Operazioni e linguaggi

Linguaggio delle variabili: producono un insieme di coefficienti che illustrano relazioni tra variabili (associazioni, dipendenza, indicazione).

Operazioni:

• Descrizione (scomposizione): qui non c’è descrizione di dipendenti e indipendenti, perché tutte le variabili sono allo stesso livello; questa operazione, ossia comprimere informazioni in un modello realistico ma riassuntivo, è complessa.
• Spiegazione (analisi di dipendenza): quando usiamo modelli di dipendenza (analisi varianza ad esempio) vogliamo formulare una spiegazione, facciamo l'analisi di dipendenza; dobbiamo distinguere tra variabili dipendenti e indipendenti. Ragioniamo su causa e effetto, che in psicologia è molto difficile. Questa ha permesso di dire che anche la psicologia spiega il comportamento delle persone, le patologie, come può farlo la fisica ad esempio, e questo ha permesso di acclamarci come una disciplina scientifica.
• Interpretazione (tecniche di attribuzione): l'interpretazione con i modelli di attribuzione ci permette di misurare anche le variabili latenti; diciamo che il costrutto latente spiega il comportamento. La variabile indipendente è una variabile esplicativa ed è latente.

Costruzione di variabili latenti

A partire dal 1950, con lo sviluppo dei calcolatori, questa famiglia di tecniche è concentrata sulle relazioni tra oggetti; se partiamo da una matrice caso per variabile, l'oggetto di interesse non sono le colonne con le variabili, ma le righe; adesso si forma una matrice di relazioni tra oggetti; algoritmi di clustering (raggruppamenti).

Operazioni:

• Classificazione → clustering puro, variabili a livello categoriale.
• Ordinamento → scaling ordinale, variabili a livello ordinale.
• Misurazione → scaling cardinale, variabili a livello cardinale.

Vengono prodotte nuove variabili, e non sistemi di parametri, con queste tecniche (si chiamano tecniche di assegnazione perché viene assegnato all'oggetto l'appartenenza a un cluster o un certo livello su una dimensione percettiva).

Goodman’s gradus

Alcune tecniche fanno compiere ai dati il cosiddetto salto di scale (passaggio da una struttura dei dati semplice ad una in cui il livello di scala è più elevato).

Qualsiasi tecnica o modello di analisi dei dati che implementa teorie parte da un bersaglio y, che è una matrice o una sua sezione che ci interessa, (ad esempio modello di dipendenza il bersaglio è la sezione della matrice dove c’è la variabile dipendente), per cercare di interpretare, descrivere. Un modello parte da questo obiettivo e a seconda del principio che secondo noi ha generato quel bersaglio implemento un algoritmo che trovi ciò che ha portato all'emissione di quella risposta. L'algoritmo ci dice che la variabile y è funzione della var.x.

Parto da un campione dove ho rilevato x e y e cerco l'equazione che le collega: a questo punto sono in grado di ricostruire il bersaglio. In base a quanto y riprodotto somiglia a y teorico capisco quanto la mia equazione funziona; se vedo che manca qualcosa posso andare a modificare l'equazione per arrivare alla y riprodotta con meno errore possibile. Quando scrivo un’equazione scrivo in termini matematici le mie teorie, cerco di delineare il percorso che porta alla risposta y. Noi ci serviamo della matematica andando a tradurre in un linguaggio che permetta verifiche empiriche delle nostre assunzioni, le nostre teorie. È il bersaglio riprodotto. Le equazioni ci servono per rilevare la tendenza generale di un tratto in base a certe caratteristiche senza tener conto delle variazioni individuali. L'errore rappresenta ciò che non sono riuscito a spiegare. Le equazioni trasformano le nostre teorie in ipotesi empiricamente verificabili.

Variabili manifeste e latenti

Variabili manifeste (es. preferire il lavoro da remoto in base a genere e titolo di studio): Y potrebbe anche essere una matrice di somiglianza tra oggetti o di dissomiglianza.

Dove lambda è il parametro che ci dà informazioni su forza e direzione della relazione tra F e y, n è la posizione dell’individuo e s è il suo punteggio. Variabili latenti (ad esempio analisi sui comportamenti prosociali, oppure quali abilità impattano sul punteggio a un test).

Le varie F in questo caso sono le diverse variabili latenti (es. abilità matematiche, capacità verbali, ecc.) che concorrono alla definizione del comportamento osservabile, ossia spesso il punteggio al test, y; n corrisponde all’individuo (a chi appartiene?). L'errore tiene conto di tutta una serie di fattori aleatori come lo stress, il caso, ecc.

Matrici di dissomiglianza

Se presento degli stimoli chiedendo quanto gli oggetti sono diversi creo poi una matrice di distanze, quindi più il valore è alto più gli oggetti sono diversi; in questo caso l’equazione sarà la distanza tra varie caratteristiche:

La dissomiglianza tra osservazioni dello stesso oggetto mi aspetto che sia zero; l’equazione che descrive y sarà del tipo: M(x)=y non è detto che siano uguali perché l’una può essere una trasformazione dell’altra. Se sono uguali m(x) è detta mappa banale perché è come fosse una trasformazione identica. Dalla rivoluzione empirista si è iniziato a eliminare gli outliers, cosa che prima non era assolutamente concesso fare.

Un altro caso può essere quando i soggetti usano la scala in modo diverso da come io l’avevo pensata: allora io non tengo i dati così perché altrimenti sarebbero distorti; posso allora modificare la scala per far sì di tener conto di come stata effettivamente usata la scala. Dagli anni 50 del '900 abbiamo imparato a tollerare che l’input può essere modificato per tener conto di particolari occorrenze.

Dicotomia dei modelli di analisi

Alcuni modelli hanno una mappa; i modelli con una mappa banale ossia senza mappa sono detti modelli a bersaglio fisso, gli altri, che tollerano la modifica dell’input sono a bersaglio mobile, perché l’input viene modificato grazie alla mappa e trasformato nel bersaglio vero e proprio. Quelli a bersaglio mobile sono modelli più moderni che si adattano meglio.

Questa è la prima grande dicotomia dei modelli di analisi dei dati, quindi:

• A bersaglio fisso: la mappa della tecnica è una trasformazione identica o nota a priori.
• A bersaglio mobile: la tecnica opera sull’input per renderlo riproducibile.

Formula di ricostruzione

La seconda distinzione:

m(x)=y=y^=r(N;S) → formula di ricostruzione che ha due elementi: il bersaglio viene riprodotto a partire dal nucleo della soluzione (N); quando però non c’è corrispondenza piena tra input e bersaglio ci vuole un supporto (S) per ricostruire efficacemente il bersaglio.

La differenza tra y osservato e ricostruito è il disadattamento (quanto non sono riuscito a riprodurre il bersaglio). Le tecniche non hanno il termine di errore (come lo scaling), sono schemi di analisi dei dati; i modelli invece hanno l’errore, non sono deterministici; il nostro obiettivo è ridurre al minimo l’errore.

Di fronte a un modello c’è una parte sistematica, che è quello che per noi ha valore, che viene inflazionato dal caso, in cui rientrano fortuna, stress, ecc. l’errore è distribuito in modo normale e ha un valore atteso uguale a zero perché se facessi infinite prove la media dovrebbe essere zero.

Supporto e proiezione

Quindi la seconda distinzione si opera tra:

• Supporto presente (proiezioni)
• Supporto assente (autoproiezioni)

Il fit si può calcolare in due modi: y-y^ oppure come y cedibile- y ^ (detto fedeltà). Introduciamo la y cedibile con l'esempio del disco 45 giri: io lo voglio mettere a posto e posso farlo in modo da renderlo fin migliore, tentando di rendere il suono conforme a quando l’avevo comprato; stessa cosa si cerca di fare con le equazioni: si prova a trovare la legge che spieghi ciò che accade nella popolazione in generale, la “verità”, indipendentemente dal campione preso in esame.

Matrici di dati

Le matrici hanno n righe e k colonne; la matrice è un’estensione dei numeri. La matrice è un insieme ordinato di elementi disposti su linee (nel caso più semplice solo righe e colonne). Una colonna è detta vettore colonna, mentre una riga è detta vettore riga. Con le matrici si possono incrociare più costrutti.

In psicologia vengono usati modelli stocastici, ossia modelli aleatori e inoltre vengono prese in considerazione più variabili, quindi si usa poco l’analisi binomiale, che consiste nell’analisi del rapporto tra soltanto due dimensioni. Per analizzare il rapporto tra più variabili bisogna semplificare poiché da 5 dimensioni in su non possiamo neanche più graficare.

Tabelle di contingenza

Le tabelle di contingenza relazionano due costrutti (analisi bivariata, infatti non sono matrici) → se ordinali t², se quantitative correlazione. La matrice aumenta la dimensionalità dei numeri.

Trasposta → trasformare vett. Colonna in vett. Riga e viceversa (operazione semplice). Sulla dimensione verticale metto una cosa, sull’orizzontale un’altra.

Convenzioni lessicali

• Le lettere maiuscole indicano le matrici.
• Il pedice degli elementi serve per identificare la posizione di ogni elemento nella matrice stessa in base al numero di colonne e al numero di righe.
• Le lettere minuscole vengono usate per indicare gli elementi nella matrice.

Tipi di matrici

Un tipo di matrice è quella casi per variabili, in cui i casi sono sulle righe e le variabili sulle colonne.

VIE: numero di entrate della matrice, generalmente sono sempre 2 (righe e colonne).

MODI: famiglie di entità rappresentate sulle vie (nell cxv casi e variabili).

SET: raggruppamenti di variabili, ad esempio in base al livello di scala; sono sottofamiglie di entità.

CONDIZIONAMENTO: quali confronti tra dati sono possibili (row conditional, column conditional, unconditional, matrix conditional).

Il dato come enunciato

Il dato è un enunciato stilizzato. Il triangolo predicativo ha tre vertici: occasione, referente, proprietà (almeno dicotomica); al centro valore di verità o valore di stato: questi due hanno occasione, referente e proprietà. Valore di stato vuol dire che la proprietà è categoriale, valore di verità invece può andare da zero a uno.

Variabili nominali

Le funzioni di appartenenza hanno classi di equivalenza. Se dico coniugato o convivente è una variabile dicotomica nominale (uno 0 e l’altro 1); la classe di equivalenza è l’insieme delle persone coniugate e l’insieme delle persone conviventi. Possiamo metterlo in matrice in forma disgiuntiva completa (in cui metto per ogni persona un solo 1 e tutti gli altri 0) oppure farlo in forma condensata, codificando un numero per ogni stato (questo nel caso in cui ci siano più di due stati, altrimenti è la stessa cosa). Funzione di appartenenza è la variabile in cui io do l’etichetta al numero; la classe di equivalenza è come equivale alla funzione.

Statistica descrittiva

La statistica può essere monovariata o bivariata; la monovariata ha indici che descrivono la distribuzione di una sola variabile con indici in tendenza centrale e di varianza. La bivariata incrocia due costrutti tra di loro. Abbiamo visto 2 tipi di bivariata:

• Categoriali → tabella di contingenza.
• Le altre → analisi di correlazione.

Dalla matrice di dati si calcola la distribuzione di frequenza, ossia la proporzione rispetto al totale (es. 18 maschi e 70 femmine farò 18/88 e 70/88); così, moltiplicando per 100, avrò una percentuale che mi dice quanto quella caratteristica è preponderante sul totale. Quindi le distribuzioni di frequenza possono essere rappresentate sotto forma di:

• Frequenze assolute
• Frequenze relative
• Frequenze percentuali

Relativizzazione

Portare in relazione al totale. Scale a rapporti hanno lo zero assoluto (peso), le scale a intervalli non hanno lo zero assoluto (temperatura).

Quando si usano le var. quantitative si può fare l’operazione di seriazione che vuol dire trasformare le var. in serie le var. che abbiano determinate categorie trasformazione → in var. categoriali. Il contrario non si può fare (da categoriali a quantitative). Le var. hanno un loro grado di trasformabilità, ossia ogni scala ha delle trasformazioni possibili.

Il problema delle frequenze assolute è che non si possono confrontare se i totali sono diversi perché le singole quantità non sono in rapporto al totale; invece calcolando le frequenze relative questo si può fare perché relativizzo la singola quantità rispetto al suo totale (esempio delle pensioni → quelle assistenziali sono aumentate? In assoluto può sembrare di sì, ma in realtà sono aumentate le pensioni in generale).

Frequenza relativa → f=n/N

Le frequenze cumulate si possono fare soltanto dalle variabili ordinali in su, perché quelle categoriali non sono cumulabili (ci si possono presentare domande del tipo: “quanti soggetti hanno al massimo un titolo di studio di scuola media inferiore?”). Se al fianco di ogni modalità riportiamo il numero di soggetti che rientrano nella modalità stessa e in quelli inferiori otteniamo le frequenze cumulate n’, f’ e q’.

Esistono anche le frequenze retrocumulate (q’’) che si ottengono sommando a partire dalla modalità più grande (chi ha almeno il diploma?).

Seriazione di frequenze

Con le var. cardinali bisogna raggruppare i dati in classi. Il sistema di classi deve essere esaustivo e mutuamente esclusivo.

È opportuno definire:

• Classi con intervalli della stessa dimensione (es. ogni classe corrisponde a un intervallo di 5 anni)
• Classi equi-numerose
• Numero di classi non eccessivo

Questo in base alle esigenze del caso specifico.

Variabili categoriali → grafico a torta o a barre

Variabili almeno ordinali → istogramma o diagramma a gradini

L'istogramma lo uso per le ordinali, la torta la uso per quelle nominali perché l'ordine in questo caso non conta. Nel diagramma a barre l'altezza è proporzionale alla frequenza, nel diagramma a torta l'angolo è proporzionale alla frequenza. L'istogramma è utile con var. ordinali perché all'aumentare della variabile vedo come varia la situazione, mi permette di avere una dimensionalità. La spezzata a gradini è un istogramma costruito riportando in ordinata la frequenza cumulata.

Operatori statistici monovariati

Sono dispositivi che sintetizzano la distribuzione di una variabile in uno scalare (numero).

Si dividono in:

• Indici di tendenza centrale o di posizione: moda (può essere più di una), media, mediana
• Indici di dispersione: range, varianza, deviazione standard

Nominali → omogeneità

Ordinali → variabilità non metrica

Cardinali → variabilità metrica

Indici di forma: momento di ordine 1, 2, 3 e 4, curtosi, simmetria, flesso. Il momento 1 di tendenza centrale rappresenta il baricentro, ed è un'esigenza che nasce dal dover raccogliere dati in un indice sintetico, mentre gli altri indici a crescere sono un'estensione di questo indice.

Con le variabili categoriali posso usare solo la moda, con le ordinali anche la mediana e con quelle cardinali anche la media.

Operatori di dispersione

La media non basta per descrivere la distribuzione di una variabile nella popolazione. Gli operatori di dispersione producono un valore scalare.

Variabili categoriali → mutabilità

Variabili cardinali → variabilità metrica

Mutabilità

Sono i più semplici e ci dicono quanto i valori si concentrano in una o più categorie. Si ha massima eterogeneità quando ciascuna modalità ha la stessa frequenza (si parla di variabile uniforme), al contrario minima eterogeneità.

Variabilità metrica

Si usano per variabili cardinali.

• Intervalli di variazione: Range (o campo di variazione): differenza tra valore minimo e massimo, ossia intervallo di valori che la variabile può assumere (es. termometro dei sentimenti, indico un grado di accordo in una scala da 1 a 10).
• Differenze interquartili
• Scarti da un valore centrale: Scostamento semplice medio: sommatoria della differenza in modulo (per eliminare il problema di valori positivi e negativi) tra valore puntuale di ogni osservazione e la media con a denominatore N.
• Varianza: è lo scostamento ma invece del modulo c’è il quadrato delle differenze; è la media degli scarti al quadrato dalla media.
• Scarto quadratico medio (o deviazione standard): è la varianza sotto radice quadrata.