Riassunto esame Analisi dei dati, Prof. Pastore Massimiliano, libro consigliato Analisi dei dati in psicologia, Pastore

Analisi dei dati

Concetti di base

Variabile: una qualche proprietà di un evento reale che viene misurata. Qualsiasi caratteristica o attributo di persone, oggetti o eventi che può assumere diversi valori numerici. Le variabili e le loro relazioni sono gli elementi su cui si fondano le analisi statistiche.

Vi sono diversi criteri di classificazione delle variabili:

Criteri di classificazione delle variabili

Il primo criterio è quello in base al quale distinguiamo tra:

• Variabili latenti: non direttamente osservabili, misurabili solo per via indiretta tramite appropriate variabili chiamate indicatori.
• Variabili osservate o manifeste: direttamente misurabili.

Spesso in psicologia le variabili osservate sono usate come indicatori indiretti delle variabili latenti.

Il secondo criterio è legato alla natura metrica delle variabili. Si distinguono 4 livelli di misura: nominale, ordinale, ad intervalli, a rapporti.

• Scala nominale: permette di raggruppare in classi di appartenenza (variabili nominali sono: genere, stato civile, nazionalità).
• Scala ordinale: si ha quando le categorie delle variabili sono ordinate, cioè esiste una relazione d'ordine. (status socio-economico, titolo di studio, posizione in graduatoria)
• Scala ad intervalli: una scala in cui è possibile misurare la distanza tra due punti. Il rapporto tra due intervalli è indipendente sia dall'unità di misura, sia dalla posizione dello zero, che sono entrambi arbitrari. (temperatura, punteggio totale in un test psicologico)
• Scala a rapporti: ha le stesse proprietà della scala ad intervalli ma con un punto di origine non arbitrario. Il rapporto tra due punti qualsiasi della scala è indipendente dall'unità di misura. (il peso di un oggetto, età, numero di risposte corrette)

Il terzo criterio è quello che distingue:

• Variabili qualitative (o mutabili): identificabili con quelle di scala nominale/ordinale.
• Variabili quantitative che possono essere:
  • Continue: possono assumere qualunque valore reale nel suo campo di esistenza (l'altezza, il peso, la pressione del sangue)
  • Discrete: assumono valori interi e numerabili (il numero di figli, il voto preso ad un esame universitario)

Il processo di analisi dei dati

1. Riflessione teorica
2. Nella fase di formulazione delle ipotesi è importante operazionalizzare i dati, ovvero tradurre i concetti in termini empirici attraverso una definizione operativa. Per studiare la timidezza, per esempio, si ha bisogno di una definizione operativa di tale concetto, ossia una definizione di quali sono le caratteristiche osservabili e misurabili relative ad esso, in modo da poter disporre di uno strumento (test o questionario) che produca dei valori analizzabili e trattabili oggettivamente.
3. Nella fase di raccolta dati viene definita la popolazione di riferimento, si identificano le variabili di interesse e si procede alla selezione di un campione sul quale rilevare tali variabili. Ciascun elemento del campione è un'unità statistica = entità sulla quale viene realizzata la rilevazione.

• ** "Gli studenti di ingegneria sono più bravi in matematica degli studenti di psicologia" ** → lo studente è l'unità statistica → l'abilità matematica e la facoltà di appartenenza sono le variabili
• "Nei paesi con un più alto grado di industrializzazione si fanno meno figli rispetto ai paesi meno industrializzati" → il paese/lo stato è l'unità statistica → il grado di industrializzazione e il numero di figli sono le variabili

4. La fase di analisi dei dati è relativa alle applicazioni dei modelli statistici sui dati raccolti.
5. Lettura dei risultati. Fase che interpreta e cerca di produrre un'immagine di insieme che risponda alle domande poste dall'ipotesi formulata. I risultati possono portare a una nuova riflessione teorica e quindi riavviare nuovamente il processo.

Quando si formulano le ipotesi, dovrebbe già essere chiaro il modo in cui si andranno ad analizzare i dati.

Il problema della misurazione

In psicologia si ha bisogno di misure che siano affidabili e valide. Una misura è affidabile quando produce sempre dei risultati che sono coerenti, consistenti e ripetibili nel tempo. Una misura è valida se è in grado di rilevare ciò che intende effettivamente misurare.

Modelli e relazioni tra variabili

Fare analisi dei dati significa studiare relazioni tra variabili. Un modello statistico è una semplificazione di una realtà più complessa, formulata in termini di relazioni tra variabili. L'obiettivo di un modello statistico può essere lo studio delle relazioni esistenti tra due o più variabili tramite l'analisi dei dati.

I modelli di analisi si distinguono in base al tipo di relazione che si suppone essere tra le variabili considerate.

• Modelli simmetrici: in cui le variabili sono considerate tutte sullo stesso piano.
  • Le relazioni sono bidirezionali.
  • Questo tipo di modello non obbliga la suddivisione in variabili effetto da quelle causa, esclude come finalità di analisi la ricerca di nessi causali, pertanto è più debole di un modello asimmetrico.
  • L'obiettivo di un modello simmetrico è quello di valutare l'intensità delle relazioni esistenti tra le variabili.
  • Esempio: esiste una relazione tra tossicodipendenza e l'uso di sostanze leggere.
• Modelli asimmetrici: in cui le variabili sono ripartite in due insiemi, uno di variabili dipendenti ed uno di variabili esplicative o predittori.
  • X è l'insieme delle variabili esplicative e Y quello delle variabili dipendenti, la freccia indica la direzione ipotizzata.
  • Questi modelli sono importanti per individuare le relazioni causa-effetto (o antecedente conseguente).
  • Esempio: chi fa uso di droghe leggere diventa un tossicodipendente. Le donne religiose sono più contrarie all'aborto di quelle non religiose.

Relazioni di causa-effetto

Quando si parla di rapporto causa-effetto, ci si riferisce all'esistenza di un nesso fra eventi, tale che la manifestazione di un dato evento è la conseguenza diretta e necessaria della manifestazione di un altro evento. Per parlare di causazione non è sufficiente accertare l'esistenza di una relazione empirica fra due eventi. Per qualificare come causale una relazione tra eventi occorre specificare il meccanismo causale attraverso cui la supposta causa produce il supposto effetto. In particolare, sono richiesti almeno tre requisiti:

• L'isolamento: X e Y devono essere isolate da tutte le altre possibili variabili intervenienti sulla loro relazione;
• L'associazione: deve esserci un sufficiente grado di associazione tra X e Y;
• La direzione: la causa è antecedente dell'effetto. L'individuazione della direzione di una relazione si basa sulla conoscenza del contesto e sulle competenze interpretative.

La direzione non implica automaticamente la presenza di una relazione di causa-effetto. Esempio: In un giorno di nebbia si osservano più incidenti stradali. È la nebbia a causare gli incidenti? No, è la guida spericolata degli automobilisti che porta al verificarsi di incidenti stradali. Bisogna prestare attenzione a parlare di causalità, soprattutto in psicologia.

Introduzione a R

Ogni cosa in R è un oggetto ed ogni oggetto appartiene ad una classe. I nomi degli oggetti possono essere sequenze di lettere e numeri, ma non iniziare con un numero. Le lettere maiuscole sono considerate diverse da quelle minuscole.

• Character: stringhe o sequenze di caratteri
• Numeric: numeri reali
• Integer: numeri interi
• Factor: variabili categoriali
• Logical: elementi logici, assumono valore TRUE o FALSE
• Complex: numeri complessi
• List: vettore di oggetti

Per ricavare informazioni sulla classe di un oggetto si utilizza il comando str().

Variabili e vettori

Una variabile è un oggetto che ha un suo nome (univoco) e che può assumere valori diversi durante l'esecuzione di un programma.

Assegnazione di un valore ad una variabile:

> x <- 5
> x
[1] 5

Le istruzioni sono precedute dal simbolo ">", chiamato prompt.

Un vettore è una variabile costituita di più elementi. Costruzione di un vettore:

> y <- c(3,4,2,7)
> y
[1] 3 4 2 7

c() è una funzione di R che indica concatenazione. Le variabili e i vettori possono essere costituiti da elementi numerici, logici o caratteri. In R si può distinguere tra le variabili numeriche (numeric o integer) e le variabili di tipo categoriali (variabili su scala nominale o ordinale). Queste ultime possono essere definite come factor, ovvero un tipo di dato caratterizzato da livelli (levels). Se una variabile è definita come factor, R non consentirà di calcolare su di essa delle statistiche improprie, come per esempio la media.

> s <- factor(c("m","f","f","m","m"))
> s
[1] m f f m m
Levels: f m
> str(s)
Factor w/ 2 levels "f","m": 2 1 1 2 2

Matrici e dataframe

Una matrice è un insieme di dati dello stesso tipo strutturato in righe e colonne. In R: matrix(data,nrow,ncol)

> A<- matrix(1:20,4,5) # per default = riempimento per colonna
> A
     [,1] [,2] [,3] [,4] [,5]
[1,]    1    5    9   13   17
[2,]    2    6   10   14   18
[3,]    3    7   11   15   19
[4,]    4    8   12   16   20

> A<- matrix(1:20,4,5, byrow=TRUE) # riempimento per riga

Un caso particolare di matrice è il data-frame. In un data-frame è possibile avere colonne contenenti elementi di tipo diverso. Ciascuna colonna rappresenta una variabile con un suo nome e tipo specifico. In R: data.frame()

> data(studenti,package="ADati")
> str(studenti)

Tutte le matrici e i vettori sono indicizzati. Questo significa che ciascun elemento può essere identificato tramite uno (nel caso dei vettori) o due (nel caso delle matrici) indici.

[ ] Seleziona gli elementi di un oggetto (vettore, matrice, lista, data-frame)

Selezione del secondo elemento del vettore y:

> y[2]
[1] 4

Selezione di un singolo elemento della matrice A:

> A[2,3] # seconda riga, terza colonna
[1] 10

Selezione della prima riga della matrice A:

> A[1,]
[1] 1 5 9 13 17

Selezione della terza colonna della matrice A:

> A[,3]
[1] 9 10 11 12

Nel caso del data-frame valgono le stesse regole di accesso agli elementi con qualche possibilità in più. Ciascuna colonna può essere identificata anteponendo al suo nome il nome del data-frame ed il simbolo $.

> studenti$eta
[1] 23 24 23 24 19 21 19 21 23 19 21 20 22 19 19 19 24 20 21 24 22 22 23 23 22
[26] 22 20 22 20 19 24 22 20 21 20 23 20 22 21 19 24 19 23 24 22 23 19 24 20 23
[51] 23 24 20 21 23 21 24 22

Se utilizziamo il comando attach(), R è in grado di accedere direttamente alle variabili del data-frame senza il prefisso. Digitando poi il nome di una variabile, come eta, si ottiene lo stesso risultato. Per eliminare l'effetto di tale comando si usa detach().

> attach(studenti)
> eta
[1] 23 24 23 24 19 21 19 21 23 19 21 20 22 19 19 19 24 20 21 24 22 22 23 23 22
[26] 22 20 22 20 19 24 22 20 21 20 23 20 22 21 19 24 19 23 24 22 23 19 24 20 23
[51] 23 24 20 21 23 21 24 22
> detach(studenti)

Workspace

Il workspace è costituito dall'insieme degli oggetti creati durante la sessione di lavoro con R.

• ls() o objects(): visualizzare gli oggetti presenti nel workspace
• rm(): cancellare uno o più oggetti
• rm(list=ls()): cancellare tutti gli oggetti del workspace
• save.image(): salvare integralmente il contenuto del workspace
• save(): salvare uno o più oggetti
• load(): recuperare gli oggetti salvati

Funzioni

Ogni funzione ha una sua modalità specifica di utilizzo. Il comando help() consente di accedere alle istruzioni su come utilizzare una determinata funzione.

• t(): traspone una matrice, cioè inverte righe e colonne
• cbind(): concatena per colonna degli oggetti
• rbind(): concatena per riga degli oggetti
• mean(): calcola la media aritmetica

Acquisizione file di dati

Per analizzare dei dati è fondamentale che essi risultino disposti in una matrice. Generalmente, tale matrice è composta di dati grezzi, ossia strutturata con tante righe quante sono le unità statistiche e tante colonne quante sono le variabili. Con R è possibile importare molti tipi di file in cui siano salvate tali matrici purché siano rispettate le seguenti regole:

• Il file deve contenere solo la matrice dei dati, strutturata in righe e colonne;
• Ogni riga della matrice rappresenta un'unità statistica o una osservazione, ogni colonna una variabile;
• All'interno di ciascuna cella della matrice ci deve essere un solo valore che può essere numerico oppure no.

Vediamo come importare tre diversi tipi di file esterni.

File testuale

Per importare in R un file testuale (come del tipo blocco-note) è possibile utilizzare la funzione read.table(). È necessario specificare tra virgolette l'indirizzo in cui si trova il file con il nome completo. Se nella prima riga sono riportati i nomi delle variabili, bisogna settare a TRUE il parametro header.

> H <- read.table("C:\\temp\\healdrug.dat",header=TRUE)

In alternativa alla scrittura completa dell'indirizzo di collocazione del file da leggere, è più pratico l'uso della funzione file.choose(). In questo modo la scelta del file da leggere viene guidata utilizzando le finestre di Windows.

> H <- read.table(file.choose(),header=TRUE)

File Excel

File Excel = foglio elettronico che prevede già l'organizzazione in righe e colonne. Per importare un file Excel in R è necessario convertire il file in formato CSV (comma separated values). Per far ciò basta salvare il foglio Excel selezionando come tipo di file l'opzione CSV. Per importare questo file usiamo la funzione read.csv2().

> radar <- read.csv2("C:\\temp\\radar.csv")

Anche le funzioni read.csv2() e read.xls() possono essere usate insieme al comando per evitare la scrittura completa dell'indirizzo di collocazione del file da leggere:

> radar <- read.csv2(file.choose())
> radar <- read.xls(file.choose())

File SPSS

Nel caso in cui la matrice dati sia stata salvata utilizzando qualche altro software statistico, è possibile utilizzare il pacchetto foreign che contiene una serie di funzioni per importare in R file da software quali SPSS, Systat, SAS, e altri.

> library(foreign)
> sci <- read.spss("C:\\temp\\sciatori.sav",to.data.frame = TRUE)

library(foreign) carica il pacchetto. Se il parametro to.data.frame viene impostato come TRUE, la matrice di dati viene caricata come data-frame, altrimenti, se si lascia il default (FALSE), le variabili vengono caricate come lista.

Dati formattati per R

Spesso nelle varie librerie di R sono presenti data-set pronti per essere letti. In questo caso si può usare il comando data() specificando eventualmente l'opzione package per indicare il nome della libreria in cui si trova. Un altro formato riconoscibile da R è quello con estensione .Rda. I file di questo tipo possono contenere qualunque forma di oggetti prodotti da R. Per generare file esterni con questo formato si deve usare il comando save(), per importarli nel workspace il comando load().

> A <- matrix(1:20,4,5)
> save(A,file="C:\\temp\\matrice.Rda")
> load("C:\\temp\\matrice.Rda")

Matrici di dati, statistiche descrittive e grafici

La forma di una matrice di dati può essere quadrata, quando le entità di riga e di colonna sono le stesse, oppure rettangolare.

Matrici rettangolari ➔ Matrici di dimensione n x p (n righe e p colonne), in cui non necessariamente n = p.

Matrici di dati grezzi

Si tratta della prima modalità possibile di organizzare i dati in quanto non presuppone alcun tipo di elaborazione. In questo tipo di matrice n rappresenta il numero di unità statistiche e p il numero di variabili. Si può rappresentare nel seguente modo: Ciascuna riga è composta da valori rilevati su ciascuna unità statistica nelle p variabili considerate. Tale modalità di organizzazione dei dati (unità statistiche x variabili) è la pratica più utilizzata anche dai vari software statistici. Esempio di matrice di dati grezzi, in cui righe (n=58 studenti) e colonne (14 variabili) hanno numerosità diverse:

> data(studenti,package="ADati")
> studenti[1:10,]

Matrici di osservazioni

Un altro modo per organizzare i dati, chiamato forma lunga, è quello in cui ciascuna riga della matrice rappresenta un'osservazione piuttosto che un'unità statistica.

> Y <- stack(studenti[,8:11])
> Y$matricola <- studenti$matricola
> Y$genere <- studenti$genere
> Y$eta <- studenti$eta
> head(Y)

values ind matricola genere eta

1   3  d1      110     m      23
2   2  d1      111     m      24
3   4  d1      143     f      23
4   3  d1      144     m      24
5   2  d1      159     m      19
6   2  d1      160     m      21

stack() ricombina le quattro colonne in un nuovo data-frame composto da 58 x 4 = 232 righe e 2 nuove variabili che vengono chiamate values e ind rispettivamente. La variabile values contiene i valori che prima erano sulle quattro colonne, la variabile ind contiene il nome della colonna su cui si trovava il valore. head(Y) consente di visualizzare le prime righe del data-frame.

Matrici quadrate

In cui il significato delle entità di riga e di colonna è equivalente. ➔ n righe = n colonne. Possono essere:

• Simmetriche quando i valori al di sopra della diagonale principale sono speculari rispetto ai valori al di sotto della diagonale;