Metodi e linguaggi trattamento dati

Spss esercitazione 1

Martedì 14 marzo 2023 11:24

Introduzione a SPSS

In SPSS ho vari tipi di file (contengono output, sintassi, dati…). Aperto il file abbiamo vista dati e una vista variabili. Terza colonna interpretati come valori nominali. In SPSS abbiamo dato mancante codificato con un punto, possiamo definire nella parte delle vista variabili, colonna 'mancante' definire un tratto o carattere particolare da identificare come valore mancante. (trasform -> diffvariab -> old and new var).

Pulizia dei dati

Prima cosa consistenza dei dati, vogliamo vedere se tutto quanto funziona; facciamo controllo colonna per colonna --> Identificatore: numero associato a ciascun caso perché sia univoco, ci aspettiamo compaia una volta sola, se compare più di una abbiamo dei casi duplicati. Si può fare tabella frequenze e controllare che nessuna sia maggiore di uno. Analizza -> statistiche descrittive-> frequenze -> trascino variabile di cui voglio la tabella di frequenza -> ok. Scopro che identificatore 53 e 99 sono casi duplicati. Gruppo e frequenza: faccio tabella anche per questi. Se ho dati mancanti avrò che colonna percentuale sarà diversa da percentuale valida. Cumulata non ci interessa perché è valore nominale.

Valori numerici e calcolo delle medie

Valori numerici compitini: andiamo a vedere se ci sono outliers. Facciamo tabelle frequenza. Media compitini: valore che è stato calcolato, non ci si deve fidare, alcuni valori tra l'altro mancano, non sono stati calcolati. Creiamo nuova colonna per le nostre medie. Trasforma -> calcola variabile -> diamo nome variabile (media compitini calcolata, ci sono comunque suggerimenti per categorie con relativa legenda per sapere se è giusta per la variabile). Nome funzione, poi tra parentesi tonde la lista argomenti separati da virgola. Si può salvare comando (creare uno script, file) per i comandi che possono servirmi in futuro (la media). Schiaccio 'paste' e per aprire, file -> syntax. Voglio confrontare media nuova con l'altra: analizza -> report -> riepilogo casi -> metto le due cose da confrontare.

Creazione di variabili

Interessa creare variabile voto europeo, dove metto C <= 24, B tra 24 e >= 27 e A > 27. Trasform -> recode into diff variab -> metto variabile partenza 'voto finale' -> clicco old and new values -> metto i valori con range -> paste per salvare sintassi. Valore mancante carattere stringa è codificato contrattino. Facciamo ulteriore passaggio da voti europei a voto A, B, C codificato da numeri (C = 1, B = 2, A = 3). Per togliere decimali vado nella variabile view. Possiamo definire etichette per valore, colonna values specifichiamo cosa corrisponde a cosa, valore 3 corrisponde ad A… Metto il nome che voglio per la variabile, in 'label'.

Selezione e identificazione di casi duplicati

Dati -> select cases -> seleziono casi che soddisfano certa condizione -> if -> scrivo GRUPPO -= "in corso" & -= "fuori corso". Cerchiamo ora casi che hanno identificatore duplicato: Data -> identify duplicate cases -> sopra inserisco identificatore -> ok. SPSS per ogni identificatore va controllare se quel numero identificatore è già stato osservato. Se ho k casi duplicati SPSS terrà come buono il primo o l'ultimo di questi dati e mostra gli altri come duplicati. Lasciamo impostazioni originali val 1 se caso originale, se duplicato. Quali sono duplicati? Data -> select cases -> if -> primarylast = 0. Poi stesso procedimento ma scriviamo identificatore = 53 | identificatore = 59. Togliamo 3, 4 e 5 con clear. Per generare tabelle in cui ci sono solo le cose che ci interessano: analyze -> reports -> summaries cases.

Comandi principali

• Analyze: stat descrittiva (freq, explore (box plot)), quality control (Pareto).
• Graphs: charts builder.

Spss esercitazione 2

Martedì 21 marzo 2023 11:08

Etichettare le variabili

Mettiamo label a viaggiatoincina: 0 no, 1 sì. Prendiamo gruppo, provenienza, viaggiatoincina, voto finale e creo tabella con moda, e in format creiamo grafico a barra. Nella tabelle, colonna frequenza cumulativa, ultimo valore avrà sempre 100 (sommo tutti quelli prima), è solo per via dell'ordine che c'è nella tabelle. Andiamo nelle variabili e nel voto europeo, nella colonna missing definisco come valore mancante lo spazio (barra spaziatrice). Rifaccio frequenze e vedo che i valori strani sono spariti, sia dalle tabelle che dai grafici. Per salvare sintassi: opens -> syntax -> apro sintassi; riapro frequenze e faccio paste. Salvo sintassi delle frequenze. Analyze -> quality control -> Pareto -> inserisco provenienza. Facendo doppio clic sui grafici ho serie opzioni per personalizzarli (esempio metterli orizzontale). Tabelle si possono copiare e incollare su programmi per foglio elettronico.

Calcolo della moda

La moda è stata richiesta ma non è stata calcolata, con variabili tipo stringa la moda non viene calcolata. Per variabili scalari non ci interessa avere tabella frequenze. Se sono voti si altrimenti meglio no.

Calcoli statistici avanzati

Prendiamo voto finale e ci calcoliamo un po' di cose (quartili, mediana, percentili) e creiamo istogramma con normale. Il valore 95 percentile = x ci dice che il 95% valori sono al disotto di quel valore x. Abbiamo in nero la curva teorica costruita con varianza e valore atteso delle variabili. Il tipo di curva teorica la si può scegliere sempre nell'editor. Le barre blu sono molto differenti, la curva è una grandissima approssimazione. Nella personalizzazione con doppio click si può aggiungere barra verticale nella media. Si può intervenire anche su quantità e ampiezza intervalli stabiliti da SPSS.

Creazione di box plot

Per creare box plot, vado in statistica descri -> explore metto voto finale con istogramma e normale. Crea vari grafici (che vedremo poi) tra cui box plot. Quando utilizzo più variabili nello stesso comando i dati vengono selezionati in modo che tutti i casi selezionati non abbiano casi mancanti per variabili che stiamo considerando. Questo modo selezionare casi che costruiscono certa analisi si chiama listwise (troviamo in explore -> options). Si può richiedere se possibile di utilizzare il maggior numero possibile di dati (exclude cases pairwise). Graphs -> charts builder -> personalizzare più nel dettaglio grafici. Faccio grafico più semplice a barre con provenienza su x e nel filtro quelli che hanno viaggiato in Cina. Si possono creare grafici a torta, istogrammi per scalari. Curva è modificabile.

Spss esercitazione 3

Giovedì 30 marzo 2023 12:35

Creare tabelle congiunte

Tabelle di contingenza hanno senso per variabili nominali e ordinali, non continui. Altro modo: Analyze -> Crosstabs. Frequenze relative possiamo fare scatter plot. Per riga: All'inizio non si mostra relazione poi sì. Inserendo più variabili crea più tabelle. Con personalizza grafico tracciamo retta regressione. Si può fare tabella matrice di dispersione: Tabella di correlazione: analyze -> correlate -> bivariate -> metto tutte variabili che servono.

Interpretazione del coefficiente di correlazione di Pearson

Il coefficiente di correlazione di Pearson è un numero compreso tra -1 e +1 che indica la forza e la direzione della relazione tra le due variabili. Ecco come interpretare i valori del coefficiente di correlazione:

• Se il coefficiente di correlazione è vicino a -1, indica una correlazione negativa perfetta, il che significa che le due variabili sono inversamente proporzionali. Ad esempio, se una variabile aumenta, l'altra diminuisce in modo proporzionale.
• Se il coefficiente di correlazione è vicino a +1, indica una correlazione positiva perfetta, il che significa che le due variabili sono direttamente proporzionali. Ad esempio, se una variabile aumenta, l'altra aumenta in modo proporzionale.
• Se il coefficiente di correlazione è vicino a 0, indica che non c'è una correlazione lineare forte tra le due variabili. In altre parole, le due variabili non sono fortemente associate linearmente.

Il valore di significatività (generalmente rappresentato come p-value) indica se la correlazione osservata è statisticamente significativa o potrebbe essere dovuta al caso. Un valore di significatività inferiore a un livello di soglia prefissato (ad esempio, 0,05) indica che la correlazione è statisticamente significativa, cioè non è probabilmente dovuta al caso.

Spss esercitazione 4

Giovedì 30 marzo 2023 12:10

Confronti grafici

Facciamo grafico voto finale grafici -> chart builder facciamo istogramma su x voto finale. Poi ancora chart builder, vogliamo vedere istogramma due casi (selezioniamo tipo grafico con due colonne in orizzontale). Voti finali li divido tra quelli viaggiato in Cina e non ma voglio vedere voti solo di quelli preso A o B, a destra metto voto europeo, possiamo ancora a destra di escludere alcuni valori. Dal grafico vediamo che sono tutti studenti che hanno viaggiato in Cina, ad aver preso A. Posso fare boxplot, su y voto finale, su x viaggiato in Cina. Differenza distribuzione voto finale a seconda se studente abbia viaggiato in Cina o meno, chi non ha viaggiato posizionato su voti bassi (baffi corti) chi viaggiato ci sono studenti che hanno avuto valutazioni più alte.

Selezione di dati specifici

Data -> select cases -> if e inserisco gruppo "fuori corso" e la tabella mi mostrerà solo studenti fuori corso per cui si nota manca il viaggiato in Cina. Cosa vediamo: studenti di Roma in corso vanno molto peggio di quelli fuori corso (boxplot è più basso). In generale studenti in corso hanno rendimento peggiore dei fuori corso. Abbiamo descrizione del campione se vogliamo dire qualcosa di più su popolazione, possiamo usare statistica inferenziale che in modo controllato ci fanno fare previsioni con margine di errore su popolazione intera. Se diamo solo descrizione campioni siamo molto limitati, a livello di generalizzazione non possiamo fare nessuna affermazione.

Spss esercitazione 5

Martedì 4 aprile 2023 09:48

Grafico a piramide delle provenienze

Andamento delle frequenze dei voti sono queste. Più grafici hanno sovrapposizioni più i gruppi non sono separati (Es. il voto 20 mi può dire che probabilmente lo studente viene da Milano piuttosto che Firenze? No perché concentrazioni variabili sono non distanti (i due gruppi non sono ben identificati). Rispetto alla provenienza non c'è differenza. Se invece faccio la stessa cosa con invece della provenienza, il voto finale europeo(A, B, C), vedo che non ho sovrapposizioni, i gruppi sono completamente disgiunti.

Analisi della varianza

Controlla somma scarti più somma scarti within gruppi. Dispersione valori variabile x dei singoli gruppi è più piccola della dispersione della media. Eseguiamo analisi varianza: analyze -> compare means -> one way ANOVA. Variabile dipendente metto voto finale scalare, come variabile categorica su cui costruire gruppi. Le stringhe in questo menu non compaiono (serve sempre codificare in modo numerico e poi usare le etichette per tornare al valore iniziale, come fatto per voto finale europeo). Codificare provenienza come valore numerico per l'ANOVA. Trasform -> recode into diff vari (o compute) -> variab ingresso proven -> output Milano diventa 1, Firenze 2... chiamiamo prov_numerica -> new old val -> Poi per comodità in values riassociamo i numeri ai nomi delle città così che la variabile ora è numerica ma nei grafici non compaiono 1,2,3 ma nomi veri. Ritorno ora sull'ANOVA e inserisco nuova variabile creata. Confrontando le due, concludiamo BG è maggiore, dispersione è maggiore della dispersione delle medie, i due gruppi non sono distinti.

Standardizzazione

Se calcolo varianza voto finale ottengo valore che è somma delle due quantità. Se usiamo voto europeo (sempre nell'ANOVA)... Standardizzazione: media è 0 e la varianza è 1, trasformare modo lineare i valori in modo che siano centrati sullo zero e abbiano dispersione = 1. Per trovare tabella media, mediana, deviazione std -> descriptive stat -> descriptives.

Spss esercitazione 6

Giovedì 25 maggio 2023 11:41

Inferenza su SPSS

Dare stima puntuale che studente che si iscriva corso vada in Cina? A partire da info di 0 e 1 che ho sul campione. Questo parametro segue legge bernoulliana (0 o 1), è caratterizzata parametro 1-p e p, somma delle due deve dare 1; p rappresenta probabilità che x = 1, probabilità che studente ha viaggiato in Cina; dobbiamo stimare parametro p; io so che valore p è = al valore atteso della variabile (E(x), corrispettivo della media frequenze), lo faccio con stimatore della media campionaria: somma osservazioni/numero osservazioni. Stat descr -> explore -> statistic intervallo confidenza 95%. Media è 0.44, è la frazione elementi =1 (andati Cina) ed è anche stima puntuale della media popolazione x con valori tra 0 e 1. Se vogliamo vedere stima intervallare, guardiamo intervallo confidenza al 95%, 0.34 e 0.54, con probabilità 0.95, il valore probabilità che studente vada in Cina è compreso tra 0.34 e 0.54.

Calcolo dell'intervallo di confidenza per il voto finale

Voto finale medio che prende studente iscritto? Faccio stesso procedimento con voto finale e metto stima 95% e anche stima percentili. Come calcolo intervallo interquartile da tabella percentili stimati 75° - 25° = 6. Se facciamo invece confidenza del 99%, errore da tollerare è maggiore, stima puntuale sempre uguale ma intervallo confidenza è aumentato. Qui è differenza minima a volte invece per avere determinata confidenza l'intervallo diventa molto grande. Posso anche nel comando explore mettere entrambi parametri. Qui media voto finale diversa perché usa elementi non missing combinati di entrambi, dice infatti che i casi utilizzati sono 99 e non 130 come prima. Di default SPSS esclude valori listwise (tiene conto solo casi in cui tutte variabili menzionate non hanno casi mancanti), pairwise invece per ogni variabile utilizza massimo casi che può (sistemi due variabili non sono basate su stesso insieme di studenti ma due diversi). Posso mettere nella factor list il gruppo per vedere differenze.

Test d'ipotesi

Test d'ipotesi per valutare data ipotesi (porsi ipotesi e chiedersi se può essere avvallata dai dati o no. Vogliamo vedere ampiezza intervallo confidenza voto finale, lo facciamo con barplot (se volevamo vedere frequenza usavamo istogramma). Intervalli saranno centrati sul valore di stima puntuale e ampiezza calcolata nella tabella.

Spss esercitazione 7

Giovedì 1 giugno 2023 10:40

Calcolo dell'intervallo di confidenza

Intervallo di confidenza = Mean ± (t * (Std. Deviation / ^√N)). Chart builder -> bar -> prendo l'ultimo a pallini. Su y metto variabile numerica e nell'angolo l'altra variabile. Grafico viene diviso per gruppi, i bassi rappresentano intervallo di confidenza al 95%, più sono stretti più sono sicura di avere fatto buona stima. Nel grafico risultante, le barre rappresentano le frequenze delle marce per ogni tipo di trasmissione, e le linee verticali estese dalle barre indicano l'intervallo di confidenza. L'intervallo di confidenza indica la variabilità attesa intorno alla stima della frequenza delle marce per ciascun tipo di trasmissione, rappresenta l'intervallo entro il quale ci si aspetta che la vera frequenza delle marce nella popolazione si trovi con una certa confidenza.

Uso della media e deviazione standard

Se io devo descrivere una popolazione è meglio usare media - deviazione standard oppure - IQR? Uso la mediana nei casi in cui la distribuzione non è simmetrica e/o unimodale (perché altrimenti i valori asimmetrici tirano la media). Uso invece la media quando la distribuzione è normale (μ ± σ), la probabilità che la media cada nell'intervallo -σ;μ +σ è del 68% (regola empirica). La probabilità che valore si trovi nell'intervallo (μ - 2σ; μ + 2σ) del 95%, tra (μ - 3σ; μ + 3σ) del 99%. Su spss posso visualizzare il grafico in cui i bassi che rappresentano 2σ (+ del 95%).

Test delle ipotesi

Test d'ipotesi es facciamo un test delle ipotesi che secondo noi la media effettiva sia 20.9. Analyze -> compare means -> one sample t test, metto variabile e in test_value metto 20.9, metto estimate effect sizes e media trovata da tabella frequenze. Nella tabella avremo gl che rappresenta i gradi di libertà, t, il valore del t-test calcolato per confrontare la media campionaria con un valore di riferimento specificato, sig. (2-tailed) che indica il valore p associato al test t. Questo valore indica la probabilità di ottenere il risultato osservato (o un risultato più estremo) sotto l'ipotesi nulla di non differenza tra la media campionaria e il valore di riferimento.

Test di normalità

Test normalità explore -> plots -> tick normality plots. Nell'esempio vediamo che hanno una significabilità molto piccola, pvalue < 0.001. Io voglio un errore di primo tipo con un valore α=0.05 di conseguenza l'ipotesi è da rifiutare perché non segue una distribuzione normale. Tracciando istogramma per controllare vediamo che non segue andamento normale. Il test normalità confronta i quantili delle due distribuzioni, scelgo quale in base numerosità del campione (per n maggiore scelgo Kolmogorov-Smirnov). Sign: rappresenta il valore di significatività (valore p) del test t per campioni indipendenti. Indica se c'è una differenza significativa tra le medie dei due gruppi. Un valore p inferiore al tuo livello di significatività predefinito (ad esempio, 0.05) indica che la differenza è considerata statisticamente significativa. t: rappresenta la statistica t calcolata per il confronto tra i due gruppi. Questo valore viene utilizzato per calcolare il valore p del test t. gl (gradi di libertà): Indica i gradi di libertà utilizzati nel test t.