La regressione modello lineare

Regressione

In matematica, una variabile y si dice funzione di x se a ciascun valore di x corrispondono uno e un solo valore di y, valore che si determina tramite le operazioni algebriche specificate dalla relazione funzionale che lega y ad x. Ci sono due variabili: indipendente e dipendente; spesso per ogni variabile indipendente corrispondono molti valori e questa dipendenza si chiama relazione statistica.

Modello statistico

Un modello statistico è uno schema teorico che descrive un fenomeno ipotizzando le caratteristiche strutturali più rilevanti ed è composto da due parti, la parte sistematica, o segnale, e da quella aleatoria o rumore necessaria per passare dalla teoria all’analisi dei dati. Da qua in avanti ci concentriamo sul modello di regressione lineare che consiste nell’assumere che la funzione matematica f(x) sia l’equazione di una retta: y = β₀ + β₁x + ε dove i primi due parametri sono l’intercetta e la pendenza mentre il terzo è l’errore (indipendente da x).

Regressione lineare

La regressione è un modello statistico in cui la parte sistematica (funzione lineare di x) è funzione di alcune variabili osservate, dunque è un metodo per studiare come una variabile di risposta (variabile dipendente) dipende da alcune variabili esplicative (regressori). La prima colonna è dedicata alla variabile di risposta, mentre le altre colonne sono per le variabili esplicative. La regressione si divide in:

• Semplice: una sola variabile esplicativa, si tratta di un metodo bivariato perché riguarda due sole variabili;
• Lineari: si assume che la relazione tra la variabile di risposta y e quella esplicativa x sia di tipo lineare, cioè una retta; si assume che la media aritmetica di y condizionata a x sia funzione lineare di x.

Come ipotesi fondamentale di tale modello, dobbiamo dire che la parte accidentale non dipende da x per cui la media dell’errore è 0 per ogni valore di x. Da ciò segue che la media di y condizionata a x è una funzione lineare di x: μ_Y|x = β₀ + β₁x. Supponiamo che il regressore abbia come valore x* in corrispondenza del quale la media condizionata è μ_Y|x* = β₀ + β₁x*, supponiamo che il regressore aumenti di 1 e che assume x*+1 in corrispondenza del quale la media è μ_Y|x*+1 = β₀ + β₁(x*+1) dalla quale si ottiene β₁. In conclusione, β₁ è la variazione della media condizionata di y conseguente all’aumento di 1 di x qualunque sia il valore x* di partenza. Β₁ dipende dall’unità di misura delle variabili prese in considerazione (y/x), se tale fattore è uguale a 2 kg/m significa che ad ogni aumento di 1 m si associa un aumento medio del peso di 2 kg.

Metodo dei minimi quadrati

Con le lettere greche intendo la stima mentre con le latine la retta stimata. In termini geometrici, dato un diagramma di dispersione, si cerca di capire quale sia la retta che si adatta meglio ai punti, cioè quella che mediamente è più vicina ai punti. Algebricamente parlando, si calcolano b₀ e b₁ in modo che l’errore sia il più piccolo possibile. Occorre stabilire la distanza tra la retta e l’insieme dei punti considerando pure l’errore di previsione complessivo. I valori di x sono considerati quantità date per cui il problema della previsione riguarda i valori y tale che: y_i è il valore osservato di y per l’unità i; ŷ_i = b₀ + b₁x_i è il valore previsto; e_i = y_i - ŷ_i è l’errore di previsione. Il criterio più usato per definire la distanza tra la retta e l’insieme dei punti è quello della somma dei quadrati degli errori. La retta che rende minimo l’errore di previsione quadratico è chiamata retta dei minimi quadrati.

Le rette del piano sono infinite, ognuna individuata univocamente da una coppia di valori cioè, intercetta e pendenza.