Elementi di probabilità e statistica - Inferenza Statistica

Inferenza statistica

Introduzione

Per inferenza statistica si intende il processo che permette, noti i risultati/informazioni ottenute, quindi le caratteristiche del campione estratto (es. condizione professionali degli intervistati), di risalire alle caratteristiche dell’intera popolazione (per il momento incognite). Si parlerà di inferenza parametrica quando l’obiettivo di indagine è quello di acquisire informazioni su una o più caratteristiche specifiche (parametri appunto) della popolazione, quali media, varianza, ecc.

Data la definizione, va chiarito che tramite indagini inferenziali, i risultati ottenuti, per la natura dell’indagine, non sono mai certi, precisi, ma sono sempre soggetti ad errore, sì che il principale problema e obiettivo nell’inferenza sarà quello di utilizzare tecniche che consentano di ottenere risultati apprezzabili/affidabili, cioè con margini di errore che siano sostenibili nell’indagine in esame; procedimento che consiste in termini concettuali nel “calcolo del grado di affidabilità dei risultati ottenuti”.

La difficoltà o impossibilità di ricavare il carattere di interesse sull’intera popolazione è ciò che spinge lo statistico a ricorrere all’inferenza statistica piuttosto che alla statistica descrittiva; tuttavia le ragioni alla base di tale impossibilità possono essere molte:

• Mancanza del tempo che sarebbe necessario per acquisire tali dati (capita spesso che le decisioni debbono essere prese in tempi brevi);
• Mancanza di fondi/risorse finanziarie a sostenere una tale indagine;
• Impossibilità di procedere con la rilevazione sull’intera popolazione: si pensi a quelle rilevazioni che avvengono per via sperimentale (la numerosità dei lanci che posso fare con un dado, costituenti il collettivo di un dato esperimento, possono essere infiniti);
• Mancanza di necessità di conoscere l’esatto valore del parametro (es. la media della distribuzione) ma sufficiente bisogno di una sua approssimazione.

Popolazione

È indispensabile distinguere tra:

• Popolazione fisica: corrisponde al collettivo di unità, finito o infinito, reale o ipotetico, del quali si è interessati a studiare un certo carattere.
• Popolazione statistica: l’insieme delle caratteristiche quantitative o qualitative rilevate su ogni unità della popolazione fisica, con riferimento al carattere oggetto di interesse.

L’assunzione è che ogni elemento/unità della popolazione fisica venga descritta tramite una modalità del carattere oggetto di studio. La variabile casuale/aleatoria X è invece quella variabile la cui legge di probabilità (o distribuzione) F indica appunto il grado di verificabilità delle modalità x di X:

Esempio:

Si consideri la distribuzione di frequenza dei foglietti di un’urna che ne contiene 100:

• { x: 10, 15 = 5}
• P(X = x) = {0.4, 0.3, 0.3}

Possiamo adesso a scopo didattico considerare questa variabile “Tipo di foglietto estratto dall’urna” sotto due punti di vista:

• Considero X come una variabile statistica e la relativa distribuzione di frequenza delle numerazioni dei foglietti;
• Considero X come una variabile casuale generata estraendo a caso con ripetizione i foglietti e adottando tra l’altro una impostazione classica.

Mentre nel primo punto di vista il numero dei foglietti, contemporaneamente collocati nell’urna, risulta finito e pari a 100, nella seconda impostazione le modalità non sono contemporanee e le estrazioni, quindi le unità statistiche sono infinite.

Per parametro si intende la caratteristica numerica di sintesi della popolazione oggetto di studio, che chiaramente risulta non nota e di cui si vogliono acquisire informazioni tramite indagine inferenziale; parametro potrebbe ad es. essere una media, varianza, percentuale, la dimensione della popolazione, ecc.

Campionamento

Come accennato all’inizio, piuttosto che basare la propria indagine sull’intera popolazione è più opportuno considerarne solo una parte, quindi un campione, quale uno dei tanti possibili sottoinsiemi della popolazione. Requisito fondamentale del campione è la sua rappresentatività della popolazione in esame: un campione si definisce rappresentativo se rispecchia le proporzioni con le quali si presentano le modalità della popolazione: per soddisfare tale requisito è sufficiente scegliere in modo causale le unità che entreranno a far parte del campione, solo in tal modo il carattere oggetto di studio non sarebbe influenzato dalla scelta del campione, quello ottenuto sarà allora un c.d. Campione Casuale: se ad esempio per effettuare un sondaggio elettorale si intervistassero solo le persone che passano in una certa via, in cui è posta la sede di un partito, è chiaro che il sondaggio sarebbe distorto a favore di quel partito.

Proprietà dei rappresentatività dei campioni casuali: Si dimostra che “I campioni casuali determinati (con giudizio/tecnica) hanno massima probabilità di essere rappresentativi”.

Considerazione: Andiamo a fare 1000 estrazioni causali (o bernoulliane) con ripetizione. Procedendo con l’esperimento la c.d. legge dei grandi numeri ci dimostra la proprietà prima enunciata, secondo cui all'aumentare del numero delle prove fatte il valore della frequenza relativa tende al valore teorico della probabilità:

• 10, frequenza relativa 0.70;
• 20, frequenza relativa 0.20;
• 30, frequenza relativa 0.10;

Risultati come si nota estremamente simili a quelli ottenuti utilizzando la impostazione classica. Possiamo allora affermare che il risultato della buona rappresentatività è dato dalla concordanza tra le probabilità e le frequenze relative delle modalità della variabile sotto esame, le quali tendono ad approssimare all’aumentare del numero degli esperimenti le probabilità e quindi a rendere rappresentative queste ultime.

Tipi di campioni

Esistono fondamentalmente due tipi di campioni:

• Campione non probabilistico: campione in cui gli individui vengono scelti senza tenere conto della probabilità di ciascun individuo di appartenere al campione;
• Campione probabilistico: campione in cui gli individui vengono scelti tenendo conto della probabilità nota di ciascun individuo di appartenere al campione.

Tra i vari tipi di campionamento probabilistico, adotteremo un solo tipo di campione casuale:

Campione casuale semplice con ripetizione (o Campione bernoulliano)

Definizione: Il Campione casuale semplice con ripetizione (o campione bernoulliano) è determinato attribuendo ad ogni unità statistica della popolazione oggetto di esame la stessa probabilità di essere estratta; ciò però non deve essere intesa come stessa probabilità attribuita ad ogni modalità della popolazione.

Formalizzazione campione bernoulliano o “n-pluo campione”: (X₁, X₂, … , X_n)

Requisiti: (X₁, X₂, … , X_n)

Requisiti di tale campione di dimensione n (formato da n v.c. “posto”):

• Le variabili casuali/aleatorie che lo costituiscono sono stocasticamente indipendenti (l’esito di una rilevazione non deve influire sull’esito delle altre);
• Ogni X_i è identicamente distribuita come la popolazione di partenza X.

Requisiti facilmente riassumibili nella sigla i.i.d.: le n variabili aleatorie sono assunte “identiche (come X) e stocasticamente indipendenti”.

In altri termini: X₁, X₂, … , X_n

Legge di distribuzione di probabilità

Essendo innanzitutto il vettore aleatorio composto da n v.c. i.i.d. ad esso sarà associata una legge di distribuzione di probabilità congiunta. In particolare se la popolazione è rappresentata da una v.c.:

• Discreta, si tratta di funzione di probabilità congiunta del campione, la funzione: ^k∏ p(X₁,…,X_n) = p(x₁,…,x_n) = ∏_i=1^k p(x_i)
• Continua, si tratta di funzione di densità congiunta del campione, la funzione: ^k∏ f(X₁,…,X_n) = f(x₁,…,x_n) = ∏_i=1^k f(x_i)

Realizzazione e spazio campionario

A seguito dell’osservazione, i valori delle variabili casuali posto costituenti il campione risultano noti e vengono chiamati realizzazione campionaria e indicati con (X₁ = x₁, X₂ = x₂, … , X_n = x_n) = (x₁, x₂, … , x_n)

Esempio:

Similmente all’esperimento con l’urna, presentiamo la realizzazione di un possibile campione di dimensione 5 (n=5): (10,5,10,15,10)

Da quanto visto fino ad ora so anche che la realizzazione della media campionaria riferita al 5-pluo campione è:

(x₁ + x₂ + x₃ + x₄ + x₅)/5 = (10 + 5 + 10 + 15 + 10)/5 = 10

Probabilità di osservare un’osservazione

P(x₁, x₂, … , x_n) = ?

Essendo le variabili posto “i.i.d.” (essendo in particolare incondizionate) allora la variabile congiunta/multivariata è data dal prodotto delle marginali:

• ⁿ∏ P(x₁, x₂, … , x_n) = P(x₁) ∗ P(x₂) ∗ … ∗ P(x_n) = ∏_i=1ⁿ P(x_i)

In riferimento al precedente esempio:

• ⁿ∏ P(10,5,10,15,10) = P(x₁ = 10) ∗ P(x₂ = 5) ∗ … ∗ P(x_n = 10) = 0.4 ∗ 0.3 ∗ 0.4 ∗ 0.3 = 0.00576

Per spazio campionario si intende l’insieme di tutte le possibili realizzazioni, (X₁, X₂, … , X_n), del vettore casuale.

Esempio

In una popolazione finita di 6 famiglie si consideri la seguente variabile casuale: X: numero di televisori per famiglia. Variabile la cui distribuzione di probabilità poniamo sia:

• { x: 0, 1, 2, 3, 4}
• p(x): 1/6, 1/6, 1/3, 1/3

Supponiamo di estrarre dalla popolazione un campione bernoulliano di ampiezza 2, (X₁, X₂) :

Si considerino quindi le seguenti variabili casuali “posto”:

• X₁: esiti della 1ª estrazione = variabile casuale
• X₂: esiti della 2ª estrazione = variabile casuale

..dove..

• { x₁: 0, 1, 2, 3, 4}
• p(x₁): 1/6, 1/6, 1/3, 1/3

..e..

• { x₂: 0, 1, 2, 3, 4}
• p(x₂): 1/6, 1/6, 1/3, 1/3

Cioè le variabili posto hanno la stessa distribuzione di probabilità (o potrei dire anche di frequenza relativa) della variabile considerata sul collettivo.

Spazio campionario

Lo spazio campionario sarà dato allora dall’insieme di tutte le possibili coppie di elementi che possiamo estrarre, con ripetizione, dalla popolazione (o anche dall’insieme delle possibili realizzazioni del campione):

• {(0,0), (0,2), (0,3), (0,4), (2,0), (2,2), (2,3), (2,4), (3,0), (3,2), (3,3), (3,4), (4,0), (4,2), (4,3), (4,4)}

Probabilità congiunta

La probabilità congiunta di estrazione di ogni realizzazione è determinabile come segue:

• P(X₁ = x_1i ∩ X₂ = x_2j) = P(x_1i) ∗ P(x_2j)

..essendo il campione con ripetizione, come era stato a sua volta dimostrato, le variabili sono stocasticamente indipendenti, sì che..

• P(x_1i) ∗ P(x_2j)

Andiamo adesso a determinare la legge di probabilità congiunta del campione bernoulliano di dimensione 2: essendo le variabili “posto” fra loro i.i.d. basta fare il prodotto tra le probabilità marginali della determinata modalità:

Statistica

Nell’ambito della statistica descrittiva la popolazione veniva spesso sintetizzata tramite opportuni indici di posizione (tra i principali la media e la mediana) e/o di variabilità. Chiaramente nell’ambito della inferenza statistica, anche le informazioni contenute in un campione possono essere anch’esse sintetizzate tramite una certa funzione campionaria o c.d. “statistica”.

Una qualunque funzione delle n variabili casuali costituenti il campione è detta Statistica quando non dipende da parametri non noti della popolazione (deve dipendere solo da parametri noti):

• X₁, X₂, ..., X_n → g(X₁, X₂, ..., X_n)

Tra le principali statistiche:

• Media campionaria: ¹/_n ∑_i=1ⁿ X_i
• Momento campionario di ordine k: ∑_i=1ⁿ X_i^k
• Varianza campionaria: ∑_i=1ⁿ (X_i - X̄)²

Distribuzione di campionamento della statistica

Si considerino tutti i possibili campioni casuali di ampiezza n estraibili da una data popolazione, con o senza remissione. Per ciascun campione posso calcolare una certa statistica, quale ad es. la media, varianza, ecc., che potrà variare da campione a campione. Ottengo in questo modo una “Distribuzione di campionamento della statistica”: è la distribuzione di tutti i possibili valori assumibili dalla statistica stessa, ricavati da campioni casuali di pari dimensione estratti dalla popolazione, a cui posso associare la relativa probabilità dell’evento.

Media campionaria

Definizione: Si consideri una popolazione con valore atteso e varianza rispettivamente:

• μ = E(X)
• σ² = V(X)

..estraendo da X un campione bernoulliano di ampiezza n, (X₁, X₂, … , X_n), sia la Media campionaria quella statistica:

• 1/n ∑_i=1ⁿ X_i = (X₁ + X₂ + … + X_n)/n

È determinata come si può vedere dalla sommatoria delle n variabili casuali “posto” costituenti il campione fratto la dimensione del campione stesso delle variabili “posto” diviso la dimensione del campione determinato. La Media Campionaria, come qualunque statistica del resto, è essa stessa una variabile casuale (casuale in quanto in base al campione considerato cambia di valore), definibile anche come variabile n-dimensionale (nell’esempio precedente bidimensionale); è inoltre la statistica più importante ed utilizzata nelle indagini statistiche.

Esempio

Calcolare la funzione di probabilità della media campionaria:

Ricollegandomi all’esempio precedente, volendo riassumere le informazioni campionarie contenute in (X₁, X₂) tramite la statistica, conoscendo anche la legge di probabilità congiunta del campione, posso calcolarmi prima la legge di probabilità congiunta della media campionaria e poi la funzione di probabilità della stessa:

Nota bene:

• x₁, x₂ = 2,0 → x̄ = 1

Esempio:

Realizzazione media campionaria relativamente alle coppie (o legge di probabilità congiunta della media campionaria):

Funzione di probabilità della media campionaria:

• { x̄: 0, 1, 1.5, 2, 2.5, 3, 3.5, 4}
• p(x̄): 1/36, 1/12, 2/9, 6/36, 9/36, 9/36, 9/36, 1/36

Media aritmetica e varianza della Media campionaria

Per ottenere questi due risultati è però prima necessario considerare la generica combinazione lineare di n-variabili casuali “W” e determinarne media e varianza, per poi ricavarci tramite le tecniche di induzione algebrica la media e varianza della media campionaria.

Inizio regressione: ragionamento su combinazione lineare di n-variabili casuali:

Sia come detto:

• W = a₁X₁ + a₂X₂ + … + a_nX_n = ∑_i=1ⁿ a_iX_i

..si tenga presente che per il momento non ci importa se le generiche variabili casuali “posto” siano fra loro “i.i.d.”..

Procediamo con il calcolo della media:

• E(W) = E(a₁X₁ + a₂X₂ + … + a_nX_n) = a₁E(X₁) + a₂E(X₂) + … + a_nE(X_n)

..considero adesso la somma delle variabili posto evidenziate, come un’unica variabile casuale “Y”, sì che otterrei..

• E(W) = a₁E(X₁) + E(Y) = a₁E(X₁) + a₂E(X₂) + … + a_nE(X_n)

Analogamente prima considero la somma delle variabili posto evidenziate come un’unica variabile casuale “Y”, sì da ottenere..

..