Metodi statistici per il controllo qualità: appunti per esame orale

PROPOSTA DI CA MODIFICATA

C’è una distinzione tra una CA di progettazione e la CA di riprogettazione. Si parla di CA modificata

nella riprogettazione.

Si ipotizza un’indagine idealmente suddivisa in 3 fasi, con un’unica intervista:

• Scheda preliminare: è costruita per ogni singolo studente intervistato; serve a due scopi:

per informazione e, molto più importante, a valutare l’indagine vera e propria rispetto alle

caratteristiche dei singoli studenti.

Le variabili considerate in questa scheda sono: sesso, scuola superiore (Tecnico o Liceo),

media esami (<25; ≥25), lavoro (lavoratore o non lavoratore), iscrizione (in corso o fuori

corso).

Si noti che le 5 variabili considerate, dette strutturali ai fini dell’indagine, sono a due livelli.

Questo perché è necessario limitare gli strati (combinazioni) a livello di singolo studente.

In questo caso si hanno potenzialmente 32 combinazioni, che indicano 32 possibili

5

tipologie di studenti 2 .

à

2 x 2 x 2 x 2 x 2 = 32

Ogni variabile ha due opzioni (livelli) che rappresentano le scelte possibili per uno studente in

ciascuna categoria. Moltiplicando questi numeri, si ottengono tutte le possibili combinazioni di

scelte che uno studente può fare per le cinque variabili. Quindi, ci sono 32 tipologie di studenti

possibili considerando tutte le combinazioni di sesso, tipo di scuola superiore, media degli esami,

lavoro e stato di iscrizione.

Ad esempio, una combinazione potrebbe essere:

- Sesso: Maschio

- Scuola superiore: Liceo

- Media esami: ≥25

- Lavoro: Lavoratore

- Iscrizione: Fuori corso

Ogni combinazione rappresenta una categoria specifica di studenti, e il totale di 32 copre tutte le

possibili variazioni in base a queste cinque variabili strutturali.

• Valutazione status quo (solo in fase di riprogettazione): giudizio sullo specifico corso di

laurea da parte dello studente; si somministra allo studente una scheda in cui in giudica i

singoli fattori ritenuti rilevanti per il corso di laurea e inoltre dà un giudizio globale di

soddisfazione. Ogni giudizio viene espresso in scala 0 – 100 e inoltre viene richieso lo stesso

punteggio sulla combinazione dei fattori in essere. Questo permette di misurare il reale

livello di qualità dello specifico corso di laurea.

• Conjoint analysis: è la vera e propria fase di riprogettazione del corso di laurea in cui si

somministra allo studente l’insieme dei profili (combinazioni) del disegno sperimentale

chiedendo sia un ordinamento dei profili (valutazione ordinale) sia una risposta metrica

(valutazione quantitativa – scala da 0 a 100).

Indicando con y , la risposta metrica per ogni profilo, si ha che: j indica il singolo studente;

ijt

t lo stato dello studente, t= 1, …, 32; i indica il profilo. L’analisi può essere condotta a livello

j, per studente, oppure a livello del profilo i, aggregando rispetto al singolo studente.

Per la terza fase (conjoint analysis), il disegno proposto può essere un fattoriale o un fattoriale

V5-1

frazionale 2 k= 5 fattori.

à

Il disegno proposto considera aspetti abbastanza comuni nei corsi di laurea; per ogni specifica

indagine, il numero dei fattori e la loro definizione possono essere modificati. Niente vieta di

considerare un numero superiore di fattori, compatibilmente con la possibilità di ottenere un

disegno valutabile e valido. È da tenere presente, inoltre, la possibile presenza di interazioni tra i

fattori considerati. Infine, va sottolineato che in questo caso la scelta di questi 5 fattori ha tenuto

conto dei suggerimenti degli studenti e delle problematiche emerse in fase di attuazione.

In questo caso, la Risoluzione V prescelta permette di valutare anche tutte le interazioni con due

fattori.

Fattori prescelti:

Contenuti corsi di base (cb) (I anno): minore approfondimento teorico (-1), maggiore

o approfondimento teorico (+1);

Esercitazioni/laboratorio (el): laboratorio solo come corso distinto (-1); laboratorio inserito

o obbligatoriamente in tutti gli esami caratterizzanti (+1);

Prove intermedie (pi): nessuna prova intermedia (-1); almeno una prova intermedia fissata

o in unica settimana del semestre (+1);

Modalità di esame (me): scritto e/o orale (-1), esame orale integrato con esercitazione (+1)

o (applicazione a dati reali o elaborazione su tema, secondo la materia);

Corso di laurea e mondo del lavoro (prosp): corso di laurea con contenuti generali (-1),

o corso di laurea con maggiore specializzazione nelle singole materie (+1).

MISURE E MODELLI: ANALISI STATUS QUO

I metodi di analisi sono distinti secondo due obiettivi: analisi sullo status quo e analisi per la

riprogettazione.

Analisi status quo

- Si analizza la soddisfazione dello studente sul corso di laurea esistente in relazione ai fattori

specifici, insieme alle variabili strutturali.

La variabile dipendente è la soddisfazione (S) sullo status quo.

- L’inserimento di una domanda sul miglioramento globale (MG) permette il calcolo dello

scarto tra soddisfazione e importanza di miglioramento.

In sostanza si confronta la soddisfazione rispetto al miglioramento dello status quo.

Una misura “grezza” può essere definita dal seguente indice generale

di soddisfazione-miglioramento SM:

dove j è il generico studente.

Questo indice, data la nostra scelta di scala, ha un range (-100, + 100), e indica quanto, in media, la

valutazione di soddisfazione sia lontana da quella di miglioramento (quanto vuole migliorare il

corso lo studente).

La formula misura la “distanza”, per ogni j, della soddisfazione dal miglioramento individuale.

ANALISI DEI PROFILI DI MIGLIORAMENTO: CONJOINT ANALYSIS

Il secondo obiettivo dei metodi di analisi è l’analisi di riprogettazione.

La parte di progettazione e di analisi relativa alla revisione del corso di laurea (II parte della scheda

– fase 3) è analizzabile in due modi:

Indice sul singolo studente: permette di considerare lo scostamento medio delle preferenze

espresse su ogni profilo rispetto al giudizio di miglioramento, per ogni studente:

dove j indica lo studente, C è il giudizio dello studente j sul profilo i-

ij

mo, r è il numero di combinazioni sperimentali (profili) del disegno

prescelto.

Questo indice, sotto l’ipotesi di coerenza del rispondente, rappresenta una misura media della

revisione del corso di laurea, rispetto all’importanza di miglioramento globale espressa

dall’intervistato (= Questo indice rappresenta la valutazione media tra i voti che ho dato ai profili e

la richiesta di miglioramento (insoddisfazione)).

Si noti che tale indice è diverso da quello formulato in precedenza poiché in questo caso si

analizzano i profili per ogni studente.

Indice sul singolo profilo: un altro indice riguarda la valutazione per ogni profilo. Per ogni

combinazione sperimentale si definisce:

dove MG indica la media (calcolata sul numero di intervistati) del

giudizio di miglioramento globale, n* indica il numero di giudizi

effettivamente espressi.

Questo indice riguarda una valutazione media legata alla media degli studenti su tutti i profili

rispetto alla media generale di miglioramento.

I tre indici mi dovrebbero aiutare a valutare nel complesso dell’indagine tutto ciò che riguarda

status quo e conjoint (quindi non l’eterogeneità del rispondente). L’eterogeneità del rispondente

può rientrare indirettamente nell’indice del singolo studente.

In questi metodi una cosa complessa è la fase di input, cioè capire bene come strutturare i dati.

La combinazione dà luogo a un record dell’utente j

esimo (80). A questo record ij (es. 1 j) devo associare

tutte le informazioni sul rispondente, ad esempio

genere femminile, voto>25, lavoratrice, fuori sede, ecc

... avrò tante righe quanti sono i profili moltiplicati

per chi risponde.

Questo implica che quando vado a fare l’analisi della conjoint vado a fare due tipi di analisi:

Aggregata, è quella più importante per la valutazione globale ed è la media per ogni profilo

§ delle preferenze ottenute.

Disaggregata, per ogni studente j-esimo faccio l’analisi dei profili. Il risultato si porta in

§ maniera sintetica perché è più importante l’aggregata.

L’analisi su ogni singolo studente è effettuata tramite analisi della varianza senza valutazione delle

interazioni, questo a prescindere dal tipo di Risoluzione adottata, poiché durante lo svolgimento

delle interviste, all’utente è richiesta la valutazione sul profilo nel suo complesso.

A livello globale (su tutti gli studenti), i modelli applicati tengono conto di:

- L’esistenza della variabilità dovuta agli studenti; l’analisi è svolta sulla totalità degli utenti

intervistati, considerando i giudizi espressi su ogni profilo: (nxr) giudizi effettivi.

- La valutazione media su ogni singolo profilo.

STIMA DELL’UTILITÀ

Vediamo cosa succede per ogni profilo e cosa è l’utilità parziale.

Ho una utilità legata a ogni utente j-esimo (P ), cioè

j

l’utilità a livello disaggregato e una legata a ogni profilo i- esimo (P ), cioè l’utilità a livello

i

aggregato.

La formula è l’utilità parziale, cioè quanto ogni fattore x “conta” nell’ambito

dell’utilità complessiva per i miei profili.

+ Per ogni studente vado a riportare il p-value. Tipo lo studente 1 dava molta importanza ai

contenuti di base, alle prove intermedie e alle prospettive del mondo del lavoro. Lo studente 2

dava maggiore importanza a pi e a me, ecc...

ANALISI AGGREGATA

L’analisi aggregata è svolta in due fasi:

1) All’inizio si considerano tutte le combinazioni e tutti gli studenti, per valutare la variabilità

delle preferenze;

2) Successivamente la valutazione dell’importanza di ogni fattore su ciascun profilo è

analizzata tramite il valore medio di preferenza, calcolato prendendo in considerazione,

per ogni profilo, i giudizi di preferenza espressi dagli studenti.

L’analisi della varianza e il modello lineare

effettuati per le 16 combinazioni sperimentali

prendendo in considerazione tutti gli studenti è

stata condotta sia partendo dal modello additivo

(senza interazioni), che dal modello con le

interazioni. Il risultato finale coincide in quanto

nessuna interazione risulta significativa.

STIMA DELLE PREFERENZE

Infine, si valuta per ogni profilo la stima della preferenza, sulla base del modello

precedente lineare. Il migliore è il numero 16, il peggiore è il numero 9.

Possiamo confrontare questi risultati con l’indice Ci. Vediamo che il 16 è

-13.7 e il 9