Appunti degli studenti per corsi ed esami del Prof. Croce Annalisa

Appunti di Business data analytics. Network Analysis, Lab 1: analisi di rete. Caricamento e ispezione della rete (igraph): nodi, link, pesi, self-loop, salvataggio. Costruzione di reti non orientate, orientate e pesate a partire da un dataframe. Statistiche descrittive: densità, componenti connesse, diametro e distanza media, matrice di adiacenza, visualizzazione. Distribuzioni di grado e di strength (grado pesato), con normalizzazione. Misure di centralità: degree, in/out-degree, strength, betweenness, closeness, eigenvector, PageRank, hub e authority score, k-core, clustering coefficient e grado medio dei vicini. Confronto tra centralità: top-N nodi, nodi in comune, ranking e correlazione di Kendall con relativo test. 2. Network Analysis, Lab 2: community detection Girvan-Newman (edge betweenness). Greedy di Newman. Louvain e Leiden. Confronto tra algoritmi e validazione della partizione con informazioni esterne. 3. Inferenza causale DAG: collider, mediatore, trattamento, back-door path, con simulazione di tre modelli (esempio sulla discriminazione di genere e il reddito). Propensity Score Matching (PSM, MatchIt): verifica della randomizzazione con t-test, stimatore naive, modello OLS e DAG applicato al dataset; matching nearest, caliper e Mahalanobis, con t-test post-matching e OLS finale. Variabili strumentali (IV): requisiti dello strumento (rilevanza, esogeneità, esclusività), regressione a due stadi (ivreg); test di strumento debole, Wu-Hausman e Sargan, con dati simulati ed esercizio sui fondi strutturali. Regression Discontinuity Design (RDD): test di sorting (McCrary) e continuità delle covariate; approccio parametrico: lineare e quadratico, con e senza interazione, anche su regressione locale; approccio non parametrico (rdrobust): sharp RDD con scelta di grado e kernel, covariate e RDD fuzzy. 4. Teoria delle reti sociali Distanza media e clustering coefficient (esempio con la rete clienti e gli aeroporti USA). Power law e rete di Poisson: confronto con la rete casuale, stima di Xmin e test di ipotesi (poweRlaw). 5. Ripasso di Statistica Una sezione finale con grafici (istogrammi confrontati sugli stessi assi, barplot, torta), PCA (scree plot, scores, visualizzazione avanzata), clustering su dati simulati (silhouette, tot.withinss), regressione lineare (intervalli di confidenza e predizione, piano 3D, interazioni) e grafici di rete e PSM (boxplot, matrice di correlazione).

Condivisione del formulario della parte MAT dell'esame di Business data analytics, da poter utilizzare durante l'esame, essendo openbook. Argomenti: Parte 1: Statistica e Machine Learning (Laboratori 1-9) Lab 1, Basi di R: gestione dell’ambiente e import dei dati, vettori, fattori, indici di posizione e dispersione, istogrammi, boxplot, variabili categoriche e frequenze. Lab 2, Esplorazione multivariata e ANOVA: matrici di covarianza e correlazione, ggpairs; test di normalità (grafici e Shapiro-Wilk); test sulla media di una popolazione (t-test, z-test, caso asintotico) e intervalli di confidenza; confronto tra due popolazioni, con varianze note, uguali o diverse, e test di Fisher; ANOVA, test di Bartlett, confronti multipli e correzione di Bonferroni. Lab 3, PCA: analisi delle componenti principali. Lab 4, Clustering: K-means (scelta del numero di cluster, silhouette), clustering gerarchico (linkage complete, average, single; distanza euclidea e Manhattan) e cluster ellissoidali. Lab 5, Regressione lineare: semplice e multipla, diagnostica dei residui, inferenza sui coefficienti, intervalli di confidenza e di predizione, trasformazioni delle variabili (logaritmi), rimozione di outlier e variabili dummy. Lab 6, Variabili categoriche, stepwise e cross-validation: interazioni, variabili categoriche a due o tre livelli, selezione stepwise (forward, backward, mista), train/test, MSE e cross-validation (cv.glm). Lab 7, Collinearità e regolarizzazione: VIF, regressione su componenti principali (manuale e con cross-validation, pls), Ridge e Lasso (glmnet), confronto con OLS. Lab 8, Regressione logistica e classificazione: modello semplice e multiplo, logit, odds ratio, intervalli di confidenza, matrice di misclassificazione (sensitivity, specificity, accuracy), curva ROC e KNN. Lab 9, Alberi: alberi di regressione e di classificazione, potatura, bagging, random forest (mtry, errore OOB, importanza delle variabili) e un esercizio riassuntivo che confronta alberi, Ridge e Lasso. Parte 2: GES (Network Analysis e Inferenza) Dai titoli e dalle librerie caricate in apertura compaiono questi argomenti: Network analysis: ispezione della rete, centralità (betweenness, closeness, hub score) e community detection (Greedy, Louvain, Girvan-Newman). Inferenza causale: propensity score matching, variabili strumentali, regression discontinuity (sharp RDD) e leggi di potenza.