Appunti degli studenti per corsi ed esami del Prof. Staiano Antonino

Questa tesi esplora l’applicazione del Segment Anything Model (SAM) per l’annotazione e la segmentazione di immagini in video sottomarini, con un focus specifico sull’identificazione dei rifiuti marini. L’obiettivo principale del lavoro ` e l’analisi di video provenienti dal test set pubblico di Trash-Icra, che mostra rifiuti sottomarini in acqua, e costruire dei nuovi dataset migliorati per ogni video presente. I video sono stati esaminati frame per frame, applicando l’algoritmo SAM per calcolare le maschere di segmentazione degli oggetti presenti nelle immagini. Successivamente, è stata valutata l’accuratezza delle maschere generate dal SAM. In caso di errori, come segmentazioni incomplete degli oggetti o la mascheratura di ombre non pertinenti, si è intervenuto manualmente utilizzando il software LabelBox per correggere le annotazioni. Le maschere corrette sono state annotate manualmente e raccolte in nuovi dataset, specifici per ciascun video analizzato. Successivamente, i risultati ottenuti sono stati analizzati calcolando varie statistiche, utilizzando i file json forniti da LabelBox. La parte centrale della tesi approfondisce il Segment Anything Model (SAM), un modello avanzato che sfrutta le tecniche di deep learning per segmentare qualsiasi tipo di immagine. Viene esaminata la contestualizzazione del SAM, con esempi di applicazione come CLIP(Contrastive Language-Image Pre-training) e ALIGN (A Large-scale ImaGe and Noisy-text embedding). Si discutono i concetti fondamentali del SAM, i suoi task, il modello, il data engine, e il dataset utilizzato, nonch´e le limitazioni e le possibili soluzioni. Il processo descritto ha permesso di creare dataset accurati e affidabili per la segmentazione dei rifiuti sottomarini, migliorando l’efficacia del monitoraggio marino e costiero tramite l’applicazione di tecniche di deep learning. I risultati dimostrano come l’integrazione di annotazioni manuali possa rafforzare significativamente le performance degli algoritmi di segmentazione, contribuendo a una gestione più efficiente e sostenibile delle risorse marine e costiere. Questa ricerca fornisce un contributo significativo all’uso delle tecniche di deep learning per il monitoraggio ambientale, evidenziando l’importanza della collaborazione tra automazione e intervento umano per ottenere risultati ottimali.