Annotazione di Immagini basate su tecniche di Deep Learning per il Monitoraggio marino e costiero

Università degli Studi di Napoli ”Parthenope”

Dipartimento di Scienze e Tecnologie

Corso di Laurea in Informatica

Tesi di Laurea

Annotazione di Immagini basata su Tecniche di Deep

Learning per Il Monitoraggio Marino e Costiero

Relatore Candidato

Prof. Antonino Staiano Vincenzo Bucciero

Matr. 0124002256

A A 2023/2024

NNO CCADEMICO

A mia madre, colonna portante della mia vita

A mio padre, l’uomo che vorrei diventare

A mio fratello, faro nel buio

Ai miei nonni, bussole morali

A chi sbaglia, cade e si rialza

A chi, come me, non smette mai di crederci.

”Per apprezzare la bellezza di un fiocco di neve, è necessario resistere al freddo”

Indice

Elenco delle figure 4

1 Introduzione 9

2 Monitoraggio marino e costiero 11

2.1 Zone costiere: Un’analisi globale . . . . . . . . . . . . . . . . . . . . 12

2.1.1 Popolazione e Urbanizzazione . . . . . . . . . . . . . . . . . 12

2.1.2 Valore Economico . . . . . . . . . . . . . . . . . . . . . . . 12

2.1.3 Biodiversità e Servizi Ecosistemici . . . . . . . . . . . . . . . 12

2.2 Rischi Costieri . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.1 Rischi Naturali . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.2 Rischi Antropogenici . . . . . . . . . . . . . . . . . . . . . . 13

2.3 Monitoraggio dei Rischi Costieri . . . . . . . . . . . . . . . . . . . . 14

2.3.1 Utilizzo di Sensori . . . . . . . . . . . . . . . . . . . . . . . 14

2.3.2 Sensori Satellitari . . . . . . . . . . . . . . . . . . . . . . . . 15

2.4 Integrazione dell’Analisi delle Immagini per il Monitoraggio delle Ri-

sorse Costiere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3 Segmentazione 17

3.1 Image Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.1.1 Segmentazione delle immagini monocromatiche . . . . . . . 18

3.1.2 Caratteristiche del colore . . . . . . . . . . . . . . . . . . . . 18

3.2 Approccio tradizionale . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.2.1 Metodi di segmentazione basati su approccio tradizionale . . . 21

3.2.2 Thresholding . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2.3 Edge Based Method . . . . . . . . . . . . . . . . . . . . . . 22

3.2.4 Region Based Method . . . . . . . . . . . . . . . . . . . . . 22

3.2.5 Clustering Method . . . . . . . . . . . . . . . . . . . . . . . 23

3.2.6 Watershed Method . . . . . . . . . . . . . . . . . . . . . . . 24

3.2.7 PDE Based Method . . . . . . . . . . . . . . . . . . . . . . . 25

3.2.8 ANN Based Method . . . . . . . . . . . . . . . . . . . . . . 25

3.3 L’impatto del Deep Learning . . . . . . . . . . . . . . . . . . . . . . 25

3.3.1 La convoluzione nell’ambito della segmentazione . . . . . . . 26

4 Segment Anything Model 29

4.1 Contestualizzazione del modello SAM . . . . . . . . . . . . . . . . . 29

4.2 Esempi di Applicazione: CLIP e ALIGN . . . . . . . . . . . . . . . . 30

4.2.1 CLIP: Contrastive Language Image Pre-training . . . . . . . . 30

4.2.2 ALIGN: A Large-scale ImaGe and Noisy-text embedding . . 31

4.3 Concetti e fondamenti di SAM: Task, Model, Data Engine . . . . . . 33

2

INDICE 4.3.1 Segment Anything Task . . . . . . . . . . . . . . . . . . . . 35

4.3.2 Segment Anything Model . . . . . . . . . . . . . . . . . . . 36

4.3.3 Segment Anything Data Engine . . . . . . . . . . . . . . . . 38

4.3.4 Segment Anything Dataset . . . . . . . . . . . . . . . . . . . 38

4.4 Limitazioni di SAM . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

5 Dataset 40

5.1 Origini e contesto . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

5.2 Sfida Globale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

5.2.1 Lavori correlati . . . . . . . . . . . . . . . . . . . . . . . . . 42

5.3 Data Source e Data Training . . . . . . . . . . . . . . . . . . . . . . 42

5.3.1 Costruzione del Dataset . . . . . . . . . . . . . . . . . . . . 42

5.3.2 Data Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

5.3.3 Evaluation Data . . . . . . . . . . . . . . . . . . . . . . . . . 44

5.3.4 Architetture di Rete . . . . . . . . . . . . . . . . . . . . . . . 44

6 Valutazioni del Test Set 46

6.1 Approccio al problema . . . . . . . . . . . . . . . . . . . . . . . . . 46

6.1.1 Ontologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

6.2 Struttura dei video di Test . . . . . . . . . . . . . . . . . . . . . . . . 48

6.3 Utilizzo di SAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

6.3.1 Estrapolazione dei Frame . . . . . . . . . . . . . . . . . . . . 50

6.3.2 Valutazione della corettezza di SAM . . . . . . . . . . . . . . 51

6.4 Statistiche rilevanti . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

6.4.1 several.mp4 . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

6.4.2 manythings.mp4 . . . . . . . . . . . . . . . . . . . . . . . . 60

6.4.3 bali.mp4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

7 Conclusioni 73

7.1 Valutazione dei Risultati . . . . . . . . . . . . . . . . . . . . . . . . 73

7.2 Contributi e Implicazioni . . . . . . . . . . . . . . . . . . . . . . . . 73

7.3 Sviluppi Futuri . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

7.4 Integrazione con Altre Fonti di Dati . . . . . . . . . . . . . . . . . . 74

7.5 Tecniche Avanzate di Annotazione . . . . . . . . . . . . . . . . . . . 74

7.6 Monitoraggio a Lungo Termine e Raccolta Dati . . . . . . . . . . . . 75

7.7 Applicazione ad Altri Ambiti di Monitoraggio Ambientale . . . . . . 75

3

Elenco delle figure

2.1 Rappresentazione schematica (non esaustiva) della zona costiera, dei

rischi (in carattere normale) e delle variabili metoceaniche rilevanti

per i rischi marini costieri e il loro monitoraggio [HFR: radar ad alta

frequenza; HAB: fioritura di alghe nocive] . . . . . . . . . . . . . . . 11

2.2 Confronto dei risultati SAR sul punto più settentrionale della Laguna

(a, d) e su una porzione del delta del fiume (b, e). . . . . 16

di Venezia Po

3.2 Raffigurazione delle diverse tecniche di Image Segmentation . . . . . 21

3.3 Divisione delle regioni basate sul quad tree. . . . . . . . . . . . . . . 23

3.4 Hard Clustering vs Soft Clustering . . . . . . . . . . . . . . . . . . . 24

3.5 Raffigurazione delle tecniche di deep learning più diffuse. . . . . . . . 26

3.6 Immagine di input e mappe di attivazione di un tipico CNN. Nella riga

superiore sono mostrate l’immagine di input e due mappe di attiva-

zione dalle prime fasi, che mostrano parti di oggetti come magliette e

caratteristiche come i contorni. Nella riga inferiore sono mostrate map-

pe di attivazione dalle fasi successive, con attivazioni più significative

come campi, persone e cielo rispettivamente. . . . . . . . . . . . . . 27

4.1 Riepilogo dell’approccio. Mentre i modelli standard per le immagini

addestrano congiuntamente un estrattore di caratteristiche per le im-

magini e un classificatore lineare per predire alcune etichette, CLIP

addestra congiuntamente un codificatore per le immagini e un codi-

ficatore per il testo per predire gli accoppiamenti corretti di un batch

di esempi di addestramento (immagine, testo). Al momento del test,

il codificatore per il testo appreso sintetizza un classificatore lineare

zero-shot incorporando i nomi o le descrizioni delle classi del dataset

di destinazione. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4.2 CLIP si dimostra molto più efficiente nel trasferimento zero-shot ri-

spetto al modello di riferimento per la generazione di didascalie per

le immagini. Nonostante la sua grande espressività, è stato osservato

che i modelli di linguaggio basati su trasformatori sono relativamente

deboli nella classificazione zero-shot di ImageNet. In pratica, è stato

notato che apprendono 3 volte più lentamente rispetto a un modello

di riferimento che utilizza una codifica bag-of-words (BoW) del testo.

Tuttavia, sostituendo l’obiettivo di previsione con l’obiettivo contrasti-

vo di CLIP, si è potuto migliorare ulteriormente l’efficienza di un altro

fattore di 4 volte. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4

ELENCO DELLE FIGURE

4.3 Le rappresentazioni visive e linguistiche vengono apprese contempo-

raneamente dai dati di testo alternativo alle immagini. Queste rappre-

sentazioni possono essere utilizzate per trasferire compiti sia visivi che

visivo-linguistici. Sorprendentemente, ALIGN consente la classifica-

zione visiva zero-shot e la ricerca cross-modale senza richiedere alcun

adattamento fine-tuning. Questo include varie modalità di ricerca, co-

me la ricerca da immagine a testo, da testo a immagine e persino con

interrogazioni congiunte immagine+testo. . . . . . . . . . . . . . . . 32

4.4 L’obiettivo è quello di costruire un modello fondamentale per la seg-

mentazione introducendo tre componenti interconnesse: un compito di

segmentazione promptabile, un modello di segmentazione (SAM) che

alimenta l’annotazione dei dati e consente il trasferimento zero-shot a

una serie di compiti tramite l’ingegneria del prompt, e un motore di

dati per la raccolta di SA-1B, il dataset di oltre 1 miliardo di maschere. 33

4.5 Esempio di immagini con maschere che si aggirano tra le 300-400 so-

vrapposte dal dataset di nuova introduzione, SA-1B. SA-1B contie-

ne 11 milioni di immagini diverse, ad alta risoluzione, con licenza e

protette dalla privacy, e 1.1 miliardi di maschere di segmentazione di

alta qualità. Queste maschere sono state annotate completamente au-

tomaticamente da SAM e, come verificato tramite valutazioni umane

e numerosi esperimenti, sono di alta qualità e diversità. Le imma-

gini sono raggruppate per numero di maschere per immagine per la

visualizzazione (ci sono in media circa 100 maschere per immagine). . 34

4.6 Maschere valide generate da SAM da un singolo prompt ambiguo

(cerchio verde). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.7 Panoramica del Modello Segment Anything (SAM). Un codificatore

di immagini pesante produce un’immagine incorporata che può poi es-

sere interrogata efficientemente da una varietà di prompt di input per

produrre maschere di oggetti a velocità di tempo reale ammortizza-

ta. Per prompt ambigui corrispondenti a più di un oggetto, SAM può

produrre multiple maschere valide e punteggi di confidenza associati. 36

4.8 Distribuzione geografica stimata delle immagini di SA-1B. La maggior

parte dei paesi del mondo ha più di 1000 immagini in SA-1B, e i tre

paesi con il maggior numero di immagini provengono da diverse parti

del mondo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

5.2 Un esempio di immagine di addestramento etichettata che mostra due

classi: la classe ”plastica” in blu e la classe in giallo. . . . . . . 43

ROV

5.3 Risultati di esempio della rilevazione. . . . . . . . . . . . . . . . . . 45

6.1 Esempio di frame estrapolato dal video several.mp4 . . . . . . . . . . 48

6.2 Esempio di frame estrapolato dal video manythings.mp4 . . . . . . . 49

6.3 Esempio di frame estrapolato dal video bali.mp4 . . . . . . . . . . . 49

6.4 idFrame153 appartenente al video several.mp4 . . . . . . . . . . . . 52

6.5 Esempi di maschere errate. . . . . . . . . . . . . . . . . . . . . . . . 54

6.6 Esempio di annotazione manuale. . . . . . . . . . . . . . . . . . . . 55

6.7 Istogramma del numero di annotazioni per tipo di oggetto nel video

several.mp4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

6.8 Media degli embeddings per ogni frame del video several.mp4 . . . . 57

5

ELENCO DELLE FIGURE

6.9 Deviazione standard degli embeddings per ogni frame del video seve-

ral.mp4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

6.10 Rispettivamente la Figura 6.10a e Figura 6.10b rappresentano i frame

con La Figura 6.10c e Figura 6.10d rappresentano i

minima distanza.

frame con . . . . . . . . . . . . . . . . . . . . . . 59

massima distanza.

6.11 Differenze di Embedding Frame-by-Frame nel video . . . 60

several.mp4

6.12 Esempio di annotazione manuale. . . . . . . . . . . . . . . . . . . . 61

6.13 Istogramma del numero di annotazioni per tipo di oggetto nel video

manythings.mp4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

6.14 Media degli embeddings per ogni frame del video manythings.mp4 . . 62

6.15 Deviazione standard degli embeddings per ogni frame del video ma-

nythings.mp4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

6.16 Rispettivamente la Figura 6.16a e Figura 6.16b rappresentano i frame

con La Figura 6.16c e Figura 6.16d rappresentano i

minima distanza.

frame con . . . . . . . . . . . . . . . . . . . . . . 64

massima distanza.

6.17 Differenze di Embedding Frame-by-Frame nel video 65

manythings.mp4

6.18 Esempio di annotazione manuale relativo al video bali.mp4. . . . . . 66

6.19 Istogramma del numero di annotazioni per tipo di oggetto nel video

bali.mp4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

6.20 Media degli embeddings per ogni frame del video bali.mp4 . . . . . . 68

6.21 Deviazione standard degli embeddings per ogni frame del video bali.mp4 69

6.22 Rispettivamente la Figura 6.22a e Figura 6.22b rappresentano i frame

con La Figura 6.22c e Figura 6.22d rappresentano i

minima distanza.

frame con . . . . . . . . . . . . . . . . . . . . . . 70

massima distanza.

6.23 Differenze di Embedding Frame-by-Frame nel video . . . . 71

bali.mp4 6

Abstract - EN

This thesis explores the application of the Segment Anything Model (SAM) for anno-

tating and segmenting images from videos taken underwater, with a specific focus on

identifying marine debris.

The main objective of this work is the analysis of videos from the public test set of

Trash-Icra, which shows underwater waste, and the construction of improved datase-

ts for each video present. The videos were examined frame by frame, applying the

SAM algorithm to calculate segmentation masks for the objects in the images. The

accuracy of the masks generated by SAM were then evaluated. In cases of errors, such

as incomplete segmentations of objects or the masking of irrelevant shadows, manual

intervention was performed using the LabelBox software to correct the annotations.

The corrected masks were manually annotated and collected into new datasets spe-

cific to each analyzed video. Subsequently, the obtained results were analyzed by

calculating various statistics using the json files provided by LabelBox.

The central part of the thesis delves into the Segment Anything Model (SAM), an

advanced model that leverages deep learning techniques to segment any type of image.

It examines the contextualization of SAM, with application examples such as CLIP

(Contrastive Language-Image Pre-training) and ALIGN (A Large-scale ImaGe and

Noisy-text embedding). The fundamental concepts of SAM, its tasks, the model, the

data engine, and the dataset used, as well as the limitations and possible solutions, are

discussed.

The described process enabled the creation of accurate and reliable datasets for the

segmentation of underwater debris, enhancing the effectiveness of marine and coastal

monitoring through the application of deep learning techniques. The results demon-

strate how the integration of manual annotations can significantly improve the per-

formance of segmentation algorithms, contributing to more efficient and sustainable

management of marine and coastal resources.

This research provides a significant contribution to the use of deep learning tech-

niques for environmental monitoring, highlighting the importance of collaboration

between automation and human intervention to achieve optimal results. 7

Abstract - IT

Questa tesi esplora l’applicazione del Segment Anything Model (SAM) per l’anno-

tazione e la segmentazione di immagini in video sottomarini, con un focus specifico

sull’identificazione dei rifiuti marini.

L’obiettivo principale del lavoro è l’analisi di video provenienti dal test set pubbli-

co di Trash-Icra, che mostra rifiuti sottomarini in acqua, e costruire dei nuovi dataset

migliorati per ogni video presente. I video sono stati esaminati frame per frame, ap-

plicando l’algoritmo SAM per calcolare le maschere di segmentazione degli oggetti

presenti nelle immagini. Successivamente, è stata valutata l’accuratezza delle masche-

re generate dal SAM. In caso di errori, come segmentazioni incomplete degli oggetti

o la mascheratura di ombre non pertinenti, si è intervenuto manualmente utilizzando il

software LabelBox per correggere le annotazioni.

Le maschere corrette sono state annotate manualmente e raccolte in nuovi dataset,

specifici per ciascun video analizzato. Successivamente, i risultati ottenuti sono stati

analizzati calcolando varie statistiche, utilizzando i file json forniti da LabelBox.

La parte centrale della tesi approfondisce il Segment Anything Model (SAM), un

modello avanzato che sfrutta le tecniche di deep learning per segmentare qualsiasi tipo

di immagine. Viene esaminata la contestualizzazione del SAM, con esempi di applica-

zione come CLIP (Contrastive Language-Image Pre-training) e ALIGN (A Large-scale

ImaGe and Noisy-text embedding). Si discutono i concetti fondamentali del SAM, i

suoi task, il modello, il data engine, e il dataset utilizzato, nonché le limitazioni e le

possibili soluzioni.

Il processo descritto ha permesso di creare dataset accurati e affidabili per la seg-

mentazione dei rifiuti sottomarini, migliorando l’efficacia del monitoraggio marino

e costiero tramite l’applicazione di tecniche di deep learning. I risultati dimostrano

come l’integrazione di annotazioni manuali possa rafforzare significativamente le per-

formance degli algoritmi di segmentazione, contribuendo a una gestione più efficiente

e sostenibile delle risorse marine e costiere.

Questa ricerca fornisce un contributo significativo all’uso delle tecniche di deep lear-

ning per il monitoraggio ambientale, evidenziando l’importanza della collaborazione

tra automazione e intervento umano per ottenere risultati ottimali. 8

Capitolo 1

Introduzione

Nel vasto panorama della ricerca scientifica, tra le sfide impegnative e rilevanti certa-

mente sono da annoverare l’esplorazione e la sorvegli