Presentazione progetto Ecologia per le biorisorse

STRUMENTI DI ELABORAZIONE DELLE IMMAGINI

Sviluppato in ambienti di laboratorio con telecamere poste in alto (monitoraggio continuo e pochi impedimenti visivi)

CONDIZIONI DI REGISTRAZIONE CONTROLLATE

L'osservazione aerea basata su video e il biologging sono tipicamente limitati

nella risoluzione spazio-temporale e nel numero di animali osservabili 5

Difficoltà: ambienti visivi complessi e mancanza di condizioni di illuminazione

In campo Nuovi approcci di:

DEEP LEARNING

Utilizzo di video registrati da droni e approcci di computer vision per tracciare automaticamente la posizione e la postura del

corpo di animali liberi in coordinate georeferenziate ad alta risoluzione spazio-temporale, inserite in modelli paesaggistici 3D

dell'area circostante

CONSENTE:

• rilevamento automatico di oggetti in scene complesse

• localizzazione gli animali (posizione)

• tracking degli spostamenti degli animali

sfida irrisolta proiezione delle posizioni degli animali

(L'imaging 3D multi-camera può superare questi problemi, ma si tratta di sistemi difficili da implementare ) 6

VANTAGGI di estrarre contemporaneamente immagini dell’ambiente circostante (studio della struttura dell’habitat,

Possibilità

individuare le caratteristiche del paesaggio, valutare la qualità delle risorse) e informazioni comportamentali.

La registrazione simultanea dell'ambiente e del comportamento degli animali non è ancora stata esplorata con metodi di ripresa

aerea

Metodi attuali per integrare

fusione di dati provenienti

da fonti diverse

Movimento e comportamento Dati ambientali

degli animali

biologger, immagini satellitari, sensori secondari (come telecamere a bordo degli animali)

Questi approcci sono limitati dalla mancata corrispondenza tra la scala e il tempo di acquisizione dei diversi tipi di dati 7

Elaborazione di osservazioni basate su video per generare un insieme di dati

comportamentali e ambientali concomitanti a scale spazio-temporali coerenti per

OBIETTIVO studiare le interazioni comportamentali degli animali con il loro ambiente

Il metodo descritto in questo studio: Produzione di informazioni

utilizza droni per registrare video aerei sincrone sull'ambiente

fisico e biotico circostante

computer vision per raccogliere dati georeferenziati ad alta risoluzione sulla localizzazione e sul

comportamento di animali liberi

(senza catturarli o etichettarli) limitazioni: possibile

approcci basati sul deep learning per localizzare e seguire automaticamente tutti disturbo degli animali

gli individui nel video da parte dei

droni e i limiti del tempo di

osservazione

utilizza tecniche di Structure-from-Motion ( SfM) per ricostruire la topografia 3D

dell' habitat circostante 8

Due esempi pratici in cui viene applicato questo approccio:

Ungulati africani che vivono in gruppo Scimmie Gelada

(in particolare la zebra di Grevy) ( Theropithecus gelada)

Modalità

Modalità registrazioni raccolte nell’arco di 4 mesi

nel corso di due stagioni sul campo iniziale distanza di 100m di altezza dal branco

altitudine di 80m dal punto di decollo con successivo avvicinamento a 70m

osservazione continua di 50 minuti branco di studio appare indisturbato dal

le zebre sembravano indisturbate dalla drone

presenza dei droni voli di durata compreda tra 5 e 20 minuti

Lo studio dimostra come seguire più animali contemporaneamente, classificare gli individui per specie e classe di età-sesso,

stimare le posture del corpo degli individui (pose) ed estrarre le caratteristiche ambientali, tra cui la topografia del paesaggio e le

tracce degli animali 9

Estrazione di dati sul movimento, sul comportamento e sul paesaggio da

riprese aeree di animali selvatici effettuate con un drone

FASE 1: registrazioni video

FASE 2: rilevamento

FASE 3: tracking

FASE 4: ricostruzione del paesaggio e

trasformazione delle coordinate geografiche

FASE 5: rilevamento dei punti chiave delle parti del

corpo degli individui

FASE 6: rilevamento caratteristiche del paesaggio

10

FASE 1: registrazione video

I video vengono registrati dall’alto con la telecamera puntata verso il basso

la visibilità degli animali è di vitale importanza e dipenderà:

dal tipo di habitat

dalla risoluzione del video

dalle caratteristiche degli animali stessi 11

FASE 2: Rilevamento

vengono definiti dei riquadri di delimitazione per individuare/ localizzare gli animali (BOUNDING BOX)

processo di ANNOTAZIONE

è importante considerare attentamente la migliore strategia di annotazione per ottenere il miglior risultato riducendo al

minimo il lavoro umano (scelta di un software appropriato)

Per ogni fotogramma video, il modello genera le

coordinate del rettangolo di selezione

esempio 1 figura a)

riquadri blu: zebre

riquadri bianchi: impala/antilope

esempio 2 figura b)

riquadri gialli: maschi adulti

riquadri azzurri: mix di femmine e giovani

12

FASE 3: tracking

collegamento delle posizioni tra i fotogrammi del video che permette di generare traiettorie per tutti gli individui rilevati

.

viene utilizzata una versione modificata dell'algoritmo di Hungarian Accoppia le traiettorie e

minimizza la distanza

totale tra tutte le coppie

In caso di occlusioni ambientali e altri

problemi di rilevamento si ottengono più

traiettorie parziali per un singolo individuo

(GUI= interfaccia grafica utente) strumento che consente di visualizzare o inserire dati per facilitare la convalida

delle tracce e la correzione degli errori. 13

FASE 4: ricostruzione del paesaggio e

trasformazione delle traiettorie in coordinate geografiche

La trasformazione delle traiettorie in coordinate geografiche precise:

consente di analizzare i dati di movimento risultanti in

permette di distinguere il relazione a dati georeferenziati esterni

movimento degli animali (es: immagini satellitari)

selezione di un sottoinsieme di fotogrammi di ancoraggio

per catturare viste diverse ma sovrapposte

dell'area di osservazione

vengono inseriti nel software Structure-from-Motion (SfM) che costruisce un modello

3D dettagliato del paesaggio che circonda gli animali utilizzando le osservazioni

bidimensionali provenienti da diversi punti di vista sovrapposti 14

Utilizzo di GCP (Punti di controllo a terra): punti di riferimento con coordinate

geografiche note nel mondo reale, utilizzati per georeferenziare il modello del

paesaggio generato dai fotogrammi di ancoraggio

segue

trasformazione delle posizioni degli animali dalle coordinate dei pixel dei fotogrammi

in coordinate geografiche del modello 3D

Ottenendo traiettorie di movimento con un errore inferiore al metro 15

FASE 5: rilevamento dei punti chiave delle

parti del corpo degli individui

vantaggio delle tecniche basate sulle immagini: ogni immagine contiene molte informazioni rilevanti sia per il

comportamento che per la posizione degli animali studiati

FASE 6: rilevamento caratteristiche del

paesaggio

il software SfM (utilizzato nella fase 4) genera diverse forme di dati che possono essere utilizzati direttamente o essere

ulteriormente elaborati per estrarre altre informazioni:

• caratteristiche del paesaggio locale

• topografia

• classificazione dei tipi di habitat

• possibilità di stimare i campi visivi degli animali seguiti 16