Laboratorio di Multimedialità - teoria

Laboratorio di multimedialità 2018 programma

• Image processing - sistema visivo umano
• Spatial filtering
• Filtri di smoothing
• Filtri di sharpening
• Combinazioni dei due
• Transform filtering
• Fourier
• Smoothing
• Sharpening
• Frequencies in images PDF
• Transformata wavelet
• Multi risoluzione
• Codifica sottobande
• Transformata di Haar
• Compressione di immagini
• Ridondanza
• Codifica lossless
• Codifica lossy
• JPEG
• JPEG 2000
• Matlab
• Visione stereoscopica 3D
• Definizione
• Percezione di profondità
• Sistemi di riproduzione 3D
• TV 3D
• Creazione anaglifi e anteprima confronto anaglifo-ottimatore
• Video digitale
• Campionamento
• Frame rate
• Progressivo e interlacciato
• Risoluzione
• Rappresentazione del colore
• Compressione video
• Vettori di movimento
• Errori di predizione
• Ricostruire frame precedenti
• MPEG
• H. 26x

EXTRA

• Interfacce naturali
• Kinect TESINA
• Leap
• Hololens
• HTC Vive

Sistema Visivo Umano

Utile da conoscere per poter comprendere come effettuare una compressione ottimale senza incidere sulla percezione.

Si riconoscono 3 parti fondamentali:

• Cornea: insieme alla sclera costituiscono una copertura trasparente nella esterna all'occhio (davanti e dietro)
• Coroide: corpo ciliare ciuarnalo tensione iride diaframma - controlla la forma lenti collaborano nel gestire e filtrare la quantità di luce che può penetrare nell'occhio dall'esterno.
• Retina: coni [colori] bastoncelli [b&w] [proteina visione] Si occupa di inviare al cervello l’immagine che vi si proietta, decodificandola
• Fovea: 8M di cellule e alta risoluzione nella percezione del colore nella luce diurna.

Retina:

120M di celle, bassa risoluzione per il rilevamento di movimenti, e sensibilità a colore e movimento.

• Pervenca: Rods: bastoncelli, visione acromatica fanno un punto cieco
• Centro: Cones: coni per visione cromatica, visione fotopica in luce diurna
  • lunghm = ρ
  • medi = G υ onde
  • conti = B β

Cosa accade quando si vede un'immagine

1. La luce entra attraverso la lente [# lunghezze d'onda = # colori]
2. Colpisce la retina nel retro dell'occhio, dove i pigmenti attivano celle connessioni neurali sulla corteccia visiva

Nota: La luce al punto 2 è quella che riflette e porta con sé le informazioni sul colore che va percepito. Grazie a questo, il cervello individua il colore da decodificare.

• ✔ Reflection
• ✘ Illuminanza

HISTOGRAM PROCESSING: un istogramma è una funzione discreta che graficà la distribuzione dei livelli di grigio nell'immagine nel range [0, L-1]

Sull’asse y viene indicata la quantità di pixel che contene quel livello di grigio (indicato sull’asse x)

immagine 4x4 G.S.= [0,6]

FUNZIONE

h̄(r_k) = n_k con

* r_k = k-esimo livello di grigio

* n_k = pixel con grigio r_k

→ istogramma ^normalizzato h(r_k)⇒p(r_k):= n_k

dividendo ogni valore dell'istogramma per n (numero dei pixel totali), si ottiene una stima della probabilità di occorenza del livello di grigio r_k utile per la compressione, statistica, e segmentazione.

nota: se l'istogramma è ben distribuito sull'asse x, l'immagine apparirà con un buon contrasto e con ampio range di grigi.

HISTOGRAM EQUALIZATION: trasformazione che rende piatto l'istogramma con percentuali a livelli quasi uniformi.

va progettata una trasformazione T(*) che distribuisca i valori nel range [0, L-1] uniformemente.

P_in(r), P_out(s) densità di probabilità in input e output di grigi

Anche se T(r) sono noti e soddisfano che 0 ≤ r < 1 con T⁻¹(s)=r

P_out(s):=[P_in(r) ^dr/ds] ^r=T⁻¹(s)

ne segue che l'output avrà distribuzione uniforme indipendentemente dall'input e ciò è equivalente ad un aumento del range dinamico di grigi.

Filtraggio nel Dominio Trasformato

Si passa ora nel dominio trasformato delle frequenze.

Diversi tipi di trasformate usano diversi kernel di trasformazione.

Trasformata di Fourier 2D:

• Il valore all'origine del dominio in frequenza è chiamato componente DC e rappresenta la ponderata della media dei valori di intensità.
• Che viene di solito apposto al centro. (Trasformata centrata).
• In quel punto è contenuta la maggioranza delle info di un'immagine.

Nota: È scomponibile in 2 parti da 1D!

• Righe 1D
• Colonne 1D

• L'origine contiene info sul medio livello di grigio.
• Frequenze basse indicano componenti a lenta variazione.
• Frequenze alte indicano bordi/cambiamenti veloci/rumore.

Filtri Basilari

• Notch Filter: utile se il valore medio di grigio va azzerato forzatamente vale a tranne nella regione centrale. H(u,v) è una funzione costante con un buco al centro.
• Passa Basso: attenua le alte frequenze generando un effetto di sfocatura globale contenuta.
  • Ideal: tagliano le frequenze a distanza > D_dallorigine.
• Filtri Passa Basso Butterworth: ha un parametro n che indica la velocità con cui vengono tagliate le frequenze.
  • Non vi sono discontinuità.
• Filtri Gaussiani: forma facilmente specificabile, nel dominio reale.
  • Passa Basso: segue il comportamento di un Butterworth ma con la forma a campana che garantisca non creare artefatti evidenti.
• Passa Alto: esalta le alte frequenze applicando un graduale controllo di esaltazione dei dettagli.
  • Ideale: passano le frequenze > D_o
  • Butterworth: caso inverso al passa basso.
• Filtro Laplaciano: risultato analogico al caso spaziale.

La scelta del dominio usato è data in base a ciò che va fatto.

CODIFICHE

Le loro performance vanno introdotte due concetti utili a calcolare la quantità di informazione della sorgente.

INFORMAZIONE

• L’info di un evento è maggiore se la sua probabilità è minore

x_i messaggio da X con p(x_i).

log y_b x = log₂ (P(x)_i)

• se è log in base 2: bit
• se è log naturale: nats

ENTROPIA

H(x) = -∑_i=1 f(x_i) log p(x_i)

misura l’informazione che ci si aspetta e l'incertezza media.

SHANNON non si può comprimere con un codice rate minore dell’entropia di Shannon del sistema per non perdere informazione.

Comprimendo si necessita di un criterio di fedeltà che possono essere soggettivi o oggettivi poiché la rimozione di dati ridondanti comporta una perdita di informazioni visive.

• Criterio oggettivo: il livello di informazioni perse è una funzione di f (x, y) originale e la sua approssimazione f̂(x, y). e=f(x, y)-f̂(x, y)
• Criterio soggettivo: metodi di comparazione visiva tra f e f̂.

MODELLO DI COMPRESSIONE

Encoder:

• Mapper: ridurre la ridondanza interpixel
• Quantizz.: ridurre la ridondanza psicovisiva
• Symbol Encoder: ridurre la ridondanza nella codifica

Canale trasmissione

• Decoder
• Mappatura inverse: f̂(x, y)

LOSSLESS

Errore pari a zero basata su ridondanza di codifica e di interpixel.

LOSSY

Usata in ambiti in cui un errore contenuto può essere tollerato sfrutta le ridondanze di codifica e interpixel ma anche quella psicovisiva.