Progetto - Video Error Concealment

Andrea Brunelli - Video Error Concealment Mat. 157384

Video  Error  Concealment    

Stato  dell’arte  sul  video  error  concealment  nel  contesto  della  trasmissione  video  su  IP  con  perdita  

1. Introduzione  

I  recen'  avanzamen'  tecnologici  hanno  reso  possibile  la  ripresa  e  la  riproduzione  di  materiale  video  in  

risoluzione  ultralight  defini'on  (UHD).  Al  momento  le  connessioni  internet  e  i  network  di  broadcas'ng  non  

hanno  sufficiente  capacità  di  trasmeCere  un  gran  numero  di  contenu'  in  alta  definizione.  Queste  limitazioni  

hanno  immediatamente  messo  al  lavoro  diverse  organizzazioni  internazionali  come  MPEG  e  VCEG  per  

stabilire  una  “Joint  Collabora've  Team  on  Video  Coding”  (JCT-­‐VC)  con  l’obieQvo  di  sviluppare  un  nuovo  

standard  di  video  coding  con  che  abbia  performance  migliori  di  quelle  già  realizzate.  Le  valutazioni  che  

seguiranno  mostrano  come  alcuni  progeQ  possano  raggiungere  le  stesse  qualità  d’immagine  di  H.264/

MPEG-­‐4  advance  video  coding  (AVC)  con  solo  la  metà  della  bit  rate  e  di  un  costo  da  2  a  10  volte  

l’incremento  della  complessità  computazionale.  Da  allora,  JCT-­‐VC  ha  puntato  il  suo  lavoro  nello  sviluppo  di  

un  nuovo  standard  di  compressione  conosciuto  come  “high  efficiency  video  coding”  (HEVC),  che  ha  come  

obieQvo  quello  di  incrementare  significa'vamente  l’efficienza  di  compressione  in  relazione  al  profilo  già  

esistente  di  H.264/AVC.    

     2.  Analisi  di  trasmissione  video  su  canale  con  perdita  

In  questa  sezione  si  discuterà  della  trasmissione  video  con  un  sistema  come  quello  rappresentato  in  figura,  il  

quale  introduce  i  più  importan'  parametri  di  modello.      

Come  si  può  vedere,  il  sistema  consiste  in  tre  par':  il  codificatore  video,  il  decodificatore  video  e  l’error  

control  channel,  il  quale  è  definito  come  la  combinazione  del  codificatore  e  decodificatore  di  canale.  In  

questo  caso  ci  focalizziamo  sul  “foward  error  correc'on”  (FEC)  che  può  essere  combinato  con  l’interleaving  

(per   Interleaving  si  indica  una  tecnica  di  elaborazione  di  un  segnale  digitale  u'lizzata  nelle  trasmissioni  

digitali  per  disporre  i  da'  in  maniera  non  con'gua  al  fine  di  migliorare  le  prestazioni  in  termini  di  rilevazione  

e  correzione  di  errori  in  ricezione  nel  caso  di  errori  mul'pli  a  paccheCo  cioè  consecu'vi.  Esso  è  un  processo  

che  dispone  in  maniera  apparentemente  disordinata  un  certo  numero  di  oggeQ  ordina')  per  ridurre  gli  

effeQ  di  tuQ  gli  errori  deriva'  dalla  trasmissione.  

E’  interessante  discutere  dell’interazione  e  dello  scambio  che  influenza  la  distorsione  generale  D =  D +  D :  

d   e v  

questa  viene  determinata  sommando  la  distorsione  di  codifica  D alla  distorsione  di  decodifica  D  TuCavia,  

.

e V

è  giusto  dire  che  questa  formula  combina  due  'pi  di  distorsione  che  sono  solitamente  percepite  come   1

Andrea Brunelli - Video Error Concealment Mat. 157384

differen'.  La  distorsione  D  è  causata  dalla  compressione  di  segnale  e  consiste  nel  blocking  ar'facts,  

e

mosquito  noise,  ringing,  blurring,  ecc.  ecc.  .  La  distorsione  introdoCa  dagli  errori  di  trasmissione  D  consiste  

v

nella  distruzione  dei  contenu'  dell’immagine  che  possono  essere  grandi  e  non  comuni.  Test  soggeQvi  sono  

sta'  necessari  per  determinare  come  D  e  D sono  combina'  e  quindi  dare  la  miglior  approssimazione  

e   v    

possibile  di  qualità  soggeQva.  Ques'  test  hanno  mostrato  che  la  distorsione  causata  dagli  errori  di  

trasmissione  D  è  più  fas'diosa  di  quella  causata  dalla  codifica  video  D .  

v   e  

i  considera  la  variazione  del  code  rate,  si  nota  che  una  alta  percentuale  di  INTRA  macroblocks  codifica'  

Se  s

aiuta  a  ridurre  a  ridurre  la  propagazione  di  errori  tra  gli  interframe  (:  nessuna  elaborazione  viene  eseguita  al  

di  fuori  dell'immagine  o  del  frame  corrente)  e  si  nota  che,  per  un  una  bit-­‐rate  di  un  canale  R ,  il  code  rate  

c  

controlla  l’allocazione  dei  bit  tra  la  sorgente  e  il  canale  di  codifica.  Questo  ha  due  effeQ  sulla  qualità  

dell’immagine  del  segnale  video  sul  decoder  di  output:  primo,  una  riduzione  della  code  rate  riduce  la  bit  

rate  disponibile  per  la  codifica  video  e  questo  aumenta  la  distorsione  al  codificatore  a  prescindere  dagli  

errori  in  trasmissione.  L’aCuale  aumento  di  D  è  determinato  dalla  funzione  operazionale  DR  (Distor'on-­‐

e

Rate)  del  codificatore  video.  Secondo,  l’errore  rate  residuo  è  ridoCo  quando  si  riduce  la  code  rate,  

determinata  dalle  proprietà  dell’error  control  channel  a  seconda  della  error  rate  residua  (P ).  Quindi,  una  

L

riduzione  della  P  porta  una  riduzione  di  D .  

L V

Ora  consideriamo  una  variazione  dell’INTRA  rate  e  si  può  notare  che  gli  INTRA  macroblocks  codifica'  non  

dipendono  dal  frame  precedente,  e  quindi  la  propagazione  dell’errore  può  essere  ridoCa  aumentando  il  

numero  degli  INTRA  macroblocks  codifica',  così  da  ridurre  D .  TuCavia,  INTRA  coding  riduce  anche  

V

l’efficienza  in  relazione  alla  mo'on  compensated  predic'on.  Comunque  sia,  un  aumento  della  INTRA  rate  è  

vantaggiosa  per  ridurre  la  distorsione  generale  e  questo  è  par'colarmente  vero  quando  si  parla  

dell’oQmizzazione  della  code  rate  e  della  INTRA  rate.  

Per  la  valutazione  del  sistema  video,  è  necessario  mediare  la  distorsione  sull’intera  sequenza  in  modo  da  

considerare  una  singola  figura  da  valutare.  Il  PSNR  (Peak-­‐to-­‐Signal  Noise  Ra'o)  è  una  misura  comune  nella  

comunità  del  video  coding,  la  media  PSNR  è  spesso  u'lizzata  come  primo  processo  di  PSNR  per  ogni  frame  e  

solo  successivamente  viene  faCa  una  media  globale.    

Analisi  del  Video  Codec

Nel  lato  di  codificatore  video,  la  mo'on  compensated  predic'on  comporta  un  significa'vo  aumento  

nell’efficienza  di  codifica,  introducendo  anche  un  calo  dell’interframe  error  propaga'on  nel  caso  ci  sia  una  

trasmissione  di  errori.  TuCavia,  nel  lato  di  decodifica  video,  ques'  errori  tendono  ad  essere  elimina'  molto  

lentamente,  e  perciò  possiamo  definirli  molto  fas'diosi.  Per  oQmizzare  le  performance  generali  del  sistema  

di  trasmissione  video  in  un  ambiente  rumoroso,  è  essenziale  considerare  gli  effeQ  della  propagazione  degli  

errori.  E’  importante  sapere  che  due  'pi  di  errori  possono  contribuire  alla  distorsione  generale  nel  sistema  

di  codifica:  primo,  l’errore  causato  dalla  compressione  del  segnale  D ;  secondo,  gli  errori  causa'  dal  resto  

e

delle  condizioni  dello  scenario  che  non  possono  essere  correQ  dal  decodificatore  di  canale.

u2

Possiamo  assumere  che,  in  media,  la  stessa  varianza  di  errore  σ  sia  introdoCa  ad  ogni  frame.  Ovviamente,  

u2

il  parametro  σ  è  direCamente  in  relazione  con  l’error  rate  residua  P ,  da  quando  l’incremento  del  numero  

L

di  paccheQ  persi  produrrà  un  aumento  della  della  varianza  di  errori  introdoQ.  La  relazione  è  lineare  solo  

per  error  rate  residue  basse.  Dal  momento  in  cui  una  qualità  di  immagine  ragionevole  è  molto  difficile  da  

oCenere  ad  alte  error  rates,  anche  da  quando  avanzate  tecniche  di  correzione  degli  errori  sono  state  

introdoCe,  la  suddeCa  relazione  lineare  è  sufficiente  per  la  maggior  parte  delle  condizioni.  Si  può  notare  

u2  

che  σ può  essere  traCata  come  un  valore  costante  se  non  dipende  da  altri  parametri  di  trasmissione.    

Gli  errori  introdoQ  a  questo  punto  si  propagano  nel  tempo  a  causa  della  struCura  ricorsiva  del  

decodificatore.  Ques'  errori  di  propagazione  in  funzione  del  tempo  sono  'pici  per  codifiche  video  ibride  

che  fanno  affidamento  sulla  mo'on  compensed  predic'on  dell’interframe  mode.  E’  molto  importante   2

Andrea Brunelli - Video Error Concealment Mat. 157384

considerare  gli  effeQ  per  il  design  di  tuCo  il  sistema  da  quando  questo  ha  un’influenza  significa'va  sulla  

u2

sensibilità  del  decodificatore  riguardo  gli  errori  residui.  Per  esempio,  anche  per  un  basso  valore  di  σ  

potrebbe  risultare  inacceCabile  la  qualità  dell’immagine  se  gli  errori  si  sono  accumula'  nel  loop  del  

decodificatore  senza  essere  sta'  aCenua'  in  qualche  modo.  

Il  leakage   (perdita)  γ  descrive  l’efficienza  del  loop  filter  nella  sua  capacità  di  rimuovere  gli  errori.  Il  suo  

valore  dipende  sulla  forza  del  loop  filtering  come  anche  dalla  dimensione  e  della  potenza  della  densità  

speCrale  dell’errore  introdoCo.  Il  leakage  solitamente  diminuisce  quanto  più  il  spa'al  filtering  (filtro  che  

esegue  una  operazione  di  “clean”)  è  applicato  nel  prediCore  o  quando  l’introduzione  di  errori  include  

frequenze  ad  ampio  speCro  che  possono  essere  facilmente  rimosse  con  un  loop  filter.  Il  range  di  valore  del  

'pico  valore  è  0  <  γ  <  1.  

Error  Control  Channel

L’affidabilità  di  una  trasmissione  può  essere  migliorata  tramite  la  Forward  Error  Correc'on