Riassunto esame Cinema e tecnologia, prof. Uva, libro consigliato dispense a cura del docente

Visual effects

Introduzione

I film e i cartoni animati erano realizzati in modo completamente differente, ed era facile distinguere i due linguaggi. Oggi la situazione è cambiata. La softwarizzazione dell'intero flusso produttivo delle immagini in movimento ha creato un bacino comune di tecniche impiegate indistintamente per video, film e animazione. Tecniche prima specifiche di ciascun medium sono accorpate in un unico ambiente software.

Punto di vista industriale

Dal punto di vista industriale, non solo il termine "animazione" continua a esistere, ma indica anche un settore di grande successo. Oggi più che mai si producono cortometraggi e serie in 2D e 3D; il settore dell'animazione offre allettanti possibilità di carriera; gli anime e i cartoni animati giapponesi sono sempre più popolari; e la Cina sta costruendo intere città intorno a giganteschi mega-studi per l'animazione e il rendering.

Indubbiamente, l'estetica di molti film d'animazione in 2D si basa ancora sul linguaggio visivo dell'animazione del ventesimo secolo. Anche i cortometraggi "ibridi" (come quelli in motion graphics, ma non solo) presentano sequenze o strati che richiamano l'animazione tradizionale del ventesimo secolo.

Tutto ciò mostra tuttavia soltanto il ruolo giocato dall'animazione. L'altro ruolo come "cassetta degli attrezzi" utilizzabile su qualsiasi immagine, inclusi film e video. In questo senso non come mezzo espressivo, ma come un insieme di tecniche multiuso che confluiscono nel bacino di opzioni disponibili al designer/regista. L'animazione è confluita nel medium computazionale.

Universale Capture

Il metodo computer graphics, per combinare riprese dal vivo e computer grafica, fu usato per la prima volta dallo studio ESC Entertainment nei film Matrix: Reloaded e Matrix Revolutions. Nel combinare riprese dal vivo e computer grafica, si producono ibridi molto peculiari.

Sviluppo asimmetrico

Ci sono buone ragioni per ritenere che le immagini in futuro saranno ancora fotografiche. La fotografia ha mostrato di essere un linguaggio straordinariamente resistente. Una ragione è la grande flessibilità: le fotografie si prestano facilmente a essere mixate con altre forme, come disegni, immagini 2D e 3D, diagrammi, testo.

In natura, nella società e nella cultura, il cambiamento avviene in diversi modi. Uno di essi è dall'interno: l'"infrastruttura" (o "base", ossia i modi di produzione) cambia prima della "sovrastruttura" (ossia l'ideologia e la cultura). Il concetto di asimmetrico può essere utile per comprendere i cambiamenti nella cultura visiva contemporanea. A partire dalla metà degli anni Cinquanta, la computerizzazione della fotografia ha cambiato completamente la struttura interna dell'immagine fotografica. Eppure il suo aspetto, la "pelle", della fotografia, è rimasta quasi la stessa.

Matrix

Il film della serie Matrix fornisce in questo senso una miniera di esempi. La trilogia allegoria costruzione del suo stesso universo visuale. I film raccontano della Matrice; le immagini della Matrice che vediamo nel film sono costruite via software, ad hoc.

Perfetta simmetria tra noi spettatori e gli abitanti della Matrice. La trilogia può essere anche interpretata come una visione profetica di come saranno i videogiochi nel futuro. La chiave dell'universo visuale di Matrix sono le nuove tecniche della computer graphics sviluppate nelle università e negli studi di effetti speciali da Paul Devebec, Gearge Borshukov e John Gaeta, per citare solo alcuni nomi. Insieme, queste tecniche rappresentano una pietra miliare nella storia degli effetti speciali realizzati al computer. Portano alle logiche conseguenze gli sviluppi degli anni Novanta, come il motion capture, allo stesso tempo spalancano nuovi scenari.

Simulare o campionare?

Non tutti gli effetti speciali di Matrix si basano sull’Universal Capture. Alcune tecniche erano già state impiegate in precedenza, come nel caso di Tiger Woods 2007 della Electronic Arts. L’Universal Capture fu sviluppato da John Gaeta, direttore degli effetti speciali di Matrix: Reloaded e Matrix: Revolutions, e Gaeta è tra i pochi ad aver attuato una profonda riflessione sui nuovi metodi che ha inventato.

• Da un lato, ne ha discusso il ruolo come nuovi paradigmi per il cinema e l’entertainment;
• Dall’altro, ha elaborato molti concetti e terminologie estremamente utili.

Nel 1964 fu pubblicata la descrizione di un algoritmo in grado di costruire immagini in prospettiva lineare. Nel linguaggio attuale lo si definirebbe wireframe. In un decennio si svilupparono nuovi algoritmi per lo shading, ossia la creazione di immagini ombreggiate: tecniche note come Gourad e Phong shading, dal nome dei rispettivi autori. Tra gli anni ’70 e ’80 la grafica computerizzata subisce una rapida accelerazione. Tecniche fondamentali apparvero a breve distanza l’una dall’altra: la trasparenza, l’image mapping, il bump texturing, l’ombreggiatura, i sistemi di particelle, il ray tracing, la composizione, il calcolo della radianza e così via.

Alla fine di questo periodo divenne possibile sintetizzare immagini di quasi ogni soggetto. “Quasi” perché la creazione di animazioni fotorealistiche del volto umano rimaneva un obiettivo arduo, una delle ragioni dello sviluppo del Total Capture.

• Tutta la ricerca si basava sul postulato che per sintetizzare un’immagine della realtà fosse necessario simulare i processi fisici coinvolti nella creazione dell’immagine stessa. Tuttavia, la simulazione perfettamente accurata avrebbe implicato settimane di calcolo per ogni singola immagine. Cercarono di inventare scorciatoie per creare immagini sufficientemente realistiche con una quantità limitata di calcoli;
• Secondo postulato che la realtà dovesse essere ricreata passo dopo passo, partendo da una tela bianca. Stiamo cercando di simulare visivamente un universo già esistente, cioè la realtà fisica. Gli sviluppatori delle tecniche della computer grafica tridimensionale hanno ben presto capito che, oltre ad approssimare la fisica, era possibile prendere un’ulteriore scorciatoia. Intuirono che, invece di creare ogni volta una cosa da zero per via algoritmica, si poteva campionarla dalla realtà e incorporare questi campionamenti.

Pensiamo al texture mapping e al bump mapping sviluppati negli anni ‘70.

• Texture mapping consente di applicare a un modello 3D un’immagine bidimensionale digitalizzata. È una tecnica molto efficace per aggiungere la ricchezza visiva della realtà a una scena visuale;
• Bump texturing in questo caso l’immagine bidimensionale è utilizzata per aumentare la complessità geometrica del modello. L’algoritmo tratta l’immagine 2D come una mappa delle profondità, ossia interpreta il valore di ogni pixel come l’altezza relativa della superficie. I pixel chiari dell’immagine bidimensionale diventano, nel modello 3D, punti leggermente sporgenti, mentre i pixel scuri diventano punti leggermente rientranti. Risultato: risparmio di tempo nella creazione di un dettaglio importante della realtà.

Sul campionamento della realtà si basano numerose altre tecniche, ampiamente utilizzate nella computer graphics; eppure, molti di coloro che lavorano nell’ambito della computer graphics le hanno sempre considerate una forma di “inganno”. Perché?

• Il paradigma concettuale della fotorealistica privilegiava la simulazione per via puramente algoritmica;
• Le tecniche basate sul campionamento della realtà apparivano come soluzioni temporanee;
• Inoltre, i campionamenti della realtà raramente si adattavano perfettamente alle immagini algoritmiche e obbligavano a estenuanti ritocchi manuali.

Si riteneva che il modo corretto per creare rappresentazioni fotorealistiche della realtà fosse simularne i processi fisici con la maggior precisione possibile. Aggiungere campionamenti della realtà a una scena era considerato un trucco, una scorciatoia.

Costruire la Matrice

L’incorporazione di immagini sintetiche fotorealistiche in un film nuovo problema: non solo ogni immagine simulata deve possedere una coerenza interna, ma deve anche armonizzarsi con la fotografia del film. Cioè l’universo simulato e l’universo “dal vivo” devono essere perfettamente congruenti.

La ricerca scientifica sull’immagine sintetica e la commistione tra cinema e immagini generate al computer hanno viaggiato su binari separati per lungo tempo. Dopo essere apparsa per la prima volta al cinema nel 1980, la computer graphics è stata impiegata nel decennio successivo come elemento secondario in molti film. La situazione iniziò a cambiare negli anni ’90 con:

• Abyss;
• Terminator 2;
• Jurassic Park.

I protagonisti, generati al computer, apparivano in dozzine o centinaia di inquadrature e in molte di queste i personaggi digitali interagivano con ambienti e attori ripresi dal vivo. L’allineamento di elementi provenienti da diverse fonti sono la principale sfida del realismo digitale. L’intuizione di Gaeta è stata che il modo migliore per allineare l’universo “dal vivo” e quello sintetico era costruire un unico, nuovo universo.

L’Universal Capture smonta sistematicamente la realtà fisica per poi ri-assemblare via software gli elementi in una nuova rappresentazione sintetica. Il risultato è un nuovo tipo di immagine che, pur richiamando la fotografia per aspetto e livello di dettaglio, presenta una struttura interna del tutto nuova. L’Universal Capture è creato e raffinato in tre anni (2000-3). Linee generali di questa tecnica:

• Si registra la performance di un attore utilizzando simultaneamente cinque cineprese ad alta risoluzione;
• In seguito si tracciano i movimenti di ogni pixel di ciascun fotogramma. Questi dati sono combinati con un modello tridimensionale del volto dell’attore, ottenuto con uno scanner tridimensionale. Risultato: modello tridimensionale animato che ricrea la geometria della testa dell’attore durante la performance. Questo viene integrato con le informazioni sui colori e una mappa di dettagli, creata a partire da un’ulteriore scansione ad altissima risoluzione del volto dell’attore (esempio di ibrido);
• Una volta che tutti i dati sono stati estrapolati, allineati e combinati, il risultato è ciò che Gaeta chiama “umano virtuale”: un’accurata ricostruzione tridimensionale della performance, con tutti i vantaggi che comporta il formato digitale.

I personaggi della scena Burly Brawl in Matrix, sono stati creati combinando le teste degli attori protagonisti, generate con l’Universal Capture, su corpi sintetici, costruiti attraverso il motion capture di altri attori.

Il nome del processo – Total Capture – appare quanto mai appropriato: si catturano tutte le possibili informazioni da un oggetto o una scena utilizzando tutti i metodi disponibili con le attuali tecnologie. Questo processo è molto diverso dagli altri due metodi tradizionali. L’Universal Capture non usa né l’animazione per fotogrammi-chiave, né la simulazione fisica. Il procedimento campiona direttamente la realtà, compresi i colori, le superfici e i movimento di animazione tridimensionali, confluiscono in una libreria da cui i registi possono attingere per costruire una scena.

Invece di catturare segmenti di realtà su video per poi unirli insieme, il metodo Geate produce micro-mondi indipendenti, ricreazioni virtuali complete di fenomeni che possono essere poi ulteriormente modificati e inseriti in più ampi spazi tridimensionali.

L’animazione come idea

Oggi l’animazione è utilizzata dalla cultura delle immagini in movimento in moltissimi modi. Dunque, dove inizia e dove finisce l’animazione? Quando vediamo un film della Disney o della Pixar, o molti dei cortometraggi realizzati con la computer grafica, ci sembra chiaro che siamo davanti a dell’“animazione”. Gli oggetti possono essere creati in molti modi e i fotogrammi intermedi disegnati dall’uomo o dal software, ma la logica di fondo non cambia: il movimento è definito manualmente. L’essenza dell’animazione novecentesca risiede probabilmente nel movimento via fotogrammi-chiave, usato dalla Disney nell’animazione a celle. Anche animatori sperimentali come Norman Mclare, che insistono a disegnare a mano ogni fotogramma, aderiscono alla stessa logica. Ciascun artista ha sfruttato a suo modo questa caratteristica, facendone un’estetica personale.

Esistono però altri modi di animare immagini e oggetti. Pensiamo alla computer grafica. Con la modellazione fisica l’animatore può impostare in un certo numero di fotogrammi i parametri di una forza fisica simulata. Oppure può far sì che il modello fisico controlli il rimbalzo di una palla che tocca il pavimento. Nel caso di sistemi particellari, l’animatore deve solo definire le condizioni iniziali.

A differenza del cinema dal vivo, questi metodi sintetici non catturano il movimento fisico reale. Dobbiamo quindi considerarli “animazione”? A prima vista risponderemmo negativamente. Ma le cose non son così semplici. In un certo senso, l’animatore agisce come un regista: ripete il ciak all’infinito, fino al raggiungimento di un risultato soddisfacente. Solo che non dirige attori, ma un modello computerizzato.

Alla fine degli anni ’80, durante il convegno del SIGGRAPH, James Blinn paragonò la differenza tra fotogrammi-chiave e modellazione fisica a quella di pittura e fotografia.

• Un animatore che crea manualmente il movimento con i fotogrammi-chiave sarebbe come un pittore che dipinge la realtà: la somiglianza tra il soggetto e la rappresentazione dipenderà dall’abilità dell’artista, dalla sua immaginazione e dalle sue intenzioni;
• Invece un animatore che utilizza la modellazione fisica sarebbe come un fotografo che cattura il mondo così com’è: le tecniche matematiche possono creare una simulazione realistica del movimento e un animatore deve solo catturare ciò che la simulazione crea.

L’analogia di Blinn è utile, ma non totalmente accurata. Anche il fotografo tradizionale (ossia pre-Photoshop) di Blinn deve definire la composizione, il contrasto, la profondità di campo e molti altri parametri della sua immagine. Allo stesso modo, un animatore alle prese con la modellazione fisica deve controllare altrettanti parametri e sarà solo grazie alla sua abilità e alla sua perseveranza se il modello produrrà un risultato soddisfacente.

La modellazione fisica è in realtà un ibrido tra l’animazione e la simulazione computerizzata. L’animatore lavora con i parametri di un modello matematico che di fatto “disegna” il movimento.

Sebbene l’Universal Capture eviti di dover disegnare a mano i singoli movimenti, la sua logica è ancora quella dell’animazione e non quella del cinema. Il regista crea una scena scegliendo singole performance degli attori, montandole. La scena è dunque costruita a mano. Il regista “disegna” a un livello più alto, manipolando sequenze e non fotogrammi.

Per creare le scene definitive, l’Universal Capture viene combinato con la Virtual Cinematography, che regola le luci, le posizioni e i movimenti della cinepresa virtuale. Anziché creare manualmente modelli e ambienti tridimensionali, si utilizzano i dati del mondo fisico per creare repliche virtuali esatte.

In ultima analisi, il metodo di produzione utilizzato dallo studio ESC in Matrix è un esempio “puro” di ibridazione, e più specificatamente di “assemblaggio profondo”. Con il suo complesso mix di tecniche e formati mediali, esso è un esempio paradigmatico della cultura visuale contemporanea. Quando le tecniche prese da diverse tradizioni mediali sono combinate in un ambiente software, il risultato non è una somma di componenti separate, ma una varietà di metodi ibridi, come l’Universal Capture. Total Capture e Virtual Cinematography mostrano perfettamente come, nelle industrie creative, interi flussi produttivi siano oggi basati sull’ibridazione.

Questa natura ibrida è molto chiara allo stesso Gaeta, che dichiara: «se dovessi definire il Virtual Cinema, direi che è qualcosa a metà tra un film dal vivo e un film animato in 3D. È generato al computer, ma si basa su persone, posti e cose reali». Insieme all’Universal Capture, si trovano “a metà” anche la maggior parte delle immagini in movimento create oggi.

Universal Capture: la realtà ri-assemblata

L’Universal Capture combina il meglio di due mondi:

• La cattura della realtà con obiettivi ottici;
• La computer grafica tridimensionale.

La ricreazione accurata della ricchezza visiva del mondo è un lavoro estremamente dispendioso. Al contrario, catturare la realtà attraverso un obiettivo ottico è molto economico: basta puntare la cinepresa e premere un tasto. Lo svantaggio delle riprese ottiche è che mancano della flessibilità richiesta dall’attuale cultura del remix. La cultura del remix non richiede infatti singoli oggetti estetici, o singole registrazioni della realtà, ma unità più piccole: parti che possono essere fac...