Appunti di Calcolo Parallelo e Distribuito

Calcolo parallelo e distribuito

Esame

• Prova scritta (scrittura codice parallelo)
• Prova orale

Risolvere problemi tramite il calcolo parallelo

• Quali sono i problemi?
• Con quale approccio vanno risolti?
• Come vanno risolti?

Supercalcolo

Risolvere problemi con un supercomputer.

Sistema che fornisce le prestazioni più elevate.

Tempo di risoluzione di una particolare applicazione.

Come facciamo ciò? Come lo definiamo?

Rmax benchmark per risolvere Ax=b

• 1980: 1 anno
• 1992: 4 ore
• 1997: 2 ore
• 2000: 10 min
• 2021: 10 sec

Lo stesso calcolo, svolto sui due calcolatori più veloci del rispettivo anno, presenta tempi di risoluzione nettamente diversi.

Calcolo parallelo e distribuito

Esame

• Prova scritta (scrittura codice parallelo)
• Prova orale

Risolvere problemi tramite il calcolo parallelo

Quali sono i problemi? Con quale approccio vanno risolti?

Come vanno risolti?

Supercomputing

Supercomputing ➔ Risolvere problemi con un supercomputer.

Supercomputer ➔ Supercalcolatore.

Come facciamo ciò? Come lo definiamo?

Rmax = Benchmark per risolvere A_x = b

• 1930: 1 anno
• 1992: 4 ore
• 1997: 2 ore
• 2000: 10 min
• 2021: 10 sec

Lo stesso calcolo, svolto sui due calcolatori più veloci del rispettivo anno, presenta tempi di risoluzione nettamente diversi.

Benchmark e HPC

Benchmark.

Equazioni lineari.

Sistema denso di equazioni lineari.

HPC = High Performance Computing.

La potenza dei sistemi HPC di una nazione è uno dei parametri per valutarne lo sviluppo tecnologico.

È necessario usare un supercomputer?

Ad oggi non esiste più la macchina di Von Neumann (calcolatore sequenziale).

Sì ma no.

Dipende dal caso d'uso.

Supercomputer vs PC

Supercomputer

• + Velocità
• + Affidabilità
• + Sicurezza
• - Gestione
• - Prezzo elevato

PC

• + Economico
• + Facile gestione

Quando può essere necessario l'utilizzo di macchine HPC?

La ricerca web permette di ridurre al minimo il tempo di interrogazione del server.

I primi sistemi HPC

I primi sistemi HPC furono a scopo bellico.

Anticipazione del lancio di missili in America da parte dell’Iran.

Applicazioni comuni

Meteo Uniparthemlde.

Un super computer sfrutta un algoritmo HPC per effettuare previsioni dei prossimi 2 giorni.

Per eseguire le 2 * 10¹² operazioni (FLOP) un laptop 4-core ci impiegherebbe 24 giorni.

Una previsione deve essere fornita al più in 30 min.

2 * 10¹² = 1.8 * 10³ sec.

1 * 10¹⁴ flops/s => 900 TFlops/s (Tera FLOPS).

Aumentare le prestazioni

• Risolvere problemi in real time/just in time
• Risolvere problemi di larga scala/grandi dimensioni

Si applicano agli algoritmi di intelligenza artificiale.

Tempo richiesto per l’esecuzione di un software = K ⋅ T(n) - µ₀ ⎜⎜||L→ tempo di esecuzione di una singola operazione F.P.

F.P. = Floating Point.

T(n) => dipende dall’algoritmo.

K = complessità di tempo in relazione ai dati di input (n. di operazioni).

Fattore di proporzionalità invariabile.

Miniaturizzazione

Miniaturizzazione.

Migliorare la tecnologia => ridurre µ.

Ridurre lo spazio fisico tra CPU e memoria.

Il processo di miniaturizzazione ha dei limiti fisici (attualmente invalicabili, problemi di raffreddamento, di packing, etc.).

L'altro metodo di miglioramento delle performance è l'ottimizzazione degli algoritmi (riorganizzazione dell'algoritmo) → migliorare complessità di tempo → matematica numerica.

Alcuni algoritmi hanno complessità minima.

Es. algoritmo di Strassen (moltiplicazione di 2 matrici) └ n*²n ⇒ T(n) = n³ ⇒ T(n) =n^log₂7.

Limite teorico → esiste un algoritmo con complessità minima per qualsiasi problema (algoritmo ottimale). C'è un minimo numero (teorico) di operazioni eseguibili.

Calcolo parallelo

Calcolo parallelo: preso un problema P lo si suddivide in sottoproblemi elaborati da più unità processanti.

→ Come sviluppare H/W parallelo?

Come gestirlo, tramite S/W?

Come lavorare i dati, tramite algoritmi che lavorino in parallelo.

L'aumento delle unità processanti non sempre mi