Cosa sono gli acceleratori AMD Instinct AI?

Non c'è dubbio che NVIDIA continui a dominare lo spazio del calcolo parallelo con la sua popolare e diversificata serie di schede grafiche. Ma con gli acceleratori Instinct AI di AMD che alimentano due dei suoi ultimi e più grandi supercomputer (Frontier ed El Capitan) e il crescente supporto della comunità per la piattaforma ROCm open source, NVIDIA potrebbe aver trovato il suo più grande concorrente.

Quindi cosa sono esattamente gli acceleratori AI di AMD Instinct? Cosa lo rende potente e come si confronta con le GPU Tensor di NVIDIA? Verificare Qual è la differenza tra una scheda madre AMD e un processore Intel?

Cos'è l'AMD Instinct?

Le GPU AMD Instinct sono hardware aziendale utilizzato per il calcolo ad alte prestazioni (HPC) e l'elaborazione accelerata dall'intelligenza artificiale. A differenza delle normali GPU di livello consumer, le GPU Instinct sono dedicate a una migliore gestione dell'apprendimento AI, dell'elaborazione di big data e di altre attività ad alte prestazioni attraverso innovazioni software e hardware.

La serie Instinct di AMD è stata utilizzata per alimentare il primo supercomputer a superare la barriera di elaborazione Exascale, funzionando a 1.1 EFLOP in operazioni a doppia precisione al secondo. I supercomputer contenenti GPU Instinct sono attualmente utilizzati per ricercare terapie contro il cancro, energia sostenibile e cambiamento climatico.

Il calcolo ad alte prestazioni (HPC) è diventato una parte essenziale del nostro mondo moderno che esegue simulazioni e calcoli complessi necessari per la ricerca scientifica, l'ingegneria, la sicurezza e altri campi. Tuttavia, con l'aumento della domanda di HPC, spesso nei supercomputer e nei grandi data center, sono aumentate anche le preoccupazioni per il suo impatto ambientale. Negli ultimi anni, c'è stata una maggiore attenzione alla sostenibilità dei data center date le implicazioni per il costo totale di proprietà e le preoccupazioni climatiche.

In che modo le GPU Instinct accelerano l'intelligenza e le tecnologie di calcolo ad alte prestazioni

Affinché i server principali e i supercomputer più potenti del mondo raggiungessero l'elaborazione a livello di Exascale, gli acceleratori AMD Instinct dovevano essere dotati di molti miglioramenti e innovazioni tecnologiche.

Parliamo di alcune delle tecnologie nuove e aggiornate utilizzate nelle GPU AMD Instinct.

1. Architettura tecnologica (CDNA)

I moderni acceleratori AMD Instinct (a partire dall'MI100) hanno utilizzato l'architettura CDNA dell'azienda.

CDNA si concentra principalmente su funzionalità come l'elaborazione parallela, la gerarchia della memoria e il miglioramento delle prestazioni computazionali attraverso la sua tecnologia Matrix Core. Anche l'HPC e l'intelligenza artificiale o l'apprendimento automatico in esecuzione su singoli server possono essere supportati da CDNA, così come dai supercomputer Exascale.

La tecnologia AMD Matrix Core accelera l'apprendimento dell'IA supportando operazioni a precisione mista. La capacità di calcolare a diverse risoluzioni consente alle GPU Instinct di calcolare in modo efficiente le operazioni della matrice in base al livello di precisione desiderato.

I formati di risoluzione di calcolo più popolari includono FP64, FP32, FP16, BF16 e INT8. FP sta per Floating Point, BF sta per Brain Floating Point e INT sta per Integer. Maggiore è il numero corrispondente al formato, maggiore è la precisione del calcolo. Il funzionamento a 64 bit è noto come doppia precisione. Con 32 bit è a precisione singola, con 16 bit è a mezza precisione e così via.

Poiché gran parte dell'addestramento dei modelli di deep learning non richiede molta precisione, avere la capacità di calcolare operazioni di matrice con la metà o addirittura un quarto dell'accuratezza dell'inferenza riduce notevolmente il carico di lavoro, accelerando così l'apprendimento dell'IA. Verificare La mia intelligenza artificiale da Snapchat o ChatGPT: quale dovresti usare?

2. Memoria ad alta larghezza di banda (HBM)

Ogni acceleratore AMD Instinct viene fornito con un massimo di 880 Matrix Core. Con i processori Matrix Core di AMD in grado di eseguire 383 TFLOP di calcoli in mezzo minuto, la memoria ultraveloce è essenziale. L'ultima offerta Instinct di AMD viene fornita con High Bandwidth Memory (HBM) invece della solita RAM DDR4 o DDR5.

A differenza delle memorie tradizionali, HBM utilizza la cosiddetta architettura tridimensionale a stack. Questo tipo di architettura si riferisce a un approccio progettuale in cui i moduli DRAM sono impilati verticalmente uno sopra l'altro. Ciò consente di impilare i moduli sia sull'asse verticale che su quello orizzontale, da cui il termine "stacking tridimensionale".

Utilizzando questa tecnologia di impilamento 5D, HBM può avere capacità di memoria fisica fino a qualche centinaio di gigabyte per modulo, mentre DRRXNUMX può arrivare solo a decine di gigabyte per modulo. Oltre alla capacità, la HBM è nota anche per le sue prestazioni più elevate in termini di velocità di trasferimento e per la migliore efficienza energetica rispetto alla normale memoria DDR.

3. Tessuto infinito

Un'altra innovazione integrata nelle GPU Instinct è la tecnologia Infinity Fabric di AMD. Infinity Fabric è un tipo di sistema di threading che collega CPU e GPU in modo dinamico e intelligente. Ciò consente ai componenti di comunicare in modo efficiente tra loro.

Con Infinity Fabric, invece di collegare i componenti a un normale bus, i componenti sono ora collegati in una configurazione simile a una rete in cui la larghezza di banda può raggiungere diverse centinaia di gigabyte al secondo.

Oltre all'interconnessione simile a una rete, Infinity Fabric utilizza anche sensori incorporati in ciascun modello per controllare dinamicamente la frequenza, le velocità di trasferimento dei dati e altri comportamenti adattivi, migliorando le prestazioni e riducendo la latenza.

4. Piattaforma di sviluppo ROCM

CUDA (Unified Computing Machine Architecture) di NVIDIA è la piattaforma di sviluppo più utilizzata per l'addestramento dei modelli di intelligenza artificiale. Il problema con CUDA è che funziona solo con le GPU NVIDIA. Questo è uno dei motivi principali per cui NVIDIA detiene la stragrande maggioranza delle quote di mercato degli acceleratori HPC e AI.

Con AMD che desiderava una porzione più ampia del mercato HPC e AI, ha dovuto sviluppare la propria piattaforma, ROCm (Radeon Open Compute). ROCm è una piattaforma software open source che consente di utilizzare le GPU Instinct come acceleratori AI.

Sebbene non faccia necessariamente parte dell'hardware Instinct, ROCm è fondamentale quando si tratta della sopravvivenza della linea di GPU Instinct. Con ROCm, sviluppatori e ricercatori ottengono gli strumenti ROCm, il compilatore, i driver del kernel, un set completo di librerie e l'accesso a framework come TensorFlow e PyTorch per sviluppare con il loro linguaggio di programmazione AI preferito.

Come si confrontano gli acceleratori AI di AMD Instinct con le loro controparti Radeon?

AMD offre la sua gamma Instinct di GPU aziendali e GPU Radeon per il consumatore mainstream. Come discusso in precedenza, il processore Instinct utilizza l'architettura CDNA di AMD, HBM e Infinity Fabric per l'interconnessione. Al contrario, i processori Radeon utilizzano l'architettura RDNA di AMD, la memoria DDR6 e Infinity Cache.

Sebbene le serie Radeon siano acceleratori AI meno capaci, contengono comunque uno o due core di accelerazione AI per unità di calcolo. L'ultima GPU Radeon RX7900 XT ha due core di accelerazione AI per unità di calcolo, consentendo 103 TFLOP di metà della risoluzione massima e 52 TFLOP di precisione a picco singolo.

Mentre la serie di GPU Instinct è più adatta per LLM e HPC, gli acceleratori Radeon AI possono essere utilizzati per l'ottimizzazione del modello pre-addestrato, l'inferenza e le attività ad alta intensità grafica.

Confronto tra AMD Instinct e NVIDIA Tensor

Secondo un sondaggio TrendForce Nvida detiene circa l'80% della quota di mercato per le GPU server, mentre AMD ha solo il restante 20%. Questo travolgente successo di NVIDIA è dovuto al fatto che si tratta di un'azienda specializzata nella progettazione e nell'assemblaggio di unità di elaborazione grafica. Ciò consente loro di creare GPU con prestazioni migliori rispetto ad altre offerte.

Confrontiamo l'Instinct MI205X di AMD e l'H100SXM5 di NVIDIA utilizzando le specifiche di Sito ufficiale di AMDe scheda tecnica NVIDIA Suo:

Come si può vedere nella tabella, l'MI250X di AMD ha prestazioni migliori nei calcoli a doppia e mezza precisione, mentre l'H100SXMS di NVIDIA è molto migliore nei calcoli con matrice a mezza e un quarto di precisione. Ciò rende l'MI250X di AMD più adatto per HPC mentre l'H100SXMS di NVIDIA con apprendimento e ragionamento AI. Verificare Confronto tra schede grafiche AMD e NVIDIA su Linux: quale utilizzare?

Il futuro dei processori AMD Instinct

Sebbene l'ultima offerta di AMD, l'MI250X, sia progettata per HPC, l'imminente MI300 è più orientato all'addestramento AI. Questo acceleratore AI è dichiarato essere un'APU, che combina GPU e CPU in un unico pacchetto. Ciò consente alla GPU MI300 di utilizzare l'architettura APU di memoria unificata CNDA3, in cui la GPU e la CPU utilizzeranno solo una memoria, aumentando l'efficienza e abbassando il prezzo.

Sebbene AMD oggi non competerà con NVIDIA nel mercato degli acceleratori AI, una volta che MI300 verrà lanciato e ROCm migliorerà, la serie Instinct di AMD potrebbe essere abbastanza buona da strappare una parte significativa del mercato degli acceleratori AI a NVIDIA. Puoi visualizzare ora Qual è la differenza tra Nvidia GTX e Nvidia RTX?