NVIDIA GB300 NVL72 e GPT-6 Astra Ultrafast: fino a 50x token per watt

Perché se ne parla#

NVIDIA annuncia che il sistema GB300 NVL72, basato sulla GPU Blackwell Ultra, offre fino a 50x di throughput per megawatt rispetto alla piattaforma Hopper, con un costo per token fino a 35x inferiore. Il dato deriva da analisi di SemiAnalysis InferenceX citate dall'azienda. Nello stesso periodo OpenAI presenta GPT-6 Astra Ultrafast, eseguito su GPU Blackwell: entrambi gli annunci riguardano la velocità e il costo dell'inferenza, cioè l'esecuzione dei modelli.

Il tema conta per chi usa l'AI al lavoro perché agenti e assistenti di coding richiedono bassa latenza, per restare reattivi tra un passaggio e l'altro, e contesti lunghi, per ragionare su interi progetti software. Secondo il report State of Inference di OpenRouter, citato da NVIDIA, le richieste legate alla programmazione sono passate dall'11% a circa il 50% nell'ultimo anno. Con questi volumi, il costo per token incide direttamente sul budget.

OpenAI dichiara che Astra Ultrafast genera token fino a 8x più velocemente rispetto alla modalità Astra Standard. Il modello è disponibile nell'API OpenAI e per gli utenti idonei di ChatGPT Work e Codex. Si tratta di dichiarazioni dei produttori, presentate come tali. Per i dettagli sul modello, leggete l'approfondimento su GPT-6 Astra.

GB300 NVL72: fino a 50x con carichi a bassa latenza#

Secondo NVIDIA, GB300 NVL72 raggiunge fino a 50x di throughput per megawatt e 35x di costo per token in meno rispetto alla piattaforma Hopper, con i dati di dati InferenceX come riferimento. I valori più alti riguardano i carichi a bassa latenza tipici degli agenti, dove ogni millisecondo pesa nei flussi multi-step.

NVIDIA cita anche Signal65, che per GB200 NVL72 indica oltre 10x di token per watt. Nella scheda tecnica di GB300 NVL72, l'azienda dichiara 10x di TPS per utente e 5x di TPS per MW rispetto a Hopper, in un test su DeepSeek-R1. Sono prestazioni previste e soggette a modifica.

Costo per token: fino a 35x in meno#

Il confronto nel grafico NVIDIA#

Il grafico mostra il costo per milione di token di DeepSeekR1 (1k/1k) in funzione dell'interattività, misurata in token al secondo per utente. Confronta la curva H200 FP8 con quella di GB300 NVL72 in formato NVFP4.

Secondo NVIDIA, GB300 NVL72 con lo stack software Dynamo e TensorRT-LLM offre 35x di costo per token in meno rispetto a Hopper. Si tratta di una dichiarazione del produttore, basata sul grafico ufficiale, che non riporta i valori intermedi delle curve.

Contesto lungo e infrastruttura per agenti#

Contesto lungo: il vantaggio di GB300 NVL72#

Con DeepSeek-R1, 128.000 token di input e 8.000 di output, NVIDIA dichiara che GB300 NVL72 offre fino a 1,5x di costo per token inferiore rispetto a GB200 NVL72. Il divario emerge soprattutto nei carichi a contesto lungo, come gli assistenti di coding che ragionano su interi repository (fonte).

Secondo la spiegazione di NVIDIA, il motivo sta in 1,5x di prestazioni di calcolo NVFP4 e in 2x di velocità nell'elaborazione dell'attenzione. Man mano che l'agente legge più codice, il contesto cresce e richiede molto più calcolo: questi due fattori servono proprio a gestirlo.

Chi lo usa per l'agentic coding#

Microsoft, CoreWeave e OCI stanno distribuendo GB300 NVL72 per casi a bassa latenza e contesto lungo, come l'agentic coding e gli assistenti di programmazione. Chen Goldberg, senior vice president of engineering di CoreWeave, sostiene che, con l'inferenza al centro della produzione AI, contano sempre di più le prestazioni su contesto lungo e l'efficienza dei token, e che il cloud di CoreWeave punta a trasformare i guadagni di GB300 in prestazioni e costi prevedibili.

Uno sguardo a Vera Rubin NVL72#

NVIDIA dichiara che la piattaforma Vera Rubin NVL72 offre fino a 10x di throughput per megawatt rispetto a Blackwell nell'inferenza MoE, con un costo per milione di token pari a un decimo. Si tratta di un dato del produttore, non verificato in modo indipendente in questa sezione.

I numeri di testa#

I primi due valori sono confronti che NVIDIA attribuisce ai dati SemiAnalysis InferenceX e riguardano la piattaforma Hopper: sono risultati dichiarati dal produttore, non misure indipendenti sui vostri carichi di lavoro. L'8x sulla velocità di generazione è invece una dichiarazione di OpenAI e misura Ultrafast rispetto alla modalità Standard. Il dato sulle 72 GPU per dominio NVLink è una specifica tecnica della scheda della GB300 NVL72, verificabile nel datasheet, e non un risultato di prestazione. Tenere separate queste fonti aiuta a capire cosa misura ciascun numero.

GPT-6 Astra Ultrafast su Blackwell#

Cosa cambia con Ultrafast#

Secondo OpenAI, GPT-6 Astra Ultrafast gira su GPU NVIDIA Blackwell ed è disponibile nell'API e per gli utenti idonei di ChatGPT Work e Codex. Rispetto alla modalità Astra Standard, la generazione dei token è fino a 8x più veloce.

Per chi sviluppa, la velocità conta soprattutto nei cicli ripetuti: l'agente scrive codice, usa uno strumento, verifica il risultato e sceglie il passo successivo. Risposte più rapide riducono l'attesa a ogni passaggio.

Le dichiarazioni di OpenAI#

Philippe Tillet, inference lead di OpenAI, afferma che la documentazione e gli strumenti NVIDIA hanno aiutato i modelli a programmare bene le GPU Blackwell e Rubin, e che Astra trasforma questa competenza in kernel ad alte prestazioni. Uday Ruddarraju, chief technology officer of compute di OpenAI, dichiara che l'azienda ha usato modelli interni per ottimizzare l'inferenza sulle GPU NVIDIA.

Piccolo glossario#

• Token: piccole unità di testo che il modello produce una alla volta.

• Inferenza: l'uso di un modello già addestrato per generare risposte.

• Kernel: programma che esegue un calcolo direttamente sulla GPU.

• Blackwell: architettura di GPU NVIDIA su cui funziona Ultrafast.

Per dettagli sulla piattaforma, consultate la pagina NVIDIA.

Ultrafast nell'API: cosa cambia per chi sviluppa#

Come si attiva Ultrafast#

Ultrafast è la fascia più veloce dell'API di OpenAI, disponibile per gpt-6-astra e gpt-6.1-sol. Il parametro service_tier va impostato su ultrafast in ogni richiesta, quindi non si attiva una volta per tutte. Per agenti che concatenano molte chiamate di strumenti, la documentazione raccomanda i WebSocket, una connessione persistente che riduce il sovraccarico di rete tra una richiesta e l'altra. Chi preferisce l'HTTP può usarlo comunque, come illustra la guida.

Limiti di utilizzo e residenza dei dati#

Ultrafast ha limiti separati da quelli delle modalità Standard e Fast. Per GPT-6.1 Sol i limiti di default vanno da 1.000.000 TPM nel livello Build a 40.000.000 nel livello Grow; per GPT-6 Astra vanno da 500.000 a 5.000.000. Sol supporta la residenza dei dati negli Stati Uniti e nell'UE, Astra solo negli Stati Uniti.

Limiti di default Ultrafast per GPT-6.1 Sol Fonte: NVIDIA.

Limiti di default Ultrafast per GPT-6 Astra Fonte: NVIDIA.

• TPM: token al minuto, il numero di token che il limite consente di elaborare in un minuto.

• Tier di utilizzo: il livello dell'organizzazione da cui dipendono i limiti applicati.

• WebSocket: connessione che resta aperta tra il vostro programma e il server, per più richieste di seguito.

• service_tier: il parametro della richiesta che indica la fascia di servizio scelta.

Architettura Blackwell: i numeri di base#

Blackwell è l'architettura con cui NVIDIA costruisce i chip per i data center dell'AI. Le GPU Blackwell contengono 208 miliardi di transistor, i minuscoli interruttori che eseguono i calcoli, e sono prodotte con un processo costruito su misura da TSMC, chiamato 4NP. Ogni GPU unisce due die, cioè due blocchi di silicio, collegati a 10 TB/s, e funziona come un'unica GPU. Approfondite l'architettura nella scheda di NVIDIA.

Guarda il videoSi apre da YouTube: i suoi cookie partono solo dopo il clic.

• Die: il blocco di silicio su cui sono incisi i circuiti del chip.

• NVLink Switch: il componente che collega le GPU; in un dominio NVL72 da 72 GPU offre 130 TB/s di banda.

• Microscaling: una tecnica che regola in modo fine la scala dei numeri, così da mantenere precisione usando formati più compatti.

• FP4: un formato numerico a 4 bit che, secondo NVIDIA, raddoppia le dimensioni dei modelli che la memoria può ospitare.

• Attenzione: il meccanismo centrale dei modelli linguistici, che Blackwell Ultra accelera 2x rispetto a Blackwell.

• Calcolo confidenziale: protegge dati e modelli con sicurezza hardware; secondo NVIDIA, le prestazioni sono quasi identiche a quelle in modalità non cifrata.

Tutti questi valori sono dichiarazioni di NVIDIA, riportate così come pubblicate dal produttore.

Prezzi Ultrafast e confronto con le altre modalità#

Prezzi Ultrafast per 1M di token#

La pagina prezzi di OpenAI elenca Ultrafast accanto a Standard e Fast, con tariffe per milione di token (i prezzi). Per GPT-6 Astra l'input costa 60 $ e l'output 300 $; per GPT-6.1 Sol 12 $ di input e 60 $ di output. Con contesto lungo l'input sale a 120 $ per Astra e a 24 $ per Sol.

Il sovrapprezzo regionale del 10% vale per gli endpoint di residenza dei dati. Esempio: 300 $ × 2 = 600 $ di output per 2 milioni di token Astra Ultrafast; con il sovrapprezzo, 600 $ × 1,10 = 660 $.

Tariffe complete nelle tabelle#

Tariffe Standard per 1M di token, contesto breve e lungo: da qui si leggono i valori Standard di GPT-6 Astra e GPT-6.1 Sol. Fonte: NVIDIA.

Tariffe Batch per 1M di token, breve e lungo contesto: per Astra e Sol i valori coincidono con la tabella Flex. Fonte: NVIDIA.

Tariffe Flex per 1M di token, breve e lungo contesto, con gli stessi valori della tabella Batch. Fonte: NVIDIA.

WebSocket: meno attesa tra uno strumento e l'altro#

L'API Responses di OpenAI offre una modalità WebSocket, pensata per flussi lunghi con molte chiamate a strumenti esterni. Invece di inviare una nuova richiesta a ogni passaggio, la connessione resta aperta e ogni turno trasmette solo i nuovi input, indicando la risposta precedente con previous_response_id. Il dettaglio è nella documentazione WebSocket Mode.

Secondo OpenAI, per flussi con 20+ chiamate a strumenti l'esecuzione end-to-end può risultare fino a circa il 40% più veloce. Si tratta di una dichiarazione del produttore, non di un benchmark indipendente.

Con stream_id, una sola connessione gestisce più conversazioni in parallelo e può far ripartire una conversazione esistente su un nuovo flusso. La modalità è compatibile con Zero Data Retention (ZDR) e con store=false.

Glossario essenziale#

• WebSocket: canale di comunicazione che resta aperto e permette lo scambio continuo di messaggi tra il vostro software e il server.

• previous_response_id: identificativo della risposta precedente, da cui la conversazione prosegue.

• stream_id: etichetta che distingue più conversazioni parallele sulla stessa connessione.

• Zero Data Retention (ZDR): modalità in cui il fornitore non conserva i dati delle richieste.

• store=false: parametro che chiede di non salvare la risposta sul server.

GB300 NVL72: scheda tecnica#

Cosa racchiude il sistema#

Il GB300 NVL72 è un sistema rack-scale a raffreddamento liquido che integra 72 GPU NVIDIA Blackwell Ultra e 36 CPU NVIDIA Grace in un'unica piattaforma. Secondo il produttore, rispetto alle GPU Blackwell offre 1,5x di FLOPS FP4 Tensor Core densi e 2x di accelerazione del livello attention. Le specifiche complete sono nella pagina NVIDIA.

Specifiche tecniche del GB300 NVL72 riportate dalla pagina NVIDIA Fonte: NVIDIA.

Dichiarazioni del produttore#

NVIDIA dichiara fino a 50x di aumento della produttività complessiva di un'AI factory rispetto a piattaforme Hopper. Il dato si basa su un test con DeepSeek-R1, con 32K token in ingresso e 8K in uscita, e le performance sono indicate come proiettate e soggette a modifiche. Le specifiche Tensor Core includono la sparsità, salvo diversa indicazione: la voce FP4 riporta 1440 PFLOPS con sparsità e 1080 PFLOPS senza.

Disponibilità e prezzi#

La pagina indica il sistema come disponibile ora. La fonte non riporta prezzi: per l'acquisto il riferimento è il contatto con le vendite NVIDIA.

Come leggere questi numeri#

Chi ha misurato cosa#

I valori 50x e 35x derivano dai dati SemiAnalysis InferenceX, che NVIDIA cita nel proprio comunicato. L'analisi di Signal65 riguarda invece GB200 NVL72 e parla di oltre 10x di token per watt. La scheda prodotto di NVIDIA attribuisce il 50x a DeepSeek-R1 con 32K di input e 8K di output, confrontando GB300 NVL72 con H100 in FP8, e avverte che le prestazioni sono proiettate e soggette a modifiche.

Cosa non dicono#

Ogni cifra vale solo per il proprio scenario. Le fonti citano carichi diversi, da 1k/1k a 32k/8k fino a 128k/8k, e un confronto su input lunghi non vale automaticamente per i vostri casi. Il costo per token dipende da ipotesi su prezzi e utilizzo che le fonti non descrivono, quindi il rapporto di costo non si trasferisce al vostro caso senza una verifica.

Questo articolo è stato scritto con l'aiuto dell'intelligenza artificiale.

Riquadro di cautela: cosa non sappiamo ancora#

Cosa significa per un'azienda#

1. Stabilite se la latenza conta. Secondo NVIDIA, Ultrafast genera token fino a 8 volte più velocemente di Standard: conviene dove la velocità giustifica il costo.

2. Verificate i limiti TPM prima di aumentare il traffico. Ultrafast ha limiti separati: per GPT-6 Astra il livello Build prevede 500.000 TPM, Launch 1.000.000, Grow 5.000.000.

3. Confrontate i costi su un caso reale. Per GPT-6 Astra l'input costa $60 per milione di token in Ultrafast contro $10 in Standard; l'output $300 contro $50.

4. Con agenti che fanno molte chiamate a strumenti, usate WebSocket. OpenAI segnala circa il 40% di esecuzione più rapida oltre 20 chiamate, compatibile con ZDR e store=false.

5. Controllate la residenza dei dati: GPT-6.1 Sol supporta US ed EU, GPT-6 Astra solo US.

6. Misurate la latenza sui vostri carichi prima di scalare, perché i dati citati sono dichiarazioni dei produttori.

Domande frequenti#

Come è stato calcolato il voto#

Il voto della valutazione è la media di questi criteri, ciascuno motivato con un fatto delle fonti ufficiali.