Google ha presentato due nuove configurazioni dei suoi acceleratori TPU: la 8tx, incentrata sull’inferenza confidenziale, e la 8i Max, pensata per i carichi di lavoro che richiedono più memoria e capacità di calcolo. Non si tratta di una nuova generazione di silicio: entrambe si basano su processori esistenti e ampliano l’ottava generazione, che ora riunisce quattro sistemi in un anno per la prima volta.
La mossa punta a un obiettivo più ampio che aggiungere modelli al catalogo. Google cerca di trasformare i suoi chip, concepiti inizialmente per i propri servizi, in una piattaforma che le aziende esterne possano acquistare e utilizzare. La competizione con Nvidia si gioca così su due fronti: offrire configurazioni adatte a carichi specifici e ridurre le barriere software che possono trattenere i team nell’ecosistema delle GPU.
Quattro sistemi per le diverse fasi dell’IA
Secondo Google, la famiglia si articola in quattro ambiti d’uso: la TPU 8t per l’addestramento su larga scala; la 8i per il ragionamento a bassa latenza; la 8tx per l’elaborazione confidenziale; e la 8i Max per finestre di contesto ampie e una maggiore densità di calcolo per rack. L’azienda descrive le ultime due come nuove configurazioni della generazione presentata in precedenza, non come nuovi chip progettati da zero.
flowchart TD A["TPU 8t: entrenamiento"] B["TPU 8i: razonamiento"] C["TPU 8tx: inferencia confidencial"] D["TPU 8i Max: contexto amplio"]
Questa precisazione è importante per comprendere la strategia tecnica. Google distingue l’evoluzione del processore dalla configurazione del sistema che lo circonda: packaging, memoria, rete e sicurezza. Amin Vahdat, vicepresidente senior e responsabile tecnologico di IA e infrastruttura di Google, spiega che l’azienda ha progettato le proprie TPU come blocchi modulari per adeguare questi componenti più rapidamente di quanto richieda la produzione di una nuova generazione di silicio.
“With computing moving from human to agent scale, businesses are asking for accelerators that can reason across AI models’ massive context windows.”
— Amin Vahdat, SVP and Chief Technologist, AI and Infrastructure
Google sostiene che questo approccio consente di offrire sistemi specializzati nel giro di mesi, invece di aspettare anni per un nuovo chip. La 8t e la 8i coprivano già l’addestramento e il ragionamento; secondo l’azienda, le nuove varianti rispondono alle richieste dei clienti riguardo ai dati sensibili e ai contesti di dimensioni maggiori.
La 8tx protegge i dati durante l’elaborazione
La TPU 8tx si rivolge agli enti pubblici e alle aziende dei settori regolamentati che vogliono eseguire modelli e agenti su informazioni sensibili. Il problema che affronta è concreto: i dati sono solitamente cifrati quando vengono archiviati o viaggiano su una rete, ma per elaborarli il sistema deve poterli utilizzare. Google afferma che con la 8tx i dati e i pesi del modello restano protetti e isolati anche durante l’utilizzo attivo.
La configurazione si basa sullo stesso silicio della TPU 8t e, secondo Google, si abbina a processori host AMD EPYC di quinta generazione. Integra inoltre sicurezza a livello hardware e la rete a bassa latenza Boardfly, che l’azienda aveva sviluppato per il ragionamento in tempo reale. Google attribuisce alla 8tx una riduzione della latenza fino a due volte superiore rispetto alla 8t, con una penalizzazione delle prestazioni «quasi nulla».
La combinazione è pensata per eseguire più attività senza trasferire dati privati tra cluster diversi. Google cita il fine-tuning dei modelli con dati proprietari, la distillazione di modelli grandi in altri più piccoli e l’addestramento di agenti tramite apprendimento per rinforzo. Reuters descrive inoltre la 8tx come un’alternativa per aziende regolamentate ed enti pubblici che devono mantenere protette le informazioni durante l’elaborazione.
La funzione non si inserisce in un contesto privo di concorrenza: The Decoder segnala che Nvidia offre già una funzionalità comparabile per le proprie GPU tramite la sua architettura di calcolo confidenziale. Perciò, la proposta di Google non consiste soltanto nell’aggiungere la cifratura, ma nell’abbinare questa protezione al proprio acceleratore, alla rete a bassa latenza e alle attività di addestramento e inferenza in un unico sistema.
La 8i Max cerca di superare il limite della memoria
La TPU 8i Max affronta un altro vincolo. Quando più agenti lavorano su repository di codice estesi o grandi quantità di video, l’accesso alla memoria può rallentare l’elaborazione. Google combina due chip TPU 8i in un unico package per aumentare le risorse disponibili senza cambiare il formato del rack.
L’azienda afferma che la 8i Max raddoppia la capacità di calcolo, la memoria SRAM e la larghezza di banda della memoria HBM della 8i. Sostiene inoltre che nella stessa area del rack trova posto il doppio del silicio, aumentando così la capacità di calcolo per superficie. Secondo Reuters, la proposta è rivolta ad applicazioni che devono consultare molte informazioni in una singola interazione, come gli assistenti di programmazione, il ragionamento matematico e la scoperta di farmaci.
Il compromesso è chiaro: invece di presentare un’architettura completamente nuova, Google concentra più risorse nello stesso formato fisico. La sua utilità dipenderà dalla capacità dei carichi di lavoro di sfruttare l’aumento di memoria e larghezza di banda; l’azienda presenta questa configurazione come una risposta ai contesti ampi e ai lavori che si bloccano quando i dati non raggiungono il processore abbastanza rapidamente.
Il software determinerà il costo della migrazione
Per i team di sviluppo, l’hardware da solo non risolve i costi legati all’adozione di una piattaforma diversa. Google affianca alle TPU strumenti per integrarle più facilmente nei flussi di lavoro esistenti. L’azienda ha reso TorchTPU open source e afferma che consente di eseguire codice PyTorch e modelli Hugging Face sui suoi acceleratori senza riscriverli. Cita inoltre la compatibilità con i motori di inferenza vLLM e SGLang.
Google aggiunge una suite di agenti TPU, ancora in anteprima, che si integra con strumenti di programmazione come Claude Code, Cursor e Google Antigravity per facilitare l’integrazione dei carichi di lavoro, la diagnosi dei colli di bottiglia e l’ottimizzazione dei kernel. Per la produzione, presenta XLA Serving Engine come una soluzione per addestrare modelli in Python e servirli tramite un ambiente C++ a bassa latenza su TPU, GPU e CPU. Sono strumenti pensati per ridurre il lavoro di adattamento; la loro disponibilità, da sola, non dimostra che tutte le applicazioni PyTorch funzioneranno senza modifiche.
L’azienda si concentra anche su problemi specifici dei carichi di lavoro basati su agenti. Il suo Agent Compute Engine sospende e riprende le sessioni inattive mentre attendono una query a un database, uno strumento esterno o una risposta umana. TPU Sync, che Google sta rendendo open source, organizza la memoria degli acceleratori, la memoria host, l’archiviazione condivisa e la rete in una gerarchia. Google afferma che può spostare le cache KV fuori dal chip e ridurre di oltre il 90% la latenza di trasferimento della cache e il tempo al primo token negli scenari descritti.
L’azienda annuncia inoltre Cloud Pathways, già disponibile in Google Kubernetes Engine, per orchestrare sistemi TPU distribuiti da un unico controller. GKE dynamic slicing, anch’esso disponibile a livello generale, consente di riorganizzare le topologie TPU; Google gli attribuisce una riduzione fino a cinque volte dei tempi di avvio dei processi e un ripristino dai guasti fino a 4,5 volte più rapido. Sono dati e risultati comunicati da Google, non un confronto indipendente con le piattaforme concorrenti.
La pressione competitiva si sposta verso l’inferenza
La strategia rivolta ai clienti esterni segna un cambiamento per una tecnologia che Google aveva usato soprattutto nei propri prodotti, come Search, YouTube e Gemini. L’azienda afferma di avere quasi 100 clienti TPU esterni, tra cui laboratori di frontiera, società di trading, rivenditori e università. Reuters riferisce che le vendite di TPU hanno contribuito in modo significativo ai risultati del trimestre di settembre e indica ricavi di Google Cloud pari a 30.710 milioni di dollari, più del doppio.
Il contesto commerciale favorisce un’offerta più ampia: con la diffusione dei modelli, le aziende hanno bisogno di eseguire inferenze quotidianamente, oltre che di addestrare modelli. Google cerca di soddisfare questa domanda con sistemi specializzati e servizi cloud, mentre anche Microsoft, Amazon, OpenAI e Anthropic stanno lavorando a propri acceleratori, secondo The Decoder e TechCrunch.
Nvidia mantiene una posizione dominante nel mercato dei chip per l’IA e sta rafforzando anche la propria offerta per l’inferenza; The Decoder cita il suo accordo di acquisizione di talenti e licenze con Groq. Google, quindi, non compete soltanto con un componente di silicio. La sfida è rendere le configurazioni specializzate, la sicurezza, la disponibilità e gli strumenti di sviluppo un pacchetto interessante per i clienti che oggi possono scegliere le GPU o rivolgersi ad altri fornitori.
Resta da capire quanta parte di questa proposta si tradurrà in carichi di produzione al di fuori di Google. L’azienda comunica già clienti, strumenti e risultati sulle prestazioni, ma le nuove varianti ampliano una piattaforma la cui crescita esterna dipenderà dalla possibilità per le organizzazioni di migrare i propri modelli e mantenerli operativi rispettando i requisiti di memoria, latenza e riservatezza.
Fonti: The Decoder, Reuters (via Euronext), Google, TechCrunch
