In Breve
- Cos'è Jalapeño di OpenAI?
- Jalapeño è un chip progettato da OpenAI per ottimizzare le prestazioni nell'inferenza.
- Quali sono i vantaggi di Jalapeño?
- Offre un maggior numero di token per utente e una maggiore throughput per kilowatt rispetto ai processori attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la conferenza Hot Chips, OpenAI ha svelato il suo nuovo chip, Jalapeño, progettato per ottimizzare le prestazioni nell’inferenza. I primi risultati di benchmark, realizzati da Semianalysis, indicano che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI ha sviluppato Jalapeño in collaborazione con Broadcom, integrando i propri modelli nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, coordinando chip, memoria e modelli per migliorare ulteriormente le prestazioni.
L’architettura di Jalapeño è stata studiata per ridurre i colli di bottiglia che si verificano durante le fasi di prefill e comunicazione, minimizzando il movimento dei dati e i ritardi di comunicazione. Come dichiarato nel comunicato aziendale, “Abbiamo progettato Jalapeño per ridurre al minimo il movimento dei dati e i ritardi di comunicazione”. Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha commentato: “I risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire più lavoro di intelligenza artificiale per unità di potenza, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, mantenendo bassi i tempi di latenza”.
OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questa innovazione rappresenta un passo importante verso l’ottimizzazione delle tecnologie di intelligenza artificiale, promettendo di rivoluzionare il modo in cui vengono gestite le operazioni di inferenza.
redazione
Redazione Diarioeconomico.