In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip sviluppato da OpenAI per migliorare le prestazioni nell'inferenza AI.
- Quali sono i vantaggi di Jalapeño?
- Offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai chip attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la recente conferenza Hot Chips, OpenAI ha presentato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni nell’inferenza AI. I risultati preliminari dei benchmark condotti su InferenceX di Semianalysis hanno rivelato che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI ha sviluppato Jalapeño in collaborazione con Broadcom, integrando i propri modelli nel processo di progettazione. Questo chip è concepito per essere multigenerazionale, coordinando chip, memoria e modelli in modo efficiente. L’architettura di Jalapeño è stata studiata per ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante l’inferenza. Come dichiarato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays.”
Un aspetto innovativo di Jalapeño è la gestione dello stato del modello, compresa la KV cache utilizzata durante la generazione delle risposte. Questo stato può essere allocato e mantenuto localmente, consentendo al sistema di attivare la combinazione ottimale di calcolo, memoria e rete per ogni fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati ottenuti: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo sviluppo rappresenta un passo importante verso l’ottimizzazione delle tecnologie AI, promettendo di migliorare l’efficienza e la velocità dei servizi offerti.