liberlume-content-v3 lang: it title: Costo energetico di un modello linguistico summary: Da dove viene davvero il costo energetico di un modello linguistico quando risponde btc-anchor: 957159,0000000000000000000088f211f8fa52b0353e897ee2415983b142bb63b556f6 prev: sha256:0777cf6220dccfbc6ea22938b52b1073633c4ccb903fa2ec0b58d35068f74ef6 --- body --- ### Da dove viene davvero il costo energetico di un modello linguistico ## Un conto che sembra piccolo Quando poniamo una domanda ad un assistente come ChatGPT, Gemini, Claude, quanta energia consumiamo? Le stime più recenti e meglio documentate dicono: **intorno a un quarto di wattora** per un prompt testuale tipico. A tal proposito, Google ha pubblicato 0,24 Wh per il prompt mediano di Gemini; stime indipendenti su ChatGPT danno ~0,3 Wh. È *poco*: l'equivalente di tenere accesa una TV per meno di dieci secondi. E allora perché se ne parla tanto? Per due motivi. Il primo è la **scala**: quei pochi wattora, moltiplicati per miliardi di richieste al giorno, diventano un consumo che, secondo l'Agenzia Internazionale dell'Energia, porterà i data center a raddoppiare la loro fame di elettricità entro il 2030. Il secondo motivo, forse più interessante, è il tema di queste riflessioni: **cercare di capire dove è contenuta (o meglio, dove si incanala), fisicamente, quell'energia.** La risposta a quest'ultima domanda forse smentisce l'intuizione più naturale. L'intuizione sbagliata è questa: "il modello *pensa*, cioè fa una valanga di calcoli, e calcolare costa energia". Vero, ma in parte. Per capire dove finisce davvero ogni Joule conviene fare un percorso, seguendo l'energia dal contatore della corrente fino alla singola parolina che il modello produce. Prima di partire, una precisazione sul perimetro: le cifre appena viste e tutto il percorso riguardano il costo di **rispondere**, cioè l'inferenza; l'addestramento del modello, una spesa enorme ma pagata una volta sola, è un altro conto, e tornerà solo di sfuggita verso la fine. ## Il pavimento della fisica (e perché è lontanissimo) Partiamo dal fondo, chiedendoci: *esiste un costo minimo, imposto dalle leggi della fisica, per elaborare informazione?* La risposta è sì e ha una formulazione nel **principio di Landauer**, enunciato nel 1961 e confermato in laboratorio nel 2012. Dice una cosa elegante e contro-intuitiva: **cancellare** un bit di informazione (dimenticarlo, azzerarlo) produce inevitabilmente una briciola di calore. Non per imperfezione tecnologica, ma per una legge profonda: la termodinamica non ti lascia "buttare via" informazione gratis. Quella briciola minima vale circa **tre millesimi di miliardesimo di miliardesimo di Joule** per bit, in cifre, `3×10⁻²¹` Joule, cioè tre *zeptojoule*. Un numero così piccolo che, se anche un modello linguistico lo pagasse a ogni bit, l'energia totale sarebbe trascurabile. Ed è esattamente il punto: **siamo lontanissimi da questo limite**. I chip di oggi spendono, per ogni operazione, qualcosa come *un miliardo di volte* (e oltre) più di quel minimo fisico. In altre parole: l'energia che una AI consuma non è "entropia inevitabile" imposta dall'universo. È quasi tutta **spreco ingegneristico**: margini, tensioni, e soprattutto, come vedremo, il costo di spostare i dati. La fisica fondamentale, qui, *non è* il collo di bottiglia. C'è enorme spazio di miglioramento prima che la termodinamica diventi un problema. C'è anche una simmetria mancante che vale la pena raccontare. Landauer parla di *cancellare* informazione. Ma **creare** informazione è un'altra storia: copiare un dato (su una memoria vuota) è in linea di principio gratis, e perfino generarne di nuovo (in senso fisico, casuale) può addirittura *liberare* energia anziché consumarla. Distruggere costa, creare no: un'asimmetria che ha una conseguenza sorprendente per le AI. > **L'informazione che leggi nella risposta, il suo *contenuto*, non è ciò per cui paghi: tradotta in termini fisici varrebbe energeticamente *niente*. Quello che paghi è il *processo* per produrla, e quel costo è quasi tutto movimento di dati: un costo ingegneristico (caricare fili e memoria) che *non* è un costo di Landauer e non ha un pavimento fisico.** Il conto vero, insomma, lo fa tutto ciò che succede dietro le quinte. Ma per capire *perché* l'informazione in sé "non pesa", e dove si annidi invece il calore, conviene aprire una parentesi sulla parola che dà il titolo a queste riflessioni: **entropia**. ## Le due entropie: lo stesso libro mastro Esistono due "entropie" che di solito si incontrano in contesti lontanissimi, una in fisica, una nella teoria dell'informazione, e che sembrano non avere niente a che fare tra loro. In realtà sono la *stessa cosa*, scritta in due unità di misura diverse. E il principio di Landauer è esattamente il **tasso di cambio** tra le due. - **Entropia termodinamica** (Boltzmann, fine '800): misura quanti modi microscopici diversi (quali molecole, dove, con quale velocità) producono lo stesso stato *macroscopico* che osserviamo. Più modi possibili = più entropia = meno sappiamo dello stato esatto. Si misura in Joule su Kelvin. - **Entropia di Shannon** (1948): misura quanta *informazione ci manca* per indovinare un messaggio, cioè quanta incertezza c'è. Si misura in **bit**. Detto così sono già sospettosamente simili: **entrambe misurano "quanta informazione non abbiamo".** E infatti il legame è una formula sola, entropia termodinamica = (una costante della natura) × entropia di Shannon: > `S` (termodinamica) `= k · ln2 ·` `H` (di Shannon, in bit) dove `k` è la costante di Boltzmann. Tradotto: **un bit di informazione equivale a `k·ln2` di entropia termodinamica**, e, alla temperatura ambiente, a circa **`k·T·ln2 ≈ 3×10⁻²¹` Joule** di energia. Quel numero ti suona familiare: *è* il limite di Landauer. Non è una coincidenza. Cancellare un bit vuol dire far sparire un bit di entropia di Shannon dalla memoria; ma l'entropia *totale* non può diminuire (è il secondo principio della termodinamica), quindi quell'entropia deve **ricomparire altrove**, come calore disperso nell'ambiente. L'informazione che cancelli dal registro riappare come disordine nell'aria intorno al chip. Il libro mastro è sempre in pareggio. Per capire quanto sia *letterale* questo scambio, c'è un esperimento mentale famoso (il "[diavoletto di Maxwell](/it/diavoletto-di-maxwell/)", reso preciso da Leó Szilárd nel 1929): ``` 1. Una scatola (a temperatura costante, a contatto termico con l'ambiente) con UNA sola molecola di gas. 2. Un diavoletto guarda e annota sul suo taccuino: "è nella metà sinistra". → ha acquisito 1 bit. 3. Sapendo da che parte sta, infila un pistone dal lato vuoto e lascia che il gas, espandendosi, lo spinga: estrae lavoro = k·T·ln2. ← l'energia arriva dall'ambiente come calore; è il bit a renderne possibile l'estrazione. 4. Resta però l'annotazione "sinistra". Per la misura successiva serve un foglio pulito: riguardare non basta, scriverebbe su una memoria già piena. Va prima CANCELLATA, e cancellare un bit costa k·T·ln2 (Landauer). ← conto a zero. ``` Il "pasto gratis" non esiste: **quel singolo bit di informazione valeva esattamente `k·T·ln2` di energia.** È la dimostrazione più pulita che *l'informazione è fisica*, e che le due entropie sono la stessa moneta. Una moneta, però, che vale pochissimo: `k·T·ln2`, e nulla più. È un aspetto da fissare, perché tra poco il *contenuto* di una risposta, cambiato a questo tasso, si rivelerà quasi senza peso. **Cosa c'entra con una AI?** Tutto, perché chiarisce *dove* si produce entropia (cioè calore) dentro un chip. Le fonti sono due, e profondamente diverse: | Fonte di calore (entropia prodotta) | È legata all'informazione? | Ha un pavimento fisico? | Quanto pesa | |---|---|---|---| | **Cancellare bit logici** (Landauer) | Sì: è entropia di Shannon che diventa termodinamica | Sì: `k·T·ln2` per bit | trascurabile | | **Spostare cariche nei fili** (dissipazione) | No: solo calore da resistenza e commutazione | No: in teoria recuperabile | **domina tutto** | La prima è l'entropia *dell'informazione*: obbligata, ma minuscola. La seconda è entropia *sprecata*: enorme, e non ha niente a che vedere con l'informazione contenuta nella risposta, è solo il prezzo di *come muoviamo gli elettroni oggi*. Ecco allora cosa significa davvero "il contenuto della risposta è energeticamente gratis": l'informazione che leggi, convertita col tasso di cambio di Landauer, vale sì e no `10⁻¹⁸` Joule, invisibile accanto al calore che sprechiamo per spingerla fuori. E "siamo lontani da Landauer" si può ora dire con precisione: **quasi tutta l'entropia che i nostri chip riversano nell'ambiente è del secondo tipo, dissipazione sprecata, non del primo.** Tutto il resto di queste riflessioni è, in fondo, il racconto di quella seconda entropia. ## Spostare costa più che calcolare Veniamo allora alla fonte che domina. Dentro un chip, fare un conto (una moltiplicazione, una somma) costa pochissima energia. **Andare a prendere** il numero su cui fare quel conto, se sta nella memoria principale, costa **da cento a settecento volte di più** (attenzione: qui il confronto non è più col limite di Landauer, ma col costo di un calcolo). Perché conta così tanto per un LLM? Per come genera il testo: **una parola alla volta**. Per produrre ciascun pezzettino di parola (un "token"), il modello deve rileggere *tutti* i suoi miliardi di parametri dalla memoria. Fa pochissimi conti su una valanga di dati appena trasportati. Trasportare costa. Il costo non dipende dal "significato" del dato, solo dall'atto fisico di muovere carica su un conduttore. È come riempire d'acqua un tubo per segnalare "1" e svuotarlo per "0": paghi il pompaggio, non il messaggio. E più il tubo è lungo (arrivare fino alla memoria principale, lontana) più carica serve ogni volta: ecco il fattore cento-settecento. Gli addetti ai lavori lo chiamano essere *"limitati dalla banda di memoria"*: il freno non è la potenza di calcolo, è la velocità con cui si riescono a spostare i pesi del modello. Questa è precisamente la **seconda entropia** della tabella qui sopra: calore *sprecato*, non "costo di Landauer". Non ha un pavimento fisico, in linea di principio si potrebbero caricare i fili lentamente e recuperare la carica (charging adiabatico/reversibile), e l'energia tenderebbe a zero. Dire che "siamo lontani da Landauer" è un modo diverso per dire "il costo è il trasporto": c'è overhead dovuto a come costruiamo i chip oggi, non è entropia "obbligata". Questa singola idea riorganizza tutto. Spiega perché molte delle ottimizzazioni che funzionano non servono a "far fare meno conti", ma a **spostare meno dati** o a **spostarli una volta per tanti utenti**. ## Le leve degli ingegneri (e le sfide aperte) Da qui nascono le grandi battaglie di efficienza in corso oggi: - **Quantizzazione: usare numeri più "grossolani".** Se rappresenti ogni parametro con 8 bit invece di 16, *dimezzi i dati da trasportare*. Misure reali mostrano cali di consumo intorno al 40% con perdite di qualità contenute. È la leva col miglior rapporto sforzo/risultato. La sfida: spingersi a 4 bit o meno senza che il modello diventi meno preciso. - **Servire tanti utenti insieme (batching).** Se il costo dominante è andare a prendere i pesi dalla memoria, allora prenderli *una volta sola* per rispondere contemporaneamente a cento utenti spalma quel costo su cento. È il motivo per cui una AI in un grande data center costa, per risposta, molto meno della stessa AI che gira per te solo sul tuo computer. - **Modelli più piccoli ma meglio addestrati.** Una scoperta importante (le "leggi di Chinchilla") dice che spesso un modello più compatto, ma allenato su più dati, è altrettanto bravo di uno gigante. E un modello più piccolo costa meno *a ogni singola risposta*, per sempre, cioè un risparmio che si moltiplica per miliardi di utilizzi. - **Accendere solo una parte del cervello (Mixture-of-Experts).** Invece di usare tutto il modello per ogni parola, se ne attiva solo la porzione utile. Si risparmiano conti, ma, attenzione, a volte si *aumenta* il traffico di memoria. È un esempio perfetto di come "meno calcoli" non significhi automaticamente "meno energia". - **La frontiera lontana: il calcolo reversibile.** Se il costo fondamentale viene dal *cancellare* informazione, esistono in teoria modi di calcolare che non cancellano nulla e che potrebbero un giorno scendere sotto il limite di Landauer. Oggi è ricerca di base, lontana dalla pratica, ma è la direzione che dice "quanto in basso, in linea di principio, si potrebbe arrivare". (È, non a caso, l'unica leva che agisce sulla *prima* entropia, quella informazionale, invece che sulla seconda.) ## Data center e contabilità Sopra il chip c'è l'edificio. Raffreddare i server, distribuire la corrente: tutto questo aggiunge circa un **50% in più** all'energia dei calcoli veri e propri (è il famoso indicatore "PUE", fermo a ~1,5 da anni). C'è poi il consumo d'acqua per il raffreddamento, e l'impronta di carbonio della costruzione stessa dell'hardware. Ma il punto importante per non farsi ingannare, è un altro: **i numeri sul "consumo di una AI" spesso non sono confrontabili.** Variano di oltre dieci volte non perché un modello sia dieci volte più vorace, ma perché ciascuno **misura cose diverse**: solo il chip acceleratore? anche il computer che lo ospita? anche le macchine accese ma in attesa? anche il raffreddamento? si conta l'addestramento iniziale o solo le risposte? Senza dichiarare *cosa* si mette nel conto, qualunque cifra è inutilizzabile ai fini di un confronto. È anche il motivo per cui esistono sforzi di standardizzazione (come il benchmark MLPerf Power, che misura la corrente "alla presa" dell'intero sistema). E c'è una domanda di fondo che ancora non ha una risposta semplice: per un modello molto usato, pesa di più **addestrarlo una volta** (un costo enorme ma unico) o **rispondere** alle sue domande (un costo minuscolo, moltiplicato per miliardi)? La risposta cambia a seconda di cosa vuoi sapere ed è una delle questioni aperte. ## Efficiente per chi, e per cosa? Due aspetti da approfondire. **Efficienza non vuol dire meno consumo.** Nel 1865 l'economista William Stanley Jevons notò che le macchine a vapore più efficienti, invece di far calare il consumo di carbone, lo fecero *aumentare*: costando meno far funzionare le cose, se ne fecero molte di più. È il **paradosso di Jevons**, ed è esattamente ciò che vediamo oggi con l'AI: l'energia per singola risposta è crollata (circa dieci volte in pochi anni), eppure il consumo *totale* dei data center è destinato a raddoppiare. Più diventa economica, più la si usa ovunque e il totale sale lo stesso. L'efficienza è *necessaria*, ma da sola non basta a ridurre l'impronta complessiva. **Stiamo contando la cosa sbagliata.** Un modello non è più efficiente perché *sforna più testo* a parità di energia: lo è se *raggiunge più obiettivi corretti* a parità di energia. La differenza è enorme con i nuovi modelli che "ragionano": producono moltissime più parole: sembrano spreconi, ma azzeccano risposte che gli altri sbagliano. Contati a parola, sono i peggiori; contati a *problema risolto*, possono essere i migliori. La metrica che risulta più adeguata non è l'energia per token: è **l'energia per risultato giusto**. Misurarla è difficile (cos'è una risposta "giusta", per una poesia?), ed è proprio questa una delle sfide aperte più interessanti. ## Provando a fare una sintesi L'efficienza di un modello linguistico si gioca su piani e su aspetti non per forza intuitivamente evidenti. Non è una battaglia contro le leggi della fisica (siamo lontanissimi da quel muro), e non è nemmeno principalmente una questione di "fare meno conti". Si gioca al centro: **ridurre il movimento dei dati** e **ammortizzare il costo dominante** su più lavoro utile. E quando misuriamo, ricordiamoci di contare gli **obiettivi raggiunti**, non le parole e di guardare il **totale**, non solo la singola risposta. Le due entropie aiutano a tenere la rotta: quella *informazionale* (Landauer) è un pavimento lontanissimo e quasi gratuito; quella *dissipativa* (il trasporto) è dove va davvero il calore, ed è lì, non nella fisica fondamentale, che si vince o si perde. La termodinamica, qui, non ci vincola; la contabilità, se non impostiamo bene il problema, potrebbe ingannarci. ## Riferimenti - Google, *Measuring the environmental impact of delivering AI at Google Scale*, 2025 (0,24 Wh per il prompt mediano di Gemini; il calo del costo per risposta nel tempo): [arxiv.org/abs/2508.15734](https://arxiv.org/abs/2508.15734) - Epoch AI, *How much energy does ChatGPT use?*, 2025 (la stima indipendente di ~0,3 Wh): [epoch.ai/gradient-updates/how-much-energy-does-chatgpt-use](https://epoch.ai/gradient-updates/how-much-energy-does-chatgpt-use) - IEA, *Energy and AI*, 2025 (il raddoppio dei consumi dei data center entro il 2030): [iea.org/reports/energy-and-ai](https://www.iea.org/reports/energy-and-ai) - R. Landauer, *Irreversibility and Heat Generation in the Computing Process*, IBM Journal of Research and Development, 5(3), 1961: [doi.org/10.1147/rd.53.0183](https://doi.org/10.1147/rd.53.0183) - A. Bérut et al., *Experimental verification of Landauer's principle linking information and thermodynamics*, Nature 483, 2012 (la conferma in laboratorio): [doi.org/10.1038/nature10872](https://doi.org/10.1038/nature10872) - L. Szilárd, *Über die Entropieverminderung in einem thermodynamischen System bei Eingriffen intelligenter Wesen*, Zeitschrift für Physik 53, 1929 (il diavoletto reso preciso): [doi.org/10.1007/BF01341281](https://doi.org/10.1007/BF01341281) - C. E. Shannon, *A Mathematical Theory of Communication*, Bell System Technical Journal 27, 1948: [doi.org/10.1002/j.1538-7305.1948.tb01338.x](https://doi.org/10.1002/j.1538-7305.1948.tb01338.x) - M. Horowitz, *Computing's energy problem (and what we can do about it)*, ISSCC, 2014 (il costo dell'accesso alla memoria rispetto al calcolo): [doi.org/10.1109/ISSCC.2014.6757323](https://doi.org/10.1109/ISSCC.2014.6757323) - J. Hoffmann et al., *Training Compute-Optimal Large Language Models*, 2022 (le «leggi di Chinchilla»): [arxiv.org/abs/2203.15556](https://arxiv.org/abs/2203.15556) - ML.ENERGY, *LLM Inference Energy: A Longitudinal Analysis*, 2026 (misure dei risparmi della quantizzazione): [ml.energy/blog](https://ml.energy/blog/measurement/energy/llm-inference-energy-a-longitudinal-analysis/) - Uptime Institute, *Global Data Center Survey*, 2025 (il PUE medio fermo intorno a 1,5): [intelligence.uptimeinstitute.com](https://intelligence.uptimeinstitute.com/resource/uptime-institute-global-data-center-survey-2025) - MLCommons, *MLPerf Power: Benchmarking the Energy Efficiency of Machine Learning Systems*, 2024 (la misura «alla presa» dell'intero sistema): [arxiv.org/abs/2410.12032](https://arxiv.org/abs/2410.12032) - W. S. Jevons, *The Coal Question*, Macmillan, Londra, 1865 (il paradosso di Jevons).