Post con tag #Informazione
-
La stanza cinese si apre: intelligenza, comprensione e coscienza, fra il linguaggio e l'antropocentrismo
Intelligenza, comprensione e coscienza sono tre domande diverse, con tre standard di prova diversi: alla prima si risponde misurando il comportamento, alla seconda guardando dentro il sistema, alla terza oggi non si risponde, e si può dire con precisione perché. Il percorso va da Turing a Searle a Chalmers e arriva al punto nuovo: la stanza cinese è stata costruita davvero, è un modello linguistico (LLM), e gli strumenti dell'interpretabilità cominciano ad aprirla, trovando rappresentazioni del mondo costruite da solo testo e scritte in categorie che non sono le nostre. Il linguaggio attraversa l'intero quadro: descrive la realtà come la vede l'uomo, traduce i nostri sensi e la rappresentazione che l'evoluzione ci ha concesso; un sistema addestrato sul testo parte così da una descrizione antropocentrica del mondo (forse un passaggio intermedio, finché non esisteranno sensi diversi dai nostri) e dentro quella descrizione costruisce categorie che antropocentriche potrebbero non essere. In mezzo, una prova replicabile su un computer qualunque, con un modello da mezzo miliardo di parametri: il profilo frastagliato delle capacità, la sua spiegazione meccanica, la distanza fra la scala di difficoltà del sistema e la nostra.
-
Viaggio dentro la macchina che risponde: come si muovono i byte nell'inferenza
Che cosa succede, fisicamente, quando un modello linguistico risponde, e che cosa cambia se a rispondere è una macchina sola, in casa? Un percorso dentro i principi di funzionamento, dall'attention fino al mestiere dell'inferenza, con le sue due fasi, la sua organizzazione dei dati, le tecniche per farla costare meno, letto seguendo un filo: dove stanno i byte e quanto costa muoverli. Sullo sfondo un'idea: l'inferenza locale, come scelta e come possibilità, conta già oggi e conterà sempre di più. A tenerla concreta, un motore scritto in C che porta un modello da centinaia di miliardi di parametri a girare in locale: DwarfStar, con cui antirez mostra fin dove ci si può spingere, e che quella strada è percorribile.
-
Il diavoletto di Maxwell, preso sul serio
Un essere immaginario che osserva una singola molecola sembra estrarre lavoro dal nulla, in barba al secondo principio della termodinamica. Sciogliere il paradosso ha richiesto un secolo e un'idea nuova: l'informazione è fisica. L'entropia dei messaggi di Shannon e quella delle molecole di Boltzmann e Gibbs rispondono alla stessa domanda, il principio di Landauer fissa il tasso di cambio tra le due e il motore di Szilárd lo mette alla prova: quanto pesa un bit, dove finisce quando lo si cancella, e perché il pasto gratis non c'è comunque.