Post con tag #Shannon
-
La stanza cinese si apre: intelligenza, comprensione e coscienza, fra il linguaggio e l'antropocentrismo
Intelligenza, comprensione e coscienza sono tre domande diverse, con tre standard di prova diversi: alla prima si risponde misurando il comportamento, alla seconda guardando dentro il sistema, alla terza oggi non si risponde, e si può dire con precisione perché. Il percorso va da Turing a Searle a Chalmers e arriva al punto nuovo: la stanza cinese è stata costruita davvero, è un modello linguistico (LLM), e gli strumenti dell'interpretabilità cominciano ad aprirla, trovando rappresentazioni del mondo costruite da solo testo e scritte in categorie che non sono le nostre. Il linguaggio attraversa l'intero quadro: descrive la realtà come la vede l'uomo, traduce i nostri sensi e la rappresentazione che l'evoluzione ci ha concesso; un sistema addestrato sul testo parte così da una descrizione antropocentrica del mondo (forse un passaggio intermedio, finché non esisteranno sensi diversi dai nostri) e dentro quella descrizione costruisce categorie che antropocentriche potrebbero non essere. In mezzo, una prova replicabile su un computer qualunque, con un modello da mezzo miliardo di parametri: il profilo frastagliato delle capacità, la sua spiegazione meccanica, la distanza fra la scala di difficoltà del sistema e la nostra.
-
Il diavoletto di Maxwell, preso sul serio
Un essere immaginario che osserva una singola molecola sembra estrarre lavoro dal nulla, in barba al secondo principio della termodinamica. Sciogliere il paradosso ha richiesto un secolo e un'idea nuova: l'informazione è fisica. L'entropia dei messaggi di Shannon e quella delle molecole di Boltzmann e Gibbs rispondono alla stessa domanda, il principio di Landauer fissa il tasso di cambio tra le due e il motore di Szilárd lo mette alla prova: quanto pesa un bit, dove finisce quando lo si cancella, e perché il pasto gratis non c'è comunque.