biblio toscana

Nella teoria dell'informazione l'entropia di una sorgente di messaggi è l'informazione media contenuta in ogni messaggio emesso. L'informazione contenuta in un messaggio è tanto più grande quanto meno probabile era. Un messaggio scontato, che ha un'alta probabilità di essere emesso dalla sorgente contiene poca informazione, mentre un messaggio inaspettato, poco probabile contiene una grande quantità di informazione. L'entropia di una sorgente risponde a domande come: qual è il numero minimo di bit che servono per memorizzare in media un messaggio della sorgente? Quanto sono prevedibili i messaggi emessi dalla sorgente? Si è dimostrato che una sequenza di messaggi emessi da una sorgente può essere compressa senza perdita d'informazione fino ad un numero minimo di bit per messaggio uguale all'entropia della sorgente. Una sequenza di lettere come aaaaaaaa possiede meno entropia di una parola come alfabeto la quale a sua volta possiede ancora meno entropia di una stringa completamente casuale come j3s0vek3. L'entropia può essere vista come la casualità contenuta in una stringa, ed è strettamente collegata al numero minimo di bit necessari per rappresentarla senza errori.

L'entropia (dal greco antico ἐν en, "dentro", e τροπή tropé, "trasformazione") è, in meccanica statistica, una grandezza (più in particolare una coordinata generalizzata) che viene interpretata come una misura del disordine presente in un sistema fisico qualsiasi, incluso, come caso limite, l'Universo. Viene generalmente rappresentata dalla lettera S. Nel Sistema Internazionale si misura in joule fratto kelvin (J/K). Nella termodinamica classica, il primo campo in cui l'entropia venne introdotta, S è una funzione di stato di un sistema in equilibrio termodinamico, che, quantificando l'indisponibilità di un sistema a produrre lavoro, si introduce insieme con il secondo principio della termodinamica. In base a questa definizione si può dire, in forma non rigorosa ma esplicativa, che quando un sistema passa da uno stato di equilibrio ordinato a uno disordinato la sua entropia aumenta; questo fatto fornisce indicazioni sulla direzione in cui evolve spontaneamente un sistema. L'approccio molecolare della meccanica statistica generalizza l'entropia agli stati di non-equilibrio correlandola più strettamente al concetto di ordine, precisamente alle possibili diverse disposizioni dei livelli molecolari e quindi differenti probabilità degli stati in cui può trovarsi macroscopicamente un sistema. Il concetto di entropia è stato esteso ad ambiti non strettamente fisici, come le scienze sociali, la teoria dei segnali, la teoria dell'informazione, acquisendo una vasta popolarità.