Teoria dell’informazione

La teoria dell’informazione interessa sia l’informatica che il mondo delle comunicazioni, interessa chi è curioso e anche chi si interroga sulla trasmissione delle informazioni intesa in ogni possibile ottica. Quindi la teoria dell’informazione interessa tutti noi, soprattutto oggi che di passaggi di informazioni, graditi o meno, si parla tanto e con grave rischio di “fake news” un po’ per incompetenza, un po’ per volontà di fare credere cose false mettendo addosso alle persone dei timori immotivati.

Noi torniamo alla teoria dell’informazione, facendo un passo indietro per farne poi una decina in avanti e non cadere in trabocchetti. Questa “teoria” è in verità una disciplina che si focalizza sull’analisi e sull’elaborazione su base matematica dei fenomeni relativi alla misurazione e alla trasmissione di informazioni su un canale fisico di comunicazione.

Teoria dell’informazione: Shannon

Avvicinandoci a questa disciplina incontriamo subito la figura di Claude Shannon perché il suo contributo è stato decisivo nello sviluppo della teoria dell’informazione. Suo l’articolo che ha poi aperto la strada allo studio di tutto, articolo che è stato pubblicato sul Bell System Technical Journal nel luglio e nell’ottobre del 1948 con il titolo “A Mathematical Theory of Communication”. Un altro nome importante per la storia di questa teoria è quello di Alan Turing che nel 1940 ha utilizzato una idea simile a quella descritta da Shannon per decifrare codici crittografici, niente di meno che quelli usati dai tedeschi nella seconda guerra mondiale.

C’è molta matematica alla base della teoria dell’informazione, matematica statistica e riguardante probabilità, sviluppata non apposta per questa disciplina ma già esplorata per studiare la termodinamica da Ludwig Boltzmann e Willard Gibbs. Molte sono le analogie tra i due campi, un altro esempio è il concetto di entropia che spunta nella teoria dell’informazione come anche nella termodinamica. Già negli anni Sessanta Rolf Landauer ne aveva parlato nell’opera Entropy in thermodynamics and information theory.

Il merito di Shannon è stato quello di introdurre nelll’analisi della comunicazione alcuni modelli quantitativi e qualitativi adottando un approccio statistico. Detta con parole sue “Il problema fondamentale della comunicazione è quello di riprodurre in un certo punto, o esattamente o approssimativamente, un messaggio selezionato in un altro punto”. E’ stato Shannon che ha aperto all’introduzione di concetti come quello già citato di entropia, affiancato a quello di ridondanza di una sorgente. Chi studia seriamente la teoria dell’informazione si troverà di fronte al teorema di Shannon-Hartley per la capacità di un canale gaussiano.

Teoria dell informazione integrata

La teoria dell’informazione integrata, spesso indicata con l’acronimo IIT tra gli esperti, è stata sviluppata con lo scopo preciso di spiegare che cosa è la coscienza. Una mission ambiziosa, certo, perché si tratta di caratterizzare i requisiti dei sistemi fisici che rendono possibile la coscienza e di misurarne la quantità e la qualità.

Di norma si iniziava a studiare le caratteristiche del cervello, si parte quindi dalla fisica passando poi alla fenomenologia, la teoria dell’informazione integrata ci porta invece procedere a contrario, dalla fenomenologia alla fisica. Si tratta quindi, più semplicemente, di identificare prima le proprietà essenziali della coscienza stessa e da esse poi andare a ricavare le caratteristiche e le modalità di funzionamento del cervello. Prima di passare ad un altro lato della teoria che stiamo raccontando, per i più curiosi, ecco le proprietà essenziali della coscienza. Sono cinque: l’esperienza esiste intrinsecamente, è strutturata, è informativa, integrata e definita.

Teoria dell informazione e codici

Una delle applicazioni della teoria dell’informazione che più “fa notizia” è quella che riguarda la crittografia e la criptoanalisi. In tal senso, si rievocano le parole di Shannon che si era soffermato sul concetto di distanza di unicità e sulla ridondanza del testo. Si deve cercare di dare la minima quantità di testo cifrato per assicurare una decifrabilità unica. Ancora oggi è un suggerimento prezioso per chi non desidera essere decriptato, e non solo!

Quando si parla di messaggi criptati, si pensa ai servizi segreti e non si sbaglia perché effettivamente anche loro usano la teoria dell’informazione per mantenere segrete le informazioni riservate e per scoprire il numero massimo possibile di informazioni su un avversario senza farsi smascherare.

Ci sono delle considerazioni generali che possono però interessare anche chi non è una spia della CIA. Ad esempio sta di fatto che non è possibile fermare la fuoriuscita di informazioni riservate, ma solo rallentarla. Suona un po’ come apocalittico ma è effettivamente così e oltretutto più aumentano le persone che accedono all’informazione, più aumenta il tempo richiesto dal lavoro di revisione di tale informazione e maggiore è la ridondanza che tale informazione acquisisce. Oltre che nello spionaggio, anche nel gioco d’azzardo, nella bioinformatica e nella musica troviamo concetti attinti dalla teoria dell’informazione.

Teoria dell’informazione: libri

“L’informazione. Una storia. Una teoria. Un diluvio” è uno dei libri più interessanti da consultare, lo si trova anche on line, su Amazon, l’autore è James Gleick tradotto da V. B. Sala. Per preparare i più piccoli alla Teoria dell’informazione potrebbe essere utile un corso divertente di coding

Se vi è piaciuto questo articolo continuate a seguirmi anche su Twitter, Facebook, Google+, Instagram

Pubblicato da Marta Abbà il 8 Luglio 2018