Die Entropie ist der Erwartungswert des Informationsgehaltes. Der Informationsgehalt eines Ereignisses mit Wahrscheinlichkeit p ist I(p)=-log2p
Der Erwartungswert davon, über alle Wahrscheinlichkeiten verschiedener Ereignisse gemittelt, ist H, die Entropie: H=-I=-ipilog2pi