Vidi ovako, ako izvor emituje samo nule i jedinice, ali može da izbaci samo sledeća dva bloka
01101011100001110101011,
10101000110100010101101,
sa jednakim verovatnoćama, onda je entropija izvora jednaka 1. Zaista, za beleženje koji je blok generisan je dovoljan jedan bit. Entropija nije pojam koji se vezuje za određeni niz, nego za slučajnu promenljivu. U diskretnom slučaju, ako postoji neki konačan ili beskonačan niz vrednosti

, čije su verovatnoće

, pri čemu je

, onda je entropija te slučajne promenljive

.
Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.