Měření množství informace

Verze z 15. 4. 2014, 22:00

Definice množství informace

Interpretace

• zajímá mě výsledek nějakého děje (minulého nebo budoucího)
• dozvím se výsledek
• měřím vlastně hodnotu informace, kterou jsem získal

Jinými slovy:

• Mohu si zkusit tipnout, budu mít nějakou pravděpodobnost, že uspěji.
• Informační zisk je tím větší, čím bylo těžší si daný výsledek tipnout.
• Čím méně pravděpodobná zpráva přišla, tím větší množství informace nese.

Shannonova věta (1948)

I(x) = -log_2 p(x)

Kde:

• I(x) ... množství informace v bitech,
• log_2(x) ... dvojkový logaritmus čísla x
• p(x) je pravděpodobnost zprávy x
• (Platí, že 0 >= p(x) >= 1.)

Poznámka — počítání s logaritmy

log_a (x) = log_b (x) / log_b (a)
log_2 (x) = log_10 (x) / log_10 (2)

Jednotky množství informace

• Základní jednotkou množství informace je 1 bit (1 b).
• Odvozené jednotky jsou 1 byte (1 B) a násobné jednotky, tvořené předponami.
• Viz Jednotky množství informace.

Výpočty

Příklad 1: Hod kostkou

• Hodím kostkou, zajímá mne výsledek.
• Postupně zjistím:
  1. Vidím jen část kostky, v levém horním rohu je puntík.
  2. Zjistím, že v levém dolním rohu puntík není
  3. Zjistím, že padla trojka.
• Kolik informace jsem získal v jednotlivých krocích?
• Kolik informace bych se dozvěděl, kdybych číslo uviděl hned?

Příklad 2: Fotbal

• Slovácko nastoupilo proti Spartě. S jakou pravděpodobností vyhraje? — Rozhodněte!
• Na základě svého rozhodnutí spočítejte množství informace, které se dozvíte, když zjistíte, že:
  1. Slovácko vyhrálo,
  2. Slovácko prohrálo.

Úkol: Vodácký kurz

Máme zadány následující předpoklady

• Pro školní kurz bylo zapůjčeno 8 lodí, z toho 4 kanoe, 4 rafty.
• Lodě jsou očíslované, kanoe čísly 1 až 4, rafty čísly 5 až 8.
• Každá kanoe je pro 2 osoby, rafty jsou pro 6 osob.
• 2 kanoe a 3 rafty jsou žluté, zbytek lodí je červených.
• V rámci kurzu budu přiřazen na libovolnou loď (nevím, na kterou).

Spočtěte množství informace v následujících zprávách

1. Byl jsem přirazen na kanoi.
2. Byl jsem přiřazen na červenou loď.
3. Byl jsem přiřazen na žlutý raft.
4. Byl jsem přiřazen na kanoi číslo 3.
5. Po přijetí zprávy, že jsem byl přiřazen na červenou loď, se dozvím další zprávu: pojedu na raftu.

Nápověda

Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!

Úkol: Jablko nepadá daleko od stromu ;)

Máme 4 sady

• první sad čítá 200 stromů, druhý a třetí 400 stromů, čtvrtý 1000 stromů. (Předpokládáme, že všechny stromy rodí stejně.)

Spočtěte, jaké množství informace se dozvím, když

1. Zjistím, že jablko, které jím, je ze čtvrtého sadu.
2. Zjistím, že jablko je ze druhého nebo třetího sadu.

Klíč řešení:

Úkol (Vodácký kurz)

1. 2 b
2. ~ 1,68 b
3. ~ 1,42 b
4. 4 b
5. ~ 0,74 b

Úkol (Jablko)

1. 1 b
2. ~ 1,32 b