Měření množství informace

Obsah [skrýt] 1 Teorie 1.1 Definice množství informace 1.2 Tedy: 1.3 Shannonova věta (1948) 1.4 Počítání s logaritmy 2 Příklady 2.1 Příklad 1: Hod kostkou 2.2 Příklad 2: Fotbal 2.3 Úkol: Vodácký kurz 2.4 Klíč řešení:

Teorie

Definice množství informace

• Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněná realizací tohoto děje.

Tedy:

• zajímá mě výsledek nějakého děje (minulého nebo budoucího)
• dozvím se výsledek
• měřím vlastně HODNOTU informace, kterou jsem získal

Jinými slovy:

• Mohu si zkusit tipnout, budu mít nějakou pravděpodobnost, že uspěji.
• Informační zisk je tím větší, čím bylo těžší si daný výsledek tipnout.
• Čím méně pravděpodobná zpráva přišla, tím větší množství informace nese.

Shannonova věta (1948)

• I(x) = -log_2 p(x)
  • log_2(x) ... dvojkový logaritmus čísla x
  • p(x) je pravděpodobnost zprávy x
  • 0 >= p(x) >= 1
• Použijeme-li dvojkový logaritmus, pak jednotkou je bit.

Počítání s logaritmy

• log_a (x) = log_b (x) / log_b (a)
• log_2 (x) = log_10 (x) / log_10 (2)

Příklady

Příklad 1: Hod kostkou

• Hodím kostkou, zajímá mne výsledek.
• Postupně zjistím:
  1. Vidím jen část kostky, v levém horním rohu je puntík.
  2. Zjistím, že v levém dolním rohu puntík není
  3. Zjistím, že padla trojka.
• Kolik informace jsem získal v jednotlivých krocích?
• Kolik informace bych se dozvěděl, kdybych číslo uviděl hned?

Příklad 2: Fotbal

• Slovácko nastoupilo proti Spartě. S jakou pravděpodobností vyhraje? — Rozhodněte!
• Na základě svého rozhodnutí spočítejte množství informace, které se dozvíte, když zjistíte, že:
  1. Slovácko vyhrálo,
  2. Slovácko prohrálo.

Úkol: Vodácký kurz

Máme zadány následující předpoklady

• Pro školní kurz bylo zapůjčeno 8 lodí, z toho 4 kanoe, 4 rafty.
• Lodě jsou očíslované, kanoe čísly 1 až 4, rafty čísly 5 až 8.
• Každá kanoe je pro 2 osoby, rafty jsou pro 6 osob.
• 2 kanoe a 3 rafty jsou žluté, zbytek lodí je červených.
• V rámci kurzu budu přiřazen na libovolnou loď (nevím, na kterou).

Spočtěte množství informace v následujících zprávách

1. Byl jsem přirazen na kanoi.
2. Byl jsem přiřazen na červenou loď.
3. Byl jsem přiřazen na žlutý raft.
4. Byl jsem přiřazen na kanoi číslo 3.
5. Po přijetí zprávy, že jsem byl přiřazen na červenou loď, se dozvím další zprávu: pojedu na raftu.

Nápověda

Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!

Klíč řešení:

Úkol (Vodácký kurz)

1. 2 b
2. ~ 1,68 b
3. ~ 1,42 b
4. 4 b
5. ~ 0,74 b