Měření množství informace

Z MiS
Přejít na: navigace, hledání


Obsah

Definice množství informace

Definice: Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněné realizací tohoto děje.

Interpretace

Jinými slovy:


Shannonova věta (1948)

Číselnou hodnotu množství informace získáme, pokud spočteme záporný dvojkový logaritmus pravděpodobnosti přijaté zprávy:

I(x) = -log2 p(x)

Kde:

Poznámka — počítání s logaritmy

Pokud nemáme k dispozici kalkulačku, která by uměla počítat dvojkový logaritmus, můžeme použít tvrzení, které říká, že pro libovolné celé číslo b platí:

loga(x) = logb(x) / logb(a)

My obvykle za b dosazujeme buď 10 nebo číslo e (základ přirozeného logaritmu) a dvojkový logaritmus nahrazujeme na kalkulačce:

log2(x) = log10(x) / log10(2)

nebo:

ln(x) = ln(x) / ln(2)

Jednotky množství informace


Výpočty

Příklad 1: Hod kostkou

Příklad 2: Fotbal

Úkol: Vodácký kurz

Máme zadány následující předpoklady
Spočtěte množství informace v následujících zprávách
  1. Byl jsem přirazen na kanoi.
  2. Byl jsem přiřazen na červenou loď.
  3. Byl jsem přiřazen na žlutý raft.
  4. Byl jsem přiřazen na kanoi číslo 3.
  5. Po přijetí zprávy, že jsem byl přiřazen na červenou loď, se dozvím další zprávu: pojedu na raftu.
Nápověda
Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!

Úkol: Jablko nepadá daleko od stromu ;)

Máme 4 sady
Spočtěte, jaké množství informace se dozvím, když
  1. Zjistím, že jablko, které jím, je ze čtvrtého sadu.
  2. Zjistím, že jablko je ze druhého nebo třetího sadu.

Klíč řešení:

Úkol (Vodácký kurz)
  1. 2 b
  2. ~ 1,68 b
  3. ~ 1,42 b
  4. 4 b
  5. ~ 0,74 b
Úkol (Jablko)
  1. 1 b
  2. ~ 1,32 b
Osobní nástroje
Jmenné prostory
Varianty
Akce
Výuka
Navigace
Nástroje