Měření množství informace

Z MiS
(Rozdíly mezi verzemi)
Přejít na: navigace, hledání
(Stránka vytvořena s prvním příkladem)
 
(Přidání teorie)
Řádka 1: Řádka 1:
 
[[Category:VSE]][[Category:Informatika]][[Category:Teoretická informatika]]
 
[[Category:VSE]][[Category:Informatika]][[Category:Teoretická informatika]]
  
== Měření množství informace: příklady ==
+
== Teorie ==
 +
 
 +
=== Definice množství informace ===
 +
* Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněná realizací tohoto děje.
 +
 
 +
=== Tedy: ===
 +
*zajímá mě výsledek nějakého děje (minulého nebo budoucího)
 +
*dozvím se výsledek
 +
*měřím vlastně HODNOTU informace, kterou jsem získal
 +
Jinými slovy:
 +
*Mohu si zkusit tipnout, budu mít nějakou pravděpodobnost, že uspěji.
 +
*Informační zisk je tím větší, čím bylo těžší si daný výsledek tipnout.
 +
*Čím méně pravděpodobná zpráva přišla, tím větší množství informace nese.
 +
 
 +
=== Shannonova věta (1948) ===
 +
*I(x) = -log_2 p(x)
 +
** log_2(x) ... dvojkový logaritmus čísla x
 +
**p(x) je pravděpodobnost zprávy x
 +
**0 >= p(x) >= 1
 +
*Použijeme-li dvojkový logaritmus, pak jednotkou je bit.
 +
 
 +
=== Počítání s logaritmy ===
 +
*log_a (x) = log_b (x) / log_b (a)
 +
*log_2 (x) = log_10 (x) / log_10 (2)
 +
 
 +
== Příklady ==
  
 
=== Vodácký kurz ===
 
=== Vodácký kurz ===

Verze z 18. 9. 2013, 07:55


Obsah

Teorie

Definice množství informace

Tedy:

Jinými slovy:

Shannonova věta (1948)

Počítání s logaritmy

Příklady

Vodácký kurz

Máme zadány následující předpoklady
Spočtěte množství informace v následujících zprávách
  1. Byl jsem přirazen na kanoi.
  2. Byl jsem přiřazen na červenou loď.
  3. Byl jsem přiřazen na žlutý raft.
  4. Byl jsem přiřazen na kanoi číslo 3.
  5. Po přijetí zprávy, že jsem byl přiřazen na červenou loď, se dozvím další zprávu: pojedu na raftu.
Nápověda
Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!
Klíč řešení
  1. 2 b
  2. ~ 1,68 b
  3. ~ 1,42 b
  4. 4 b
  5. ~ 0,74 b
Osobní nástroje
Jmenné prostory
Varianty
Akce
Výuka
Navigace
Nástroje