Měření množství informace

Z MiS
(Rozdíly mezi verzemi)
Přejít na: navigace, hledání
(Přidán další příklad)
(Teorie: Odkaz na jednotky, oprava vzhledu)
Řádka 6: Řádka 6:
 
* Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněná realizací tohoto děje.
 
* Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněná realizací tohoto děje.
  
=== Tedy: ===
+
; Jednotky množství informace
 +
* Základní jednotkou množství informace je 1 bit.
 +
* Odvozené jednotky jsou 1 byte a násobné jednotky, tvořené předponami.
 +
* Viz [[Jednotky množství informace]].
 +
 
 +
; Interpretace:
 
*zajímá mě výsledek nějakého děje (minulého nebo budoucího)
 
*zajímá mě výsledek nějakého děje (minulého nebo budoucího)
 
*dozvím se výsledek
 
*dozvím se výsledek
Řádka 16: Řádka 21:
  
 
=== Shannonova věta (1948) ===
 
=== Shannonova věta (1948) ===
*I(x) = -log_2 p(x)
+
I(x) = -log_2 p(x)
** log_2(x) ... dvojkový logaritmus čísla x
+
* <tt>log_2(x)</tt> ... dvojkový logaritmus čísla <tt>x</tt>
**p(x) je pravděpodobnost zprávy x
+
* <tt>p(x)</tt> je pravděpodobnost zprávy <tt>x</tt>
**0 >= p(x) >= 1
+
* (Platí, že <tt>0 >= p(x) >= 1</tt>.)
*Použijeme-li dvojkový logaritmus, pak jednotkou je bit.
+
*Použijeme-li dvojkový logaritmus, pak jednotkou je [[Jednotky množství informace|bit]].
  
=== Počítání s logaritmy ===
+
; Poznámka &mdash; počítání s logaritmy
*log_a (x) = log_b (x) / log_b (a)
+
log_a (x) = log_b (x) / log_b (a)
*log_2 (x) = log_10 (x) / log_10 (2)
+
log_2 (x) = log_10 (x) / log_10 (2)
  
 
== Výpočty ==
 
== Výpočty ==

Verze z 19. 11. 2013, 11:34


Obsah

Teorie

Definice množství informace

Jednotky množství informace
Interpretace

Jinými slovy:

Shannonova věta (1948)

I(x) = -log_2 p(x)
Poznámka — počítání s logaritmy
log_a (x) = log_b (x) / log_b (a)
log_2 (x) = log_10 (x) / log_10 (2)

Výpočty

Příklad 1: Hod kostkou

Příklad 2: Fotbal

Úkol: Vodácký kurz

Máme zadány následující předpoklady
Spočtěte množství informace v následujících zprávách
  1. Byl jsem přirazen na kanoi.
  2. Byl jsem přiřazen na červenou loď.
  3. Byl jsem přiřazen na žlutý raft.
  4. Byl jsem přiřazen na kanoi číslo 3.
  5. Po přijetí zprávy, že jsem byl přiřazen na červenou loď, se dozvím další zprávu: pojedu na raftu.
Nápověda
Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!

Úkol: Jablko nepadá daleko od stromu ;)

Máme 4 sady
Spočtěte, jaké množství informace se dozvím, když
  1. Zjistím, že jablko, které jím, je ze čtvrtého sadu.
  2. Zjistím, že jablko je ze druhého nebo třetího sadu.

Klíč řešení:

Úkol (Vodácký kurz)
  1. 2 b
  2. ~ 1,68 b
  3. ~ 1,42 b
  4. 4 b
  5. ~ 0,74 b
Úkol (Jablko)
  1. 1 b
  2. ~ 1,32 b
Osobní nástroje
Jmenné prostory
Varianty
Akce
Výuka
Navigace
Nástroje