Měření množství informace

Z MiS
(Rozdíly mezi verzemi)
Přejít na: navigace, hledání
m (Přidána kategorie Principy IT)
(Oprava věty o logaritmech.)
(Není zobrazeno 5 mezilehlých verzí od 1 uživatele.)
Řádka 1: Řádka 1:
 
[[Category:VSE]][[Category:Informatika]][[Category:Teoretická informatika]][[Category:Principy IT]]
 
[[Category:VSE]][[Category:Informatika]][[Category:Teoretická informatika]][[Category:Principy IT]]
  
== Teorie ==
+
== Definice množství informace ==
 +
<div class="Definice">
 +
Definice: Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněné realizací tohoto děje.
 +
</div>
  
=== Definice množství informace ===
+
; Interpretace:
* Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněná realizací tohoto děje.
+
* zajímá mě výsledek nějakého děje (minulého nebo budoucího)
 +
* dozvím se výsledek
 +
* měřím vlastně ''hodnotu'' informace, kterou jsem získal
  
=== Tedy: ===
 
*zajímá mě výsledek nějakého děje (minulého nebo budoucího)
 
*dozvím se výsledek
 
*měřím vlastně HODNOTU informace, kterou jsem získal
 
 
Jinými slovy:
 
Jinými slovy:
*Mohu si zkusit tipnout, budu mít nějakou pravděpodobnost, že uspěji.
+
* Mohu si zkusit tipnout, budu mít nějakou pravděpodobnost, že uspěji.
*Informační zisk je tím větší, čím bylo těžší si daný výsledek tipnout.
+
* Informační zisk je tím větší, čím bylo těžší si daný výsledek tipnout.
*Čím méně pravděpodobná zpráva přišla, tím větší množství informace nese.
+
* Čím méně pravděpodobná zpráva přišla, tím větší množství informace nese.
  
=== Shannonova věta (1948) ===
 
*I(x) = -log_2 p(x)
 
** log_2(x) ... dvojkový logaritmus čísla x
 
**p(x) je pravděpodobnost zprávy x
 
**0 >= p(x) >= 1
 
*Použijeme-li dvojkový logaritmus, pak jednotkou je bit.
 
  
=== Počítání s logaritmy ===
+
== Shannonova věta (1948) ==
*log_a (x) = log_b (x) / log_b (a)
+
<div class="Definice">
*log_2 (x) = log_10 (x) / log_10 (2)
+
Číselnou hodnotu množství informace získáme, pokud spočteme záporný dvojkový logaritmus pravděpodobnosti přijaté zprávy:
 +
I(x) = -log<sub>2</sub> p(x)
 +
</div>
 +
Kde:
 +
* I(x) ... množství informace v bitech,
 +
* <tt>log<sub>2</sub> (x)</tt> ... dvojkový logaritmus čísla <tt>x</tt>
 +
* <tt>p(x)</tt> je pravděpodobnost zprávy <tt>x</tt>
 +
* (Platí, že <tt>0 &lt;= p(x) &lt;= 1</tt>.)
  
== Příklady ==
+
<div class="Poznamka">
 +
; Poznámka &mdash; počítání s logaritmy
 +
Pokud nemáme k&nbsp;dispozici kalkulačku, která by uměla počítat dvojkový logaritmus, můžeme použít tvrzení, které říká, že pro libovolné celé číslo <code>b</code> platí:
 +
log<sub>a</sub>(x) = log<sub>b</sub>(x) / log<sub>b</sub>(a)
 +
My obvykle za <code>b</code> dosazujeme buď <code>10</code> nebo číslo <code>e</code> (základ přirozeného logaritmu) a&nbsp;dvojkový logaritmus nahrazujeme na kalkulačce:
 +
log<sub>2</sub>(x) = log<sub>10</sub>(x) / log<sub>10</sub>(2)
 +
nebo:
 +
ln(x) = ln(x) / ln(2)
 +
</div>
 +
 
 +
== Jednotky množství informace ==
 +
* Základní jednotkou množství informace je 1 bit (1 b).
 +
* Odvozené jednotky jsou 1 byte (1 B) a násobné jednotky, tvořené předponami.
 +
* Viz [[Jednotky množství informace]].
 +
 
 +
 
 +
== Výpočty ==
  
 
=== Příklad 1: Hod kostkou ===
 
=== Příklad 1: Hod kostkou ===
Řádka 59: Řádka 77:
  
 
; Nápověda: Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!
 
; Nápověda: Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!
 +
 +
=== Úkol: Jablko nepadá daleko od stromu ;) ===
 +
; Máme 4 sady:
 +
* první sad čítá 200 stromů, druhý a třetí 400 stromů, čtvrtý 1000 stromů. (Předpokládáme, že všechny stromy rodí stejně.)
 +
; Spočtěte, jaké množství informace se dozvím, když:
 +
# Zjistím, že jablko, které jím, je ze čtvrtého sadu.
 +
# Zjistím, že jablko je ze druhého nebo třetího sadu.
  
 
=== Klíč řešení: ===
 
=== Klíč řešení: ===
Řádka 67: Řádka 92:
 
# 4 b
 
# 4 b
 
# ~ 0,74 b
 
# ~ 0,74 b
 +
; Úkol (Jablko)
 +
# 1 b
 +
# ~ 1,32 b

Verze z 9. 12. 2019, 14:32


Obsah

Definice množství informace

Definice: Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněné realizací tohoto děje.

Interpretace

Jinými slovy:


Shannonova věta (1948)

Číselnou hodnotu množství informace získáme, pokud spočteme záporný dvojkový logaritmus pravděpodobnosti přijaté zprávy:

I(x) = -log2 p(x)

Kde:

Poznámka — počítání s logaritmy

Pokud nemáme k dispozici kalkulačku, která by uměla počítat dvojkový logaritmus, můžeme použít tvrzení, které říká, že pro libovolné celé číslo b platí:

loga(x) = logb(x) / logb(a)

My obvykle za b dosazujeme buď 10 nebo číslo e (základ přirozeného logaritmu) a dvojkový logaritmus nahrazujeme na kalkulačce:

log2(x) = log10(x) / log10(2)

nebo:

ln(x) = ln(x) / ln(2)

Jednotky množství informace


Výpočty

Příklad 1: Hod kostkou

Příklad 2: Fotbal

Úkol: Vodácký kurz

Máme zadány následující předpoklady
Spočtěte množství informace v následujících zprávách
  1. Byl jsem přirazen na kanoi.
  2. Byl jsem přiřazen na červenou loď.
  3. Byl jsem přiřazen na žlutý raft.
  4. Byl jsem přiřazen na kanoi číslo 3.
  5. Po přijetí zprávy, že jsem byl přiřazen na červenou loď, se dozvím další zprávu: pojedu na raftu.
Nápověda
Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!

Úkol: Jablko nepadá daleko od stromu ;)

Máme 4 sady
Spočtěte, jaké množství informace se dozvím, když
  1. Zjistím, že jablko, které jím, je ze čtvrtého sadu.
  2. Zjistím, že jablko je ze druhého nebo třetího sadu.

Klíč řešení:

Úkol (Vodácký kurz)
  1. 2 b
  2. ~ 1,68 b
  3. ~ 1,42 b
  4. 4 b
  5. ~ 0,74 b
Úkol (Jablko)
  1. 1 b
  2. ~ 1,32 b
Osobní nástroje
Jmenné prostory
Varianty
Akce
Výuka
Navigace
Nástroje