Měření množství informace
Z MiS
(Rozdíly mezi verzemi)
m (Opravena struktura a vzhled) |
m (→Shannonova věta (1948): Podtržítka nahrazena dolním indexem) |
||
Řádka 20: | Řádka 20: | ||
<div class="Definice"> | <div class="Definice"> | ||
Číselnou hodnotu množství informace získáme, pokud spočteme záporný dvojkový logaritmus pravděpodobnosti přijaté zprávy: | Číselnou hodnotu množství informace získáme, pokud spočteme záporný dvojkový logaritmus pravděpodobnosti přijaté zprávy: | ||
− | I(x) = - | + | I(x) = -log<sub>2</sub> p(x) |
</div> | </div> | ||
Kde: | Kde: | ||
* I(x) ... množství informace v bitech, | * I(x) ... množství informace v bitech, | ||
− | * <tt> | + | * <tt>log<sub>2</sub> (x)</tt> ... dvojkový logaritmus čísla <tt>x</tt> |
* <tt>p(x)</tt> je pravděpodobnost zprávy <tt>x</tt> | * <tt>p(x)</tt> je pravděpodobnost zprávy <tt>x</tt> | ||
* (Platí, že <tt>0 >= p(x) >= 1</tt>.) | * (Platí, že <tt>0 >= p(x) >= 1</tt>.) | ||
; Poznámka — počítání s logaritmy | ; Poznámka — počítání s logaritmy | ||
− | + | log<sub>2</sub> a (x) = log<sub>2</sub> b (x) / log<sub>2</sub>b (a) | |
− | + | log<sub>2</sub> 2 (x) = log<sub>2</sub> 10 (x) / log<sub>2</sub>10 (2) | |
− | + | ||
== Jednotky množství informace == | == Jednotky množství informace == |
Verze z 12. 1. 2015, 08:19
Obsah |
Definice množství informace
Definice: Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněné realizací tohoto děje.
- Interpretace
- zajímá mě výsledek nějakého děje (minulého nebo budoucího)
- dozvím se výsledek
- měřím vlastně hodnotu informace, kterou jsem získal
Jinými slovy:
- Mohu si zkusit tipnout, budu mít nějakou pravděpodobnost, že uspěji.
- Informační zisk je tím větší, čím bylo těžší si daný výsledek tipnout.
- Čím méně pravděpodobná zpráva přišla, tím větší množství informace nese.
Shannonova věta (1948)
Číselnou hodnotu množství informace získáme, pokud spočteme záporný dvojkový logaritmus pravděpodobnosti přijaté zprávy:
I(x) = -log2 p(x)
Kde:
- I(x) ... množství informace v bitech,
- log2 (x) ... dvojkový logaritmus čísla x
- p(x) je pravděpodobnost zprávy x
- (Platí, že 0 >= p(x) >= 1.)
- Poznámka — počítání s logaritmy
log2 a (x) = log2 b (x) / log2b (a) log2 2 (x) = log2 10 (x) / log210 (2)
Jednotky množství informace
- Základní jednotkou množství informace je 1 bit (1 b).
- Odvozené jednotky jsou 1 byte (1 B) a násobné jednotky, tvořené předponami.
- Viz Jednotky množství informace.
Výpočty
Příklad 1: Hod kostkou
- Hodím kostkou, zajímá mne výsledek.
- Postupně zjistím:
- Vidím jen část kostky, v levém horním rohu je puntík.
- Zjistím, že v levém dolním rohu puntík není
- Zjistím, že padla trojka.
- Kolik informace jsem získal v jednotlivých krocích?
- Kolik informace bych se dozvěděl, kdybych číslo uviděl hned?
Příklad 2: Fotbal
- Slovácko nastoupilo proti Spartě. S jakou pravděpodobností vyhraje? — Rozhodněte!
- Na základě svého rozhodnutí spočítejte množství informace, které se dozvíte, když zjistíte, že:
- Slovácko vyhrálo,
- Slovácko prohrálo.
Úkol: Vodácký kurz
- Máme zadány následující předpoklady
- Pro školní kurz bylo zapůjčeno 8 lodí, z toho 4 kanoe, 4 rafty.
- Lodě jsou očíslované, kanoe čísly 1 až 4, rafty čísly 5 až 8.
- Každá kanoe je pro 2 osoby, rafty jsou pro 6 osob.
- 2 kanoe a 3 rafty jsou žluté, zbytek lodí je červených.
- V rámci kurzu budu přiřazen na libovolnou loď (nevím, na kterou).
- Spočtěte množství informace v následujících zprávách
- Byl jsem přirazen na kanoi.
- Byl jsem přiřazen na červenou loď.
- Byl jsem přiřazen na žlutý raft.
- Byl jsem přiřazen na kanoi číslo 3.
- Po přijetí zprávy, že jsem byl přiřazen na červenou loď, se dozvím další zprávu: pojedu na raftu.
- Nápověda
- Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!
Úkol: Jablko nepadá daleko od stromu ;)
- Máme 4 sady
- první sad čítá 200 stromů, druhý a třetí 400 stromů, čtvrtý 1000 stromů. (Předpokládáme, že všechny stromy rodí stejně.)
- Spočtěte, jaké množství informace se dozvím, když
- Zjistím, že jablko, které jím, je ze čtvrtého sadu.
- Zjistím, že jablko je ze druhého nebo třetího sadu.
Klíč řešení:
- Úkol (Vodácký kurz)
- 2 b
- ~ 1,68 b
- ~ 1,42 b
- 4 b
- ~ 0,74 b
- Úkol (Jablko)
- 1 b
- ~ 1,32 b