Zobrazit zdroj

[[Category:VSE]][[Category:Informatika]][[Category:Teoretická informatika]][[Category:Principy IT]]

== Definice množství informace ==
<div class="Definice">
Definice: Množství informace obsažené ve zprávě je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději, odstraněné realizací tohoto děje.
</div>

; Interpretace:
* zajímá mě výsledek nějakého děje (minulého nebo budoucího)
* dozvím se výsledek
* měřím vlastně ''hodnotu'' informace, kterou jsem získal

Jinými slovy:
* Mohu si zkusit tipnout, budu mít nějakou pravděpodobnost, že uspěji.
* Informační zisk je tím větší, čím bylo těžší si daný výsledek tipnout.
* Čím méně pravděpodobná zpráva přišla, tím větší množství informace nese.


== Shannonova věta (1948) ==
<div class="Definice">
Číselnou hodnotu množství informace získáme, pokud spočteme záporný dvojkový logaritmus pravděpodobnosti přijaté zprávy:
 I(x) = -log<sub>2</sub> p(x)
</div>
Kde:
* I(x) ... množství informace v bitech,
* <tt>log<sub>2</sub> (x)</tt> ... dvojkový logaritmus čísla <tt>x</tt>
* <tt>p(x)</tt> je pravděpodobnost zprávy <tt>x</tt>
* (Platí, že <tt>0 &lt;= p(x) &lt;= 1</tt>.)

<div class="Poznamka">
; Poznámka &mdash; počítání s logaritmy
Pokud nemáme k&nbsp;dispozici kalkulačku, která by uměla počítat dvojkový logaritmus, můžeme použít tvrzení, které říká, že pro libovolné celé číslo <code>b</code> platí:
 log<sub>a</sub>(x) = log<sub>b</sub>(x) / log<sub>b</sub>(a)
My obvykle za <code>b</code> dosazujeme buď <code>10</code> nebo číslo <code>e</code> (základ přirozeného logaritmu) a&nbsp;dvojkový logaritmus nahrazujeme na kalkulačce:
 log<sub>2</sub>(x) = log<sub>10</sub>(x) / log<sub>10</sub>(2)
nebo:
 ln(x) = ln(x) / ln(2)
</div>

== Jednotky množství informace ==
* Základní jednotkou množství informace je 1 bit (1 b).
* Odvozené jednotky jsou 1 byte (1 B) a násobné jednotky, tvořené předponami.
* Viz [[Jednotky množství informace]].


== Výpočty ==

=== Příklad 1: Hod kostkou ===
* Hodím kostkou, zajímá mne výsledek.
* Postupně zjistím:
*#Vidím jen část kostky, v levém horním rohu je puntík.
*#Zjistím, že v levém dolním rohu puntík není
*#Zjistím, že padla trojka.
*Kolik informace jsem získal v jednotlivých krocích?
*Kolik informace bych se dozvěděl, kdybych číslo uviděl hned?

=== Příklad 2: Fotbal ===
* Slovácko nastoupilo proti Spartě. S jakou pravděpodobností vyhraje? &mdash; Rozhodněte!
* Na základě svého rozhodnutí spočítejte množství informace, které se dozvíte, když zjistíte, že:
*# Slovácko vyhrálo,
*# Slovácko prohrálo.

=== Úkol: Vodácký kurz ===
; Máme zadány následující předpoklady:
* Pro školní kurz bylo zapůjčeno 8 lodí, z toho 4 kanoe, 4 rafty.
* Lodě jsou očíslované, kanoe čísly 1 až 4, rafty čísly 5 až 8.
* Každá kanoe je pro 2 osoby, rafty jsou pro 6 osob.
* 2 kanoe a 3 rafty jsou žluté, zbytek lodí je červených.
* V rámci kurzu budu přiřazen na libovolnou loď (nevím, na kterou).

; Spočtěte množství informace v následujících zprávách:
# Byl jsem přirazen na kanoi.
# Byl jsem přiřazen na červenou loď.
# Byl jsem přiřazen na žlutý raft.
# Byl jsem přiřazen na kanoi číslo 3.
# Po přijetí zprávy, že jsem byl přiřazen na červenou loď, se dozvím další zprávu: pojedu na raftu.

; Nápověda: Nezapomeňte, že na raftech pojede celkem 24 osob, na kanoích jen 8 osob!!!

=== Úkol: Jablko nepadá daleko od stromu ;) ===
; Máme 4 sady: 
* první sad čítá 200 stromů, druhý a třetí 400 stromů, čtvrtý 1000 stromů. (Předpokládáme, že všechny stromy rodí stejně.)
; Spočtěte, jaké množství informace se dozvím, když:
# Zjistím, že jablko, které jím, je ze čtvrtého sadu.
# Zjistím, že jablko je ze druhého nebo třetího sadu.

=== Klíč řešení: ===
; Úkol (Vodácký kurz)
# 2 b
# ~ 1,68 b
# ~ 1,42 b
# 4 b
# ~ 0,74 b
; Úkol (Jablko)
# 1 b
# ~ 1,32 b