Vyhledávač

Obsah 1 Typy vyhledávačů 1.1 Katalogový vyhledávač 1.2 Fulltextový vyhledávač 1.3 Metavyhledávač 2 Funkce fulltextového vyhledávače 2.1 Vytváření indexu (databáze) 2.2 Zpracování dotazu 2.3 Moduly fulltextového vyhledávače 3 Relevance fráze 4 Význam dokumentu 5 Historie vyhledávačů 6 Tipy pro vyhledávání

Typy vyhledávačů

Katalogový vyhledávač

• Historicky starší varianta.
• Obvykle pevně dané kategorie, podle kterých se třídí.
• Odkazy zařazují obvykle lidé.
• Někdy se za umístění do katalogu platí.
• Příklad: Firmy.cz (součást Seznamu.cz)

Fulltextový vyhledávač

• „Katalog“ se vytváří automaticky podle četnosti výskytu slov ve stránce a dalších indicií.
• Příklady:
  • Seznam.cz,
  • Google.com,
  • DuckDuckGo.com (neukládá informace o uživateli a jeho vyhledávání)

Metavyhledávač

• Agreguje výsledky více vyhledávačů.

Funkce fulltextového vyhledávače

Vytváření indexu (databáze)

• prochází stránky automaticky
  • „robot“ pro stahování stránek,
  • analýza stránek, hledání frází.
• o přečtených stránkách si udržuje statistiku významu frází pro danou stránku
  • tabulka výskytů frází v dokumentech,
  • umístění frází ve stránce/dokumentu,
  • ...
• hodnotí význam stránek (page-rank)
  • podle počtu odkazů na stránku a významu stránek, které se na tuto odkazují.

Zpracování dotazu

• Převod zadaných slov na fráze,
  • vyřazení krátkých slov
  • převod na synonyma
  • lemmatizace (nalezení kořene slova)
  • derivace
    • odstranění skloňování, časování
  • ...
• Podle indexu spočítá pro každý dokument „ohodnocení“ jeho relevance vzhledem k dotazu
  • pro každou frázi procházíme seznam dokumentů, které ji obsahují,
  • kontrolujeme, zda dokument vyhovuje zbytku dotazu,
  • u vyhovujících dokumentů zhodnotíme „relevanci“.
• Promítné hodnocení významu stránek
• Vypíše stránky s nejlepším hodnocením

Moduly fulltextového vyhledávače

• URL server
  • při čtení dokumentu získává URL adresy a dává je crawleru,
• Vyhledávací robot (crawler)
  • stahování nových stránek, ukládá do repository (úložiště),
• idexovač: analýza obsahu stránek, získává:
  • odkazy na dosud neznámé stránky,
  • hledané fráze, jejich umístění atd.
• URL resolver
  • převádí všechny tvary URL adres na ID dokumentů,
  • generuje page-rank.
• Třídič: tvorba invertovaného seznamu.
• Hodnocení stránek
  • výpočet page-rank
• Úložiště (repository)
  • Databáze URL adres
  • Archiv stránek
• Slovník
  • hledání synonym atd.
• Index (databáze, invertovaný seznam)
  • „tabulka“
  • udává, jak je který termín významný pro danou stránku

Relevance fráze

• Jak významná je hledaná fráze pro dokument?

Vliv má

• kolikrát se fráze v dokumentu vyskytuje?
• je uvedena v názvu stránky?
• je uvedena v hlavičce v keywords? (někdy se záměrně ignoruje)
• je uvedena v adrese?
• je na stránce fráze zvýrazněná?
• …

Význam dokumentu

Při množství stránek v dnešním Internetu je třeba hodnotit stránky ještě jinými způsoby než jen podle výskytu hledaných frází.

Page-rank

• Algoritmus představený poprvé ve vyhledávači Google.
• Dnes implementují v nějaké formě všechny fulltextové vyhledávače.

Jak významný je dokument?

• Kolik velkých stránek (stránek s dobrý hodnocením) odkazuje na dokument?
• Kolik odkazů na dokument máme?

Hodnotí se také další vlivy

• Je dokument validní?
• Není v dokumentu nápadně mnoho výskytů stejného slova?
• Je dokument dobře strukturován?
• …

Historie vyhledávačů

Google (1998)

• Autoři Larry Page (narozen 1974) a Sergey Brin (narozen 1974)
• Vznikl jako vědecký projekt na Stanfordské univerzitě.
• 7. října 1998 založena Google Inc. jako samostatná firma.
• Jedná se o příklad fulltextového vyhledávače.
• Jako první úspěšně využil odkazů mezi stránkami pro hodnocení relevance stránek (algoritmus Page-rank).

Tipy pro vyhledávání

• ne předložky a spojky, jednopísmenná slova
• jen podstatná slova
• nejdůležitější slova první

Pokročilé vyhledávání

• Vyhledat nějaké slovo → ikona „ozubené kolečko“ → pokročilé vyhlevádání
• site: podsíť, ve které se vyhledává

VOŠ site:www.oauh.cz

• filetype: typ souboru
  • speciálně vyhledávání obrázků
• Uvozovky — hledání přesné fráze — slova se musí vyskytovat v tomto pořadí:

"obchodní škola"

• Konkrétní umístění fráze:
  • v titulku stránky, v adrese, v textu stránky,…
• Omezení stáří dokumentu.
• Znaménko „minus“ znamená vyloučení.
  1. Hledáme stránky, obsahující slovo virus a neobsahující přitom slovo internet.
  2. Hledáme slovo VOŠ někde jinde než na stránkách OAUH.cz:

virus –internet
VOŠ –site:www.oauh.cz