Souborové systémy
Z MiS
(Rozdíly mezi verzemi)
(→Žurnálování: Opravena definice) |
(→Žurnálování: Upřesněn popis žurnálu a žurnálování.) |
||
| (Není zobrazeno 17 mezilehlých verzí od 1 uživatele.) | |||
| Řádka 1: | Řádka 1: | ||
[[Category:VSE]][[Category:Informatika]][[Category:OSY]][[Category:Ukládání_dat]] | [[Category:VSE]][[Category:Informatika]][[Category:OSY]][[Category:Ukládání_dat]] | ||
| + | |||
== Souborový systém == | == Souborový systém == | ||
| − | ; Na disk ukládáme: | + | ; K čemu je souborový systém? |
| − | * data souborů | + | * Pevný disk z pohledu HW je pouze dlouhá posloupnost stejně velkých sektorů, do kterých můžeme zapsat data. |
| − | * ''metadata'' | + | * Abychom se ale v datech vyznali, potřebujeme je uspořádat do souborů, soubory umístit do složek a ty zase do nadřazených složek. |
| − | ** | + | * Kromě samotných dat tedy musíme ukládat i pomocné informace. |
| − | ** vlastník souboru | + | |
| + | ; Na disk tedy ukládáme: | ||
| + | * data (obsah souborů, to, co uživatel chce uložit) | ||
| + | * ''metadata'' (pomocné informace) | ||
| + | ** ke kterému souboru daný kousek dat patří | ||
| + | ** informace pro vyhledávání: umístění ve složkách, názvy souborů,... | ||
| + | ** informace pro zabezpečení: vlastník souboru, práva pro přístup,... | ||
| + | ** další pomocné informace | ||
; Souborový systém | ; Souborový systém | ||
| Řádka 14: | Řádka 22: | ||
</div> | </div> | ||
| − | == | + | |
| − | + | == Formátování disku == | |
| − | *Základní | + | * Vytváření souborového systému na logickém oddílu se označuje slovem ''formátování disku''. |
| − | * | + | |
| − | * | + | |
| − | + | == Cluster == | |
| − | *Pro celý souborový systém musí být jednotná velikost. | + | * Podle konkrétního souborového systému se označuje ''cluster'', ''datový blok'' či ''alokační jednotka''. |
| + | * Základní jednotka pro zápis dat do datové oblasti logického disku. | ||
| + | * Každý soubor zabírá vždy minimálně jeden cluster. Jeden cluster může zabírat jeden nebo více sektorů. | ||
| + | * Všechny clustery jsou stejně veliké, velikost nastavujeme při formátování. | ||
| + | * Pro celý souborový systém musí být jednotná velikost. | ||
| + | * Velikost clusteru se obvykle nastavuje na 2–4 kB. (U FAT32 se musí nastavit větší velikost clusteru, protože rozsah počtu clusterů je malý.) | ||
| + | |||
| + | ; Vliv velikosti clusteru na výkon FS | ||
| + | * menší clustery: nižší [[Defragmentace#Vnit.C5.99n.C3.AD_.C3.97_vn.C4.9Bj.C5.A1.C3.AD_fragmentace|vnitřní fragmentace'']]. | ||
| + | * větší clustery: | ||
| + | *# pokud mám na disku velké soubory, je třeba provést méně dílčích čtení pro načtení velkého souborů. | ||
| + | *# bude docházet k menší [[Defragmentace#Vnit.C5.99n.C3.AD_.C3.97_vn.C4.9Bj.C5.A1.C3.AD_fragmentace|vnější fragmentaci]] | ||
== Žurnálování == | == Žurnálování == | ||
* Způsob práce s diskem, kdy využívám speciální datovou strukturu (''žurnál''), abych zabránil poškození souborového systému při havárii počítače. | * Způsob práce s diskem, kdy využívám speciální datovou strukturu (''žurnál''), abych zabránil poškození souborového systému při havárii počítače. | ||
| + | * Na disku tedy vyhradím místo, do kterého budu zapisovat v dohodnutém formátu informace o tom, jaké operace na disku právě provádím. (Toto místo budu označovat žurnál.) | ||
; Princip | ; Princip | ||
* Když chci provádět diskovou operaci (mazat soubor, měnit nebo vytvářet soubor, vytvářet složku,...), pak: | * Když chci provádět diskovou operaci (mazat soubor, měnit nebo vytvářet soubor, vytvářet složku,...), pak: | ||
| − | *#Nejprve do žurnálu zapíši, co budu provádět. | + | *# Nejprve do žurnálu zapíši, co budu provádět. |
| − | *# Pak | + | *# Pak provedu diskovou operaci. |
| − | *# Pokud se operace dokončí v pořádku, | + | *# Pokud se operace dokončí v pořádku, zapíši do žurnálu, že je operace dokončena (commit). (Nebo ji ze žurnálu úplně vymažu.) |
| − | ; Co když dojde k přerušení operace? | + | ; Co když dojde k přerušení operace uprosřed (například při havárii počítače)? |
| − | * Při | + | * Při příštím spuštění počítače při startu operačního systému zkontrolujeme žurnál a najdeme tam informaci o operacích, které nejsou dokončené. |
| − | * Tyto přerušené operace | + | * Tyto přerušené operace buď dokončíme (pokud to jde), nebo zrušíme všechny dílčí kroky provedené doposud. (Odvoláme tyto operace.) |
| + | * Například pokud jsme mazali soubor, můžeme to dokončit, protože je v žurnálu zapsané, který soubor jsme mazali. | ||
| + | * Na druhou stranu když jsme ukládali do nového souboru data z operační paměti, data jsou již ztracena, protože obsah operační paměti se ztratil. Můžeme ale odstranit metadata tohoto nového souboru, aby na disku nezůstal napůl vytvořený soubor s neplatnými daty. | ||
<div class="Poznamka"> | <div class="Poznamka"> | ||
; Poznámky | ; Poznámky | ||
| − | * Funkce žurnálování může být narušeno užitím cache v disku. (Disk nahlásí dokončení operace, ale data jsou jen v cache, nikoli fyzicky zapsána na disk.) | + | * Funkce žurnálování může být narušeno užitím cache v disku. (Disk nahlásí dokončení operace, ale data jsou jen v cache, nikoli fyzicky zapsána na disk. Při havárii počítače se tedy data ztratí, ačkoli v žurnálu jsou vedeny jako dokončené.) |
| − | *Žurnálování nevyřeší ztrátu dat, která se nestihla zapisat na pevný disk! Nicméně zajišťuje, že nedojde k porušení souborového systému. | + | * Žurnálování nevyřeší ztrátu dat, která se nestihla zapisat na pevný disk! Nicméně zajišťuje, že nedojde k porušení souborového systému (metadat). |
</div> | </div> | ||
| Řádka 47: | Řádka 69: | ||
* možnost vytváření snímků (image), | * možnost vytváření snímků (image), | ||
* ... | * ... | ||
| + | |||
== Typy souborových systémů == | == Typy souborových systémů == | ||
| − | * | + | * Diskové |
| − | * | + | ** Běžně známé FS: NTFS, ext2/ext3/ext4, FAT32, btrfs,... |
| − | * | + | ** Viz [[Příklady souborových systémů]]. |
| − | + | * Síťové (NFS, SMB,...) | |
| − | + | * Paměťové (<tt>tmpfs</tt>) | |
| − | + | * Virtuální (<tt>procfs</tt> — viz [[Adresář /proc| adresář <tt>/proc</tt>]], <tt>fdfs</tt>) | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | * | + | |
| − | * | + | |
| − | * | + | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | * | + | |
| − | * | + | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | === | + | == Související pojmy == |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | === | + | === LVM === |
| − | * | + | * Systém pro správu logických oblastí. |
| − | * | + | * Dělá mezivrstvu mezi operačním systémem a fyzickým rozdělením disku (MBR, GPT,...). |
| − | + | * Umožňuje snadno měnit velikosti logických svazků, zálohovat logické svazky, simulovat RAID atd. | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | * | + | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | === | + | === RAID === |
| − | * | + | * Využití více fyzických disků pro redundantní ukládání dat. |
| − | * | + | * Při výpadku jednoho disku nepřijdu o data, data jdou dopočítat z informací na ostatních discích. |
| − | + | * Nicméně nemohu využít celý součet kapacit všech disků, část celkové kapacity je využita pro kontrolní součty. | |
| − | + | Režimy: RAID 0, RAID 1, RAID 5,... | |
| − | * | + | |
| − | + | ||
| − | + | ||
| − | + | ||
| + | === TRIM === | ||
| + | * Týká se SSD disků. Jedná se o příkazy ATA/SCSI/PCIe, které disk buď podporuje, nebo nepodporuje (dnešní SSD disky obvykle podporují). | ||
| + | * Podle rozhraní používají disky jiné příkazy, princip je ale stejný: TRIM u ATA (SATA rozhraní), UNMAP u SCSI rozhraní, DEALLOCATE u NVMe (PCIe rozhraní). | ||
| + | * Umožňuje mazat jednotlivé stránky bez nutnosti přepisovat celý blok dat. Tím snižuje opotřebení disku a zvyšuje životnost. | ||
| + | * Zároveň se při mazání bloky pouze označí jako nevyužité, samotné smazání dat lze provést až později. To umožňuje rychlejší zápis dat (není třeba blok nejprve přečíst, pokud je označen jako smazaný, mazání dat provede řadič až později). | ||
| + | * Zapnutí TRIM viz: [[Nástroje pro práci s diskem#Funkce TRIM u SSD| Nástroje pro práci s diskem]]. | ||
| + | * Zdroje: [https://www.digitalcitizen.life/simple-questions-what-trim-ssds-why-it-useful DigitalCitizen.life → What is SSD TRIM], [https://searchstorage.techtarget.com/definition/TRIM TechTarget.com → TRIM] | ||
== Související stránky == | == Související stránky == | ||
| − | * [[Rozdělení disku]] | + | * [[Rozdělení disku]], [[Defragmentace]], [[Příklady souborových systémů]], [[Nástroje pro práci s diskem]] |
Aktuální verze z 19. 11. 2020, 20:31
Obsah |
Souborový systém
- K čemu je souborový systém?
- Pevný disk z pohledu HW je pouze dlouhá posloupnost stejně velkých sektorů, do kterých můžeme zapsat data.
- Abychom se ale v datech vyznali, potřebujeme je uspořádat do souborů, soubory umístit do složek a ty zase do nadřazených složek.
- Kromě samotných dat tedy musíme ukládat i pomocné informace.
- Na disk tedy ukládáme
- data (obsah souborů, to, co uživatel chce uložit)
- metadata (pomocné informace)
- ke kterému souboru daný kousek dat patří
- informace pro vyhledávání: umístění ve složkách, názvy souborů,...
- informace pro zabezpečení: vlastník souboru, práva pro přístup,...
- další pomocné informace
- Souborový systém
Souborový systém (FS) je:
- formát zápisu metadat („Používám souborový systém ext3.“)
- označení pro konkrétní metadata na disku („Došlo k poškození souborového systému.“)
Formátování disku
- Vytváření souborového systému na logickém oddílu se označuje slovem formátování disku.
Cluster
- Podle konkrétního souborového systému se označuje cluster, datový blok či alokační jednotka.
- Základní jednotka pro zápis dat do datové oblasti logického disku.
- Každý soubor zabírá vždy minimálně jeden cluster. Jeden cluster může zabírat jeden nebo více sektorů.
- Všechny clustery jsou stejně veliké, velikost nastavujeme při formátování.
- Pro celý souborový systém musí být jednotná velikost.
- Velikost clusteru se obvykle nastavuje na 2–4 kB. (U FAT32 se musí nastavit větší velikost clusteru, protože rozsah počtu clusterů je malý.)
- Vliv velikosti clusteru na výkon FS
- menší clustery: nižší vnitřní fragmentace.
- větší clustery:
- pokud mám na disku velké soubory, je třeba provést méně dílčích čtení pro načtení velkého souborů.
- bude docházet k menší vnější fragmentaci
Žurnálování
- Způsob práce s diskem, kdy využívám speciální datovou strukturu (žurnál), abych zabránil poškození souborového systému při havárii počítače.
- Na disku tedy vyhradím místo, do kterého budu zapisovat v dohodnutém formátu informace o tom, jaké operace na disku právě provádím. (Toto místo budu označovat žurnál.)
- Princip
- Když chci provádět diskovou operaci (mazat soubor, měnit nebo vytvářet soubor, vytvářet složku,...), pak:
- Nejprve do žurnálu zapíši, co budu provádět.
- Pak provedu diskovou operaci.
- Pokud se operace dokončí v pořádku, zapíši do žurnálu, že je operace dokončena (commit). (Nebo ji ze žurnálu úplně vymažu.)
- Co když dojde k přerušení operace uprosřed (například při havárii počítače)?
- Při příštím spuštění počítače při startu operačního systému zkontrolujeme žurnál a najdeme tam informaci o operacích, které nejsou dokončené.
- Tyto přerušené operace buď dokončíme (pokud to jde), nebo zrušíme všechny dílčí kroky provedené doposud. (Odvoláme tyto operace.)
- Například pokud jsme mazali soubor, můžeme to dokončit, protože je v žurnálu zapsané, který soubor jsme mazali.
- Na druhou stranu když jsme ukládali do nového souboru data z operační paměti, data jsou již ztracena, protože obsah operační paměti se ztratil. Můžeme ale odstranit metadata tohoto nového souboru, aby na disku nezůstal napůl vytvořený soubor s neplatnými daty.
- Poznámky
- Funkce žurnálování může být narušeno užitím cache v disku. (Disk nahlásí dokončení operace, ale data jsou jen v cache, nikoli fyzicky zapsána na disk. Při havárii počítače se tedy data ztratí, ačkoli v žurnálu jsou vedeny jako dokončené.)
- Žurnálování nevyřeší ztrátu dat, která se nestihla zapisat na pevný disk! Nicméně zajišťuje, že nedojde k porušení souborového systému (metadat).
Další vlastnosti FS
- maximální velikost diskového oddílu,
- maximální velikos souboru,
- podpora nastavení práv,
- možnost vytváření snímků (image),
- ...
Typy souborových systémů
- Diskové
- Běžně známé FS: NTFS, ext2/ext3/ext4, FAT32, btrfs,...
- Viz Příklady souborových systémů.
- Síťové (NFS, SMB,...)
- Paměťové (tmpfs)
- Virtuální (procfs — viz adresář /proc, fdfs)
Související pojmy
LVM
- Systém pro správu logických oblastí.
- Dělá mezivrstvu mezi operačním systémem a fyzickým rozdělením disku (MBR, GPT,...).
- Umožňuje snadno měnit velikosti logických svazků, zálohovat logické svazky, simulovat RAID atd.
RAID
- Využití více fyzických disků pro redundantní ukládání dat.
- Při výpadku jednoho disku nepřijdu o data, data jdou dopočítat z informací na ostatních discích.
- Nicméně nemohu využít celý součet kapacit všech disků, část celkové kapacity je využita pro kontrolní součty.
Režimy: RAID 0, RAID 1, RAID 5,...
TRIM
- Týká se SSD disků. Jedná se o příkazy ATA/SCSI/PCIe, které disk buď podporuje, nebo nepodporuje (dnešní SSD disky obvykle podporují).
- Podle rozhraní používají disky jiné příkazy, princip je ale stejný: TRIM u ATA (SATA rozhraní), UNMAP u SCSI rozhraní, DEALLOCATE u NVMe (PCIe rozhraní).
- Umožňuje mazat jednotlivé stránky bez nutnosti přepisovat celý blok dat. Tím snižuje opotřebení disku a zvyšuje životnost.
- Zároveň se při mazání bloky pouze označí jako nevyužité, samotné smazání dat lze provést až později. To umožňuje rychlejší zápis dat (není třeba blok nejprve přečíst, pokud je označen jako smazaný, mazání dat provede řadič až později).
- Zapnutí TRIM viz: Nástroje pro práci s diskem.
- Zdroje: DigitalCitizen.life → What is SSD TRIM, TechTarget.com → TRIM
