Vstup a výstup procesů, přesměrování

Verze z 23. 11. 2022, 07:26 (zobrazit zdroj) Spravce (diskuse | příspěvky) (Přidán <code>sed</code>.) ← Porovnání se starší verzí		Aktuální verze z 19. 12. 2023, 07:42 (zobrazit zdroj) Spravce (diskuse | příspěvky) (→Filtry: Přidán popis a přepínač -n k sort)
(Nejsou zobrazeny 3 mezilehlé verze od 1 uživatele.)
Řádka 57:		Řádka 57:
	; Propojení programů		; Propojení programů
	* <tt>program1 '''|''' program2</tt>		* <tt>program1 '''|''' program2</tt>
−	*: Roura (anglicky pipe). Slouží k propojení dvou procesů. Je to tedy vlastně nástroj pro komunikaci mezi procesy.	+	*: Roura (anglicky ''pipe''). Slouží k propojení dvou procesů. Je to tedy vlastně nástroj pro komunikaci mezi procesy.
−	*: Spustí se <tt>program2</tt>. Jako vstup dostane „konec roury“ (anglicky pipe). Pak se spustí program <tt>program1</tt>. Výstup z programu <tt>program1</tt> se posílá do „roury“ a <tt>program2</tt> ho dále zpracovává.	+	*: Spustí se <tt>program2</tt>. Jako vstup dostane „výstup z&nbsp;roury“. Pak se spustí program <tt>program1</tt>. Výstup z&nbsp;programu <tt>program1</tt> se posílá do „roury“ jako „vstup roury“ a rourou se posílá ke zpracování programu <tt>program2</tt>.
	ls | sort | head		ls | sort | head
	cat /etc/passwd | cut -d : -f 1 | sort		cat /etc/passwd | cut -d : -f 1 | sort
		+	* Propojením několika programů pomocí roury vznikne ''kolona příkazů'' (anglicky ''pipeline'').
	<div class="Poznamka">Poznámka: Funkci použitých příkazů najdete v kapitole [[#Filtry]].</div>		<div class="Poznamka">Poznámka: Funkci použitých příkazů najdete v kapitole [[#Filtry]].</div>
Řádka 86:		Řádka 87:
	== Filtry ==		== Filtry ==
−	Jako filtr označujeme program, který čte data ze standardního vstupu a zapisuje výsledky na standardní výstup. Typické unixové programy se tedy chovají jako filtry.	+	Jako ''filtr'' označujeme program, který čte data ze standardního vstupu a zapisuje výsledky na standardní výstup. Typické unixové programy se chovají jako filtry.
	* <code>cat</code>... čte vstup a opisuje data na výstup		* <code>cat</code>... čte vstup a opisuje data na výstup
Řádka 95:		Řádka 96:
	tar --help | less		tar --help | less
	* <code>head</code>... opíše na výstup jen prvních několik řádek vstupu		* <code>head</code>... opíše na výstup jen prvních několik řádek vstupu
		+	** Bez přepínačů uvede prvních 10 řádků. Přepínačem můžeme stanovit, kolik řádků se má opsat na výstup.
		+	head /proc/meminfo
	head -n 1 /proc/meminfo		head -n 1 /proc/meminfo
		+	head -5 /proc/meminfo
	* <code>tail</code>... opíše na výstup jen posledních několik řádek vstupu		* <code>tail</code>... opíše na výstup jen posledních několik řádek vstupu
		+	** Stejně jako u&nbsp;filtru <code>head</code> je výchozí hodnota 10 řádků a pomocí přepínače <code>-n</code> můžeme specifikovat počet opsaných řádků.
	tail /var/log/apache2/error_log		tail /var/log/apache2/error_log
		+	tail -5 /var/log/apache2/error_log
		+	tail -n 8 /var/log/apache2/error_log
	* <code>wc -l</code>... spočte počet řádek vstupu		* <code>wc -l</code>... spočte počet řádek vstupu
	ls | wc -l		ls | wc -l
Řádka 107:		Řádka 114:
	tar -xzf archiv.tar.gz		tar -xzf archiv.tar.gz
	* <code>unzip</code>... dekomprimuje data ze vstupu (metoda ZIP)		* <code>unzip</code>... dekomprimuje data ze vstupu (metoda ZIP)
−	* <code>sort</code>
−	cat /etc/passwd | cut -d : -f 1,5 | sort
	* <code>cut</code>... vybere jen některé sloupce z&nbsp;tabulky. Viz [[#Filtr cut|samostatná kapitolka]].		* <code>cut</code>... vybere jen některé sloupce z&nbsp;tabulky. Viz [[#Filtr cut|samostatná kapitolka]].
		+	* <code>sort</code>... seřadí řádky podle abecedy
		+	** Můžete použít také přepínače:
		+	** <code>sort -r</code>... sestupné pořadí (od Z k&nbsp;A)
		+	** <code>sort -n</code>... řadí číselné hodnoty (případně <code>-g</code> čísla mohou být ve veděckém formátu)
		+	head /etc/passwd | sort
		+	cut -d : -f 3,4 /etc/group | sort -nr
	* <code>nl</code>... očísluje řádky výstupu (šikovné u zdrojových kódů skriptů).		* <code>nl</code>... očísluje řádky výstupu (šikovné u zdrojových kódů skriptů).
	* <code>tee</code>... opisuje vstup na obrazovku i do souboru či do dvou souborů		* <code>tee</code>... opisuje vstup na obrazovku i do souboru či do dvou souborů
Řádka 126:		Řádka 137:
	* Program <code>cat</code> vlastně jen kopíruje data ze vstupu na výstup.		* Program <code>cat</code> vlastně jen kopíruje data ze vstupu na výstup.
−	* Pokud mu navíc zadáme jako parametr název souboru, čte data z tohoto souboru.	+	* Pokud mu navíc zadáme jako parametr název souboru, čte data z&nbsp;tohoto souboru.
	* Zamyslete se, co bude dělat, a vyzkoušejte:		* Zamyslete se, co bude dělat, a vyzkoušejte:
Řádka 180:		Řádka 191:
−	== Vyzkoušejte si ==	+	== Cvičení &mdash; vyzkoušejte si! ==
	* Vypište obsah aktuálního adresáře do souboru <tt>vypis.txt</tt>.		* Vypište obsah aktuálního adresáře do souboru <tt>vypis.txt</tt>.
	* Spočtěte, kolik souborů a složek je v podadresáři <tt>etc</tt> kořenového adresáře.		* Spočtěte, kolik souborů a složek je v podadresáři <tt>etc</tt> kořenového adresáře.
Řádka 189:		Řádka 200:
	* Vypište ty řádky souboru <tt>cpuinfo</tt> podadresáře <tt>proc</tt> kořenového adresáře, které obsahují slovo ''model''.		* Vypište ty řádky souboru <tt>cpuinfo</tt> podadresáře <tt>proc</tt> kořenového adresáře, které obsahují slovo ''model''.
	* Vypište uživatelská jména uživatelů registrovaných v systému s GNU/Linuxem. Každé jméno na jeden řádek. Jména seřaďte podle abecedy sestupně.		* Vypište uživatelská jména uživatelů registrovaných v systému s GNU/Linuxem. Každé jméno na jeden řádek. Jména seřaďte podle abecedy sestupně.
		+	* Vypište třetí, čtvrtý, pátý a šestý řádek souboru <tt>.bash</tt> v&nbsp;domovském adresáři uživatele. Ostatní řádky ignorujte.
		+	<div class="Poznamka">Řešení cvičení najdete úplně na konci textu.</div>
Řádka 220:		Řádka 233:
−	== Řešení úkolů ==	+	== Řešení cvičení ==
	ls > vypis.txt		ls > vypis.txt
	ls /etc | wc -l		ls /etc | wc -l
	ls /etc | grep w | wc -l		ls /etc | grep w | wc -l
−		+	ls /etc | grep w | wc -l >> vypis.txt
−	* Výsledek předchozího úkolu připojte na nový řádek do souboru <tt>vypis.txt</tt>.	+	ls /bin | less
−	* Zobrazte seznam souborů v adresáři <tt>/bin</tt>. Pokud se výpis nevleze na obrazovku, zařiďte, aby se vypsala jen první obrazovka a výpisem šlo listovat (nahoru, dolů, o celé stránky, vyhledávat).	+	ls /proc | sort | tail -5
−	* Vypište posledních 5&nbsp;souborů podle abecedy z&nbsp;podadresáře <tt>proc</tt> kořenového adresáře.	+	cat /proc/cpuinfo | grep model
−	* Vypište ty řádky souboru <tt>cpuinfo</tt> podadresáře <tt>proc</tt> kořenového adresáře, které obsahují slovo ''model''.	+	cat /etc/passwd | cut -d : -f 1 | sort -r
−	* Vypište uživatelská jména uživatelů registrovaných v systému s GNU/Linuxem. Každé jméno na jeden řádek. Jména seřaďte podle abecedy sestupně.	+	head -6 ~/.bash_history | tail -3
−		+
	== Související stránky ==		== Související stránky ==

---

Aktuální verze z 19. 12. 2023, 07:42

Obsah 1 K čemu je přesměrování vstupů? 2 Procesy v Unixu a Linuxu 3 Varianty přesměrování 4 Speciální soubory 5 Filtry 6 Hrátky — filtr cat;) 7 Filtr grep 8 Filtr cut 9 Zopakujte si 10 Cvičení — vyzkoušejte si! 11 Úkoly 12 Řešení cvičení 13 Související stránky 14 Zdroje

K čemu je přesměrování vstupů?

• Modelová situace: zpracovávám fotku pomocí utilit v příkazovém řádku.
• Potřebuji:
  • vzít fotku → doostřit → upravit kontrast → uložit výslednou fotku
• Filozofie Unixu předepisuje jednoduché programy, které dělají jednu věc a dělají ji dobře.
• Měl bych tedy mít pro každý úkol samostatný program.
• Abych nemusel pokaždé ukládat a znovu načítat, mohly by si programy výsledky předávat přímo???

Procesy v Unixu a Linuxu

Přesměrování vstupů je vlastně způsob komunikace mezi procesy. Proces si můžeme představit jako černou skříňku s:

• standardním vstupem... za normálních okolností /dev/stdin, tedy klávesnice.
• standardním výstupem... za normálních okolností /dev/stdout, tedy obrazovka.
• standardním chybovým výstupem... za normálních okolností /dev/stderr, tedy obrazovka.

Vstup a výstup programů pak můžeme navzájem propojit.

Varianty přesměrování

Přesměrování standardního výstupu do souboru

• program > soubor

  Zápis výstupu programu do souboru.

  Spustíme program s názvem program (tedy vznikne proces).

  Výstup procesu budeme zapisovat do souboru soubor.

  Pokud soubor neexistuje, vytvoří se. Pokud soubor již existuje, nová data přepíší ta, která v něm byla.

ls -l > ~/obsah_adresare.txt

• program >> soubor

  Stejně jako předchozí, ale pokud soubor již existuje, nově zapisovaná data se připojí na konec souboru.

echo "Druhy adresar:" >> ~/obsah_adresare.txt
ls druhy -l >> ~/obsah_adresare.txt

Přesměrování chybového výstupu do souboru

• program 2> soubor

  Chyby, které vypisuje program program se zapisují do souboru soubor.

cp a b 2> /dev/null
mv archiv.tar.gz zalohy 2> ~/zaloha_chyby.log

Přesměrování standardního vstupu

• program < soubor

  program čte data ze souboru soubor místo ze standardního vstupu (z klávesnice).

Propojení programů

• program1 | program2

  Roura (anglicky pipe). Slouží k propojení dvou procesů. Je to tedy vlastně nástroj pro komunikaci mezi procesy.

  Spustí se program2. Jako vstup dostane „výstup z roury“. Pak se spustí program program1. Výstup z programu program1 se posílá do „roury“ jako „vstup roury“ a rourou se posílá ke zpracování programu program2.

ls | sort | head
cat /etc/passwd | cut -d : -f 1 | sort

• Propojením několika programů pomocí roury vznikne kolona příkazů (anglicky pipeline).

Další příklady

cat /proc/meminfo
cat /proc/meminfo | head
cat /proc/meminfo | head -n 1 > memory.txt
cat /proc/meminfo | grep Free
cat /etc/passwd | grep student

Speciální soubory

Virtuální soubory reprezentující standardní vstup a výstup

• /dev/stdin... reprezentuje standardní vstup (klávesnici)
• /dev/stdout... reprezentuje standardní výstup (obrazovku)
• /dev/stderr... reprezentuje standardní chybový výstup (obrazovku)

Pomocné

• /dev/null... jakákoli data zapsaná do tohoto souboru se zahodí

cp ~/ahoj.txt /home/student/ahoj.txt 2> /dev/null

• /dev/zero... kdykoli budeme číst z tohoto souboru, dostaneme znak s ASCII kódem 0. Můžeme číst libovolně dlouho.
• /dev/random... kdykoli budeme číst z tohoto souboru, dostaneme náhodný byte. Můžeme číst libovolně dlouho.

Viz také: Významné složky GNU/Linuxu.

Filtry

Jako filtr označujeme program, který čte data ze standardního vstupu a zapisuje výsledky na standardní výstup. Typické unixové programy se chovají jako filtry.

• cat... čte vstup a opisuje data na výstup
• grep... čte vstup a opisuje na výstup jen řádky obsahující posloupnost znaků, zadanou jako parametr. Viz samostatná kapitolka.
• sed... umí nahradit zadanou posloupnost znaků ve vstupu jinou posloupností (podobně jako nahrazování v textových editorech).
  • Viz například: LinuxConfig.org → Learning Linux Commands: Sed.
• less... stránkování výstupu, ukončujeme stiskem „q“

tar --help | less

• head... opíše na výstup jen prvních několik řádek vstupu
  • Bez přepínačů uvede prvních 10 řádků. Přepínačem můžeme stanovit, kolik řádků se má opsat na výstup.

head /proc/meminfo
head -n 1 /proc/meminfo
head -5 /proc/meminfo

• tail... opíše na výstup jen posledních několik řádek vstupu
  • Stejně jako u filtru head je výchozí hodnota 10 řádků a pomocí přepínače -n můžeme specifikovat počet opsaných řádků.

tail /var/log/apache2/error_log
tail -5 /var/log/apache2/error_log
tail -n 8 /var/log/apache2/error_log

• wc -l... spočte počet řádek vstupu

ls | wc -l

• tar, gzip
  • tar bere vstupní soubory, spojí je do jednoho proudu a vypíše na výstup.
  • gzip komprimuje/dekomprimuje soubory (metoda GZIP).

tar -c * | gzip > archiv.tar.gz
tar -czf archiv.tar.gz *
tar -xzf archiv.tar.gz

• unzip... dekomprimuje data ze vstupu (metoda ZIP)
• cut... vybere jen některé sloupce z tabulky. Viz samostatná kapitolka.
• sort... seřadí řádky podle abecedy
  • Můžete použít také přepínače:
  • sort -r... sestupné pořadí (od Z k A)
  • sort -n... řadí číselné hodnoty (případně -g čísla mohou být ve veděckém formátu)

head /etc/passwd | sort
cut -d : -f 3,4 /etc/group | sort -nr

• nl... očísluje řádky výstupu (šikovné u zdrojových kódů skriptů).
• tee... opisuje vstup na obrazovku i do souboru či do dvou souborů

$ date | tee file1 file2   
Thu Jun 10 11:10:34 CEST 2004
$ cat file1   
Thu Jun 10 11:10:34 CEST 2004

• uniq... filtruje po sobě následující duplicitní řádky ze vstupu.
• tr.. (TRanslate)
  • Nahrazuje ve vstupu zadané znaky jinými (podle tabulky) a vypisuje na výstup.

Úkoly

• Vypište druhý řádek ze souboru /proc/meminfo.

Hrátky — filtr cat;)

• Program cat vlastně jen kopíruje data ze vstupu na výstup.
• Pokud mu navíc zadáme jako parametr název souboru, čte data z tohoto souboru.

• Zamyslete se, co bude dělat, a vyzkoušejte:

cat

• Pozn.: ukončení vstupního souboru provedeme kombinací: Ctrl+D ;)

cat > /dev/stdout
cat > pokus.txt
cat /dev/stdin
cat < /etc/passwd

Filtr grep

• Vybírá ze vstupu řádky, které obsahují zadaný text.
• Text může být specifikován přímo, nebo pomocí regulárních výrazů.
• Příklady speciálních znaků:
  • . ... nahrazuje jeden libovolný znak .
  • * ... znamená, že předchozí znak se může opakovat libovolně — tedy i „nulakrát“ (může být vypuštěn úplně).
  • \ ... odebírá speciální význam následujícímu znaku
  • [abx-y] ... libovolný ze znaků a, b a x až y

Příklady použití

ls | grep a.[0-9]\.jpg

• Akceptuje soubory: ab3.jpg, a19.jpg, az0.jpg, a.0.jpg
• Ale neakceptuje soubory: ab.jpg, a.jpg, a1u.jpg, a9i.jpg, a.72jpg

Úkoly

• Vypište ze souboru /etc/passwd řádek, který se týká aktuálně přihlášeného uživatele.

Filtr cut

• Na vstupu očekává textově zapsanou tabulku (podobný formát jako u souborů CSV).
• Vybere jen zvolené sloupce z „tabulky“.

Parametry

-d :

• Zadává oddělovač jednotlivých „buněk tabulky“.

-f 1,3

• Zadává, které „sloupce“ z tabulky se mají vypsat.

Příklad

• Typickým příkladem je práce se souborem /etc/passwd.
• Soubor /etc/passwd obsahuje údaje o uživatelích. Na každém řádku je jeden uživatel, údaje jsou odděleny znakem :.

cut /etc/passwd -d : -f 1,6

• Vypíše na obrazovku seznam uživatelských účtů a domovské složky uživatelů.
• Jedná se o sloupečky 1 a 6 z souboru /etc/passwd. Oddělovačem je standardně dvojtečka.

Zopakujte si

• Co je to „filtr“ v kontextu povídání o Linuxu a příkazové řádce?
• Co znamenají pojmy: kolona, roura (pipe).
• Na jaká zařízení jsou přesměrovány: standardní vstup, výstup a chybový výstup?
• Jaký je rozdíl mezi |, >, 2> a >>?

Cvičení — vyzkoušejte si!

• Vypište obsah aktuálního adresáře do souboru vypis.txt.
• Spočtěte, kolik souborů a složek je v podadresáři etc kořenového adresáře.
• V předchozím úkolu zahrňte jen soubory obsahující v názvu písmeno w.
• Výsledek předchozího úkolu připojte na nový řádek do souboru vypis.txt.
• Zobrazte seznam souborů v adresáři /bin. Pokud se výpis nevleze na obrazovku, zařiďte, aby se vypsala jen první obrazovka a výpisem šlo listovat (nahoru, dolů, o celé stránky, vyhledávat).
• Vypište posledních 5 souborů podle abecedy z podadresáře proc kořenového adresáře.
• Vypište ty řádky souboru cpuinfo podadresáře proc kořenového adresáře, které obsahují slovo model.
• Vypište uživatelská jména uživatelů registrovaných v systému s GNU/Linuxem. Každé jméno na jeden řádek. Jména seřaďte podle abecedy sestupně.
• Vypište třetí, čtvrtý, pátý a šestý řádek souboru .bash v domovském adresáři uživatele. Ostatní řádky ignorujte.

Úkoly

Úkol 1. — Formátovaný výstup

• Napište posloupnost příkazů, která vytvoří soubor ve tvaru:
  1. Několik pomlček
  2. Text "Adresář:"
  3. Cesta k aktuálnímu adresáři
  4. Text "Obsahuje soubory:"
  5. Výpis souborů, které jsou v aktuálním adresáři.
• Příklad výstupu:

---------------
Adresář:
/home/student
obsahuje soubory:
Desktop
Downloads
a.txt
----------------

Úkol 2. — Špatné filtrování?

• Chci vybrat z textového souboru uživatele s jednou konkrétní doménou (seznam.cz).
• Proč nefunguje tento postup:

echo Eduard; Karásek; karaed@seznam.cz; 48 > data.txt
echo Karel; Seznamicz; karel@seznamicz.cr; 25 >> data.txt
echo Jana; Dolanská; dolanska@centrum.cz; 37 >> data.txt

cat data.txt | grep @seznam.cz

• Opravte příkazy!

Řešení cvičení

ls > vypis.txt
ls /etc | wc -l
ls /etc | grep w | wc -l
ls /etc | grep w | wc -l >> vypis.txt
ls /bin | less
ls /proc | sort | tail -5
cat /proc/cpuinfo | grep model
cat /etc/passwd | cut -d : -f 1 | sort -r
head -6 ~/.bash_history | tail -3

Související stránky

• Regulární výrazy

Zdroje

• codecoffee.com > Tips for Linux > Input/Output Redirection in Unix
• LinuxConfig.org → Learning Linux Commands: Sed