Vstup a výstup procesů, přesměrování

Z MiS
(Rozdíly mezi verzemi)
Přejít na: navigace, hledání
(Varianty přesměrování: Podrobné vysvětlení významu operátorů)
(Přidány další úkoly, doplněno řešení některých úkolů - ostatní dodělat.)
(Není zobrazeno 17 mezilehlých verzí od 1 uživatele.)
Řádka 1: Řádka 1:
[[Category:VSE]]
+
[[Category:VSE]][[Category:Informatika]][[Category:Linux]][[Category:OSY]][[Category:Příkazový řádek]]
[[Category:Informatika]]
+
[[Category:Linux]]
+
[[Category:OSY]]
+
  
 
<div class="Motto">
 
<div class="Motto">
Řádka 8: Řádka 5:
 
&nbsp;&nbsp;Write programs to work together.<br />
 
&nbsp;&nbsp;Write programs to work together.<br />
 
&nbsp;&nbsp;Write programs that handle text streams, because that is an universal interface.“<br />
 
&nbsp;&nbsp;Write programs that handle text streams, because that is an universal interface.“<br />
<div style="text-align: center">(McIlroy)</div>
+
<div style="text-align: center">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Douglas McIlroy</div>
 
</div>
 
</div>
  
== K čemu to je? (modelová situace) ==
+
 
* Zpracovávám fotku pomocí utilit v příkazovém řádku.
+
== K čemu je přesměrování vstupů? ==
* Filozofie Unixu:  
+
* Modelová situace: zpracovávám fotku pomocí utilit v příkazovém řádku.
** předepisuje jednoduché programy, které dělají jednu věc a dělají ji dobře.
+
* Potřebuji:
* Tedy potřebuji:
+
** vzít fotku &rarr; doostřit &rarr; upravit kontrast &rarr; uložit výslednou fotku
** vzít fotku-> doostřit -> upravit kontrast -> uložit výslednou fotku
+
* [[Charakteristika Unixu|Filozofie Unixu]] předepisuje jednoduché programy, které dělají jednu věc a dělají ji dobře.
 +
* Měl bych tedy mít pro každý úkol samostatný program.
 
* Abych nemusel pokaždé ukládat a znovu načítat, mohly by si programy výsledky předávat přímo???
 
* Abych nemusel pokaždé ukládat a znovu načítat, mohly by si programy výsledky předávat přímo???
* Filozofie Unixu:
 
** programy by měly umět snadno komunikovat,
 
** dobrým prostředkem pro komunikaci jsou textové proudy.
 
  
== Poznámka ==
 
Vlastně se tedy jedná o způsob komunikace mezi procesy.
 
  
== Hrátky: program <tt>cat</tt> ==
+
== Procesy v Unixu a Linuxu ==
*ukončení vstupu: Ctrl+D
+
Přesměrování vstupů je vlastně způsob komunikace mezi procesy.
 +
Proces si můžeme představit jako černou skříňku s:
 +
* standardním vstupem... za normálních okolností <tt>/dev/stdin</tt>, tedy klávesnice.
 +
* standardním výstupem... za normálních okolností <tt>/dev/stdout</tt>, tedy obrazovka.
 +
* standardním chybovým výstupem... za normálních okolností <tt>/dev/stderr</tt>, tedy obrazovka.
 +
 
 +
Vstup a výstup programů pak můžeme navzájem propojit.
 +
 
  
 
== Varianty přesměrování ==
 
== Varianty přesměrování ==
Řádka 36: Řádka 36:
 
*: Výstup procesu budeme zapisovat do souboru <tt>soubor</tt>.
 
*: Výstup procesu budeme zapisovat do souboru <tt>soubor</tt>.
 
*: Pokud soubor neexistuje, vytvoří se. Pokud soubor již existuje, nová data přepíší ta, která v něm byla.
 
*: Pokud soubor neexistuje, vytvoří se. Pokud soubor již existuje, nová data přepíší ta, která v něm byla.
*: Příklad: <tt>ls -l > ~/obsah_adresare.txt</tt>
+
ls -l > ~/obsah_adresare.txt
 
* <tt>program '''>>''' soubor</tt>
 
* <tt>program '''>>''' soubor</tt>
 
*: Stejně jako předchozí, ale pokud soubor již existuje, nově zapisovaná data se připojí na konec souboru.
 
*: Stejně jako předchozí, ale pokud soubor již existuje, nově zapisovaná data se připojí na konec souboru.
*: Příklad: <tt>echo "Druhy adresar:" >> ~/obsah_adresare.txt<br />ls druhy -l >> ~/obsah_adresare.txt</tt>
+
echo "Druhy adresar:" >> ~/obsah_adresare.txt
 +
ls druhy -l >> ~/obsah_adresare.txt
 +
 
  
 
; Přesměrování chybového výstupu do souboru
 
; Přesměrování chybového výstupu do souboru
 
* <tt>program '''2>''' soubor</tt>
 
* <tt>program '''2>''' soubor</tt>
 
*: Chyby, které vypisuje program <tt>program</tt> se zapisují do souboru <tt>soubor</tt>.
 
*: Chyby, které vypisuje program <tt>program</tt> se zapisují do souboru <tt>soubor</tt>.
*: Příklad: <tt>cp a b 2> /dev/null</tt>
+
cp a b 2> /dev/null
*: Příklad: <tt>mv archiv.tar.gz zalohy 2> ~/zaloha_chyby.log</tt>
+
mv archiv.tar.gz zalohy 2> ~/zaloha_chyby.log
 +
 
  
 
; Přesměrování standardního vstupu
 
; Přesměrování standardního vstupu
 
* <tt>program '''<''' soubor</tt>
 
* <tt>program '''<''' soubor</tt>
 
*: <tt>program</tt> čte data ze souboru <tt>soubor</tt> místo ze standardního vstupu (z klávesnice).
 
*: <tt>program</tt> čte data ze souboru <tt>soubor</tt> místo ze standardního vstupu (z klávesnice).
 +
  
 
; Propojení programů
 
; Propojení programů
 
* <tt>program1 '''|''' program2</tt>
 
* <tt>program1 '''|''' program2</tt>
*: Roura (anglicky pipe). Slouží k propojení dvou procesů.
+
*: Roura (anglicky pipe). Slouží k propojení dvou procesů. Je to tedy vlastně nástroj pro komunikaci mezi procesy.
 
*: Spustí se <tt>program2</tt>. Jako vstup dostane „konec roury“ (anglicky pipe). Pak se spustí program <tt>program1</tt>. Výstup z programu <tt>program1</tt> se posílá do „roury“ a <tt>program2</tt> ho dále zpracovává.
 
*: Spustí se <tt>program2</tt>. Jako vstup dostane „konec roury“ (anglicky pipe). Pak se spustí program <tt>program1</tt>. Výstup z programu <tt>program1</tt> se posílá do „roury“ a <tt>program2</tt> ho dále zpracovává.
*: Příklad: <tt>ls | sort | head</tt>
+
ls | sort | head
*: Příklad: <tt>cat /etc/passwd | cut -d : -f 1 | sort</tt>
+
cat /etc/passwd | cut -d : -f 1 | sort
 +
 
 +
<div class="Poznamka">Poznámka: Funkci použitých příkazů najdete v kapitole [[#Filtry]].</div>
 +
 
 +
; Další příklady
 +
cat /proc/meminfo
 +
cat /proc/meminfo | head
 +
cat /proc/meminfo | head -n 1 > memory.txt
 +
cat /proc/meminfo | grep Free
 +
cat /etc/passwd | grep student
  
 
== Speciální soubory ==
 
== Speciální soubory ==
 
; Virtuální soubory reprezentující standardní vstup a výstup
 
; Virtuální soubory reprezentující standardní vstup a výstup
* /dev/stdin
+
* <tt>/dev/stdin</tt>... reprezentuje standardní vstup (klávesnici)
* /dev/stdout
+
* <tt>/dev/stdout</tt>... reprezentuje standardní výstup (obrazovku)
 +
* <tt>/dev/stderr</tt>... reprezentuje standardní chybový výstup (obrazovku)
 
; Pomocné
 
; Pomocné
*/dev/null
+
* <tt>/dev/null</tt>... jakákoli data zapsaná do tohoto souboru se zahodí
 
  cp ~/ahoj.txt /home/student/ahoj.txt 2> /dev/null
 
  cp ~/ahoj.txt /home/student/ahoj.txt 2> /dev/null
*/dev/zero
+
* <tt>/dev/zero</tt>... kdykoli budeme číst z tohoto souboru, dostaneme znak s ASCII kódem 0. Můžeme číst libovolně dlouho.
 +
* <tt>/dev/random</tt>... kdykoli budeme číst z tohoto souboru, dostaneme náhodný byte. Můžeme číst libovolně dlouho.
  
== Pojmy ==
+
Viz také: [[Významné složky GNU/Linuxu]].
*filtr
+
*kolona
+
*roura (pipe)
+
  
== Roura jako způsob komunikace mezi procesy ==
 
; Příklady
 
*cat /proc/meminfo
 
*cat /proc/meminfo | head
 
*cat /proc/meminfo | head -n 1 > memory.txt
 
*cat /proc/meminfo | grep Free
 
*cat /etc/passwd | grep student
 
  
 
== Filtry ==
 
== Filtry ==
*cat
+
Jako filtr označujeme program, který čte data ze standardního vstupu a zapisuje výsledky na standardní výstup. Typické unixové programy se tedy chovají jako filtry.
*grep
+
 
*less
+
* <code>cat</code>... čte vstup a opisuje data na výstup
 +
* <code>grep</code>... čte vstup a opisuje na výstup jen řádky obsahující parametr. Viz [[#Filtr grep|samostatná kapitolka]].
 +
* <code>less</code>... stránkování výstupu, ukončujeme stiskem „q“
 
  tar --help | less
 
  tar --help | less
*head
+
* <code>head</code>... opíše na výstup jen prvních několik řádek vstupu
*tail
+
head -n 1 /proc/meminfo
 +
* <code>tail</code>... opíše na výstup jen posledních několik řádek vstupu
 
  tail /var/log/apache2/error_log
 
  tail /var/log/apache2/error_log
*wc -l
+
* <code>wc -l</code>... spočte počet řádek vstupu
 
  ls | wc -l
 
  ls | wc -l
*tar, gzip
+
* <code>tar</code>, <code>gzip</code>
 +
** <code>tar</code> bere vstupní soubory, spojí je do jednoho proudu a vypíše na výstup.
 +
** <code>gzip</code> komprimuje/dekomprimuje soubory (metoda GZIP).
 
  tar -c * | gzip > archiv.tar.gz
 
  tar -c * | gzip > archiv.tar.gz
 
  tar -czf archiv.tar.gz *
 
  tar -czf archiv.tar.gz *
 
  tar -xzf archiv.tar.gz
 
  tar -xzf archiv.tar.gz
*unzip
+
* <code>unzip</code>... dekomprimuje data ze vstupu (metoda ZIP)
*sort
+
* <code>sort</code>
 
  cat /etc/passwd | cut -d : -f 1,5 | sort
 
  cat /etc/passwd | cut -d : -f 1,5 | sort
*cut
+
* <code>cut</code>... vybere jen některé sloupce z&nbsp;tabulky. Viz [[#Filtr cut|samostatná kapitolka]].
*tee
+
* <code>nl</code>... očísluje řádky výstupu (šikovné u zdrojových kódů skriptů).
**výstup do souboru i na obrazovku
+
* <code>tee</code>... opisuje vstup na obrazovku i do souboru či do dvou souborů
 
  $ date | tee file1 file2   
 
  $ date | tee file1 file2   
 
  Thu Jun 10 11:10:34 CEST 2004
 
  Thu Jun 10 11:10:34 CEST 2004
 
  $ cat file1   
 
  $ cat file1   
 
  Thu Jun 10 11:10:34 CEST 2004
 
  Thu Jun 10 11:10:34 CEST 2004
*unique
+
* <code>unique</code>... filtruje duplicitní řádky ze vstupu.
**filtruje duplicity
+
* <code>tr</code>.. (''TRanslate'')
*tr.. anslate
+
** Nahrazuje ve vstupu zadané znaky jinými (podle tabulky) a vypisuje na výstup.
 +
 
 +
; Úkoly:
 +
* Vypište druhý řádek ze souboru <code>/proc/meminfo</code>.
 +
 
 +
== Hrátky &mdash; filtr <tt>cat</tt>;) ==
 +
 
 +
* Program <code>cat</code> vlastně jen kopíruje data ze vstupu na výstup.
 +
* Pokud mu navíc zadáme jako parametr název souboru, čte data z tohoto souboru.
 +
 
 +
* Zamyslete se, co bude dělat, a vyzkoušejte:
 +
cat
 +
* Pozn.: ukončení vstupního souboru provedeme kombinací: <tt>Ctrl+D</tt> ;)
 +
cat > /dev/stdout
 +
cat > pokus.txt
 +
cat /dev/stdin
 +
cat < /etc/passwd
 +
 
 +
 
 +
== Filtr <code>grep</code> ==
 +
* Vybírá ze vstupu řádky, které obsahují zadaný text.
 +
* Text může být specifikován přímo, nebo pomocí [[Regulární výrazy|regulárních výrazů]].
 +
* Příklady speciálních znaků:
 +
** <code>.</code> ... nahrazuje jeden libovolný znak .
 +
** <code>*</code> ... znamená, že předchozí znak se může opakovat libovolně &mdash; tedy i&nbsp;„nulakrát“ (může být vypuštěn úplně).
 +
** <code>\</code> ... odebírá speciální význam následujícímu znaku
 +
** <code>[abx-y]</code> ... libovolný ze znaků <code>a</code>, <code>b</code> a&nbsp;<code>x</code> až <code>y</code>
 +
; Příklady použití:
 +
ls | grep a.[0-9]\.jpg
 +
* Akceptuje soubory: <tt>ab3.jpg</tt>, <tt>a19.jpg</tt>, <tt>az0.jpg</tt>, <tt>a.0.jpg</tt>
 +
* Ale neakceptuje soubory: <tt>ab.jpg</tt>, <tt>a.jpg</tt>, <tt>a1u.jpg</tt>, <tt>a9i.jpg</tt>, <tt>a.72jpg</tt>
 +
 
 +
; Úkoly
 +
* Vypište ze souboru <code>/etc/passwd</code> řádek, který se týká aktuálně přihlášeného uživatele.
 +
 
 +
== Filtr <code>cut</code> ==
 +
* Na vstupu očekává textově zapsanou tabulku (podobný formát jako u souborů CSV).
 +
* Vybere jen zvolené sloupce z „tabulky“.
 +
 
 +
; Parametry:
 +
-d :
 +
* Zadává oddělovač jednotlivých „buněk tabulky“.
 +
-f 1,3
 +
* Zadává, které „sloupce“ z tabulky se mají vypsat.
 +
 
 +
; Příklad:
 +
* Typickým příkladem je práce se [[Konfigura%C4%8Dn%C3%AD_soubory_GNU/Linuxu_-_U%C5%BEivatelsk%C3%A9_%C3%BA%C4%8Dty|souborem <tt>/etc/passwd</tt>]].
 +
* Soubor <tt>/etc/passwd</tt> obsahuje údaje o uživatelích. Na každém řádku je jeden uživatel, údaje jsou odděleny znakem <tt>:</tt>.
 +
 
 +
cut /etc/passwd -d : -f 1,6
 +
* Vypíše na obrazovku seznam uživatelských účtů a domovské složky uživatelů.
 +
* Jedná se o sloupečky 1 a 6 z souboru <tt>/etc/passwd</tt>. Oddělovačem je standardně dvojtečka.
  
 
== Zopakujte si ==
 
== Zopakujte si ==
* co je to „filtr“ v kontextu povídání o Linuxu a příkazové řádce,
+
* Co je to „filtr“ v kontextu povídání o Linuxu a příkazové řádce?
* na jaká zařízení jsou přesměrovány: standardní vstup, výstup a chybový výstup.
+
* Co znamenají pojmy: kolona, roura (pipe).
* jaký je rozdíl mezi |, >, 2> a >>?
+
* Na jaká zařízení jsou přesměrovány: standardní vstup, výstup a chybový výstup?
 +
* Jaký je rozdíl mezi |, >, 2> a >>?
 +
 
  
 
== Vyzkoušejte si ==
 
== Vyzkoušejte si ==
* Vypište obsah adresáře do souboru <tt>vypis.txt</tt>.
+
* Vypište obsah aktuálního adresáře do souboru <tt>vypis.txt</tt>.
* Spočtěte, kolik souborů a složek je v adresáři.
+
* Spočtěte, kolik souborů a složek je v podadresáři <tt>etc</tt> kořenového adresáře.
* V předchozím úkolu zahrňte jen soubory obsahující písmeno ''w''.
+
* V předchozím úkolu zahrňte jen soubory obsahující v&nbsp;názvu písmeno ''w''.
* Výsledek předchozího úkolu připojte na nový rádek do souboru <tt>vypis.txt</tt>.
+
* Výsledek předchozího úkolu připojte na nový řádek do souboru <tt>vypis.txt</tt>.
 
* Zobrazte seznam souborů v adresáři <tt>/bin</tt>. Pokud se výpis nevleze na obrazovku, zařiďte, aby se vypsala jen první obrazovka a výpisem šlo listovat (nahoru, dolů, o celé stránky, vyhledávat).
 
* Zobrazte seznam souborů v adresáři <tt>/bin</tt>. Pokud se výpis nevleze na obrazovku, zařiďte, aby se vypsala jen první obrazovka a výpisem šlo listovat (nahoru, dolů, o celé stránky, vyhledávat).
* Vypište uživatelská jména uživatelů registrovaných v systému s GNU/Linuxem. Každé jméno na jeden řádek.
+
* Vypište posledních 5&nbsp;souborů podle abecedy z&nbsp;podadresáře <tt>proc</tt> kořenového adresáře.
 +
* Vypište ty řádky souboru <tt>cpuinfo</tt> podadresáře <tt>proc</tt> kořenového adresáře, které obsahují slovo ''model''.
 +
* Vypište uživatelská jména uživatelů registrovaných v systému s GNU/Linuxem. Každé jméno na jeden řádek. Jména seřaďte podle abecedy sestupně.
 +
 
 +
 
 +
== Úkoly ==
 +
; Úkol 1. &mdash; Formátovaný výstup:
 +
* Napište posloupnost příkazů, která vytvoří soubor ve tvaru:
 +
*# Několik pomlček
 +
*# Text <code>"Adresář:"</code>
 +
*# Cesta k aktuálnímu adresáři
 +
*# Text <code>"Obsahuje soubory:"</code>
 +
*# Výpis souborů, které jsou v aktuálním adresáři.
 +
* Příklad výstupu:
 +
---------------
 +
Adresář:
 +
''/home/student''
 +
obsahuje soubory:
 +
''Desktop''
 +
''Downloads''
 +
''a.txt''
 +
----------------
 +
 
 +
; Úkol 2. &mdash; Špatné filtrování?
 +
* Chci vybrat z textového souboru uživatele s jednou konkrétní doménou (<code>seznam.cz</code>).
 +
* Proč nefunguje tento postup:
 +
echo Eduard; Karásek; karaed@seznam.cz; 48 > data.txt
 +
echo Karel; Seznamicz; karel@seznamicz.cr; 25 >> data.txt
 +
echo Jana; Dolanská; dolanska@centrum.cz; 37 >> data.txt
 +
 +
cat data.txt | grep @seznam.cz
 +
* Opravte příkazy!
 +
 
 +
 
 +
== Řešení úkolů ==
 +
ls > vypis.txt
 +
ls /etc | wc -l
 +
ls /etc | grep w | wc -l
 +
 +
* Výsledek předchozího úkolu připojte na nový řádek do souboru <tt>vypis.txt</tt>.
 +
* Zobrazte seznam souborů v adresáři <tt>/bin</tt>. Pokud se výpis nevleze na obrazovku, zařiďte, aby se vypsala jen první obrazovka a výpisem šlo listovat (nahoru, dolů, o celé stránky, vyhledávat).
 +
* Vypište posledních 5&nbsp;souborů podle abecedy z&nbsp;podadresáře <tt>proc</tt> kořenového adresáře.
 +
* Vypište ty řádky souboru <tt>cpuinfo</tt> podadresáře <tt>proc</tt> kořenového adresáře, které obsahují slovo ''model''.
 +
* Vypište uživatelská jména uživatelů registrovaných v systému s GNU/Linuxem. Každé jméno na jeden řádek. Jména seřaďte podle abecedy sestupně.
 +
 
 +
 
 +
== Související stránky ==
 +
* [[Regulární výrazy]]
 +
 
  
 
== Zdroje ==
 
== Zdroje ==
 
* [http://www.codecoffee.com/tipsforlinux/articles2/042.html codecoffee.com > Tips for Linux > Input/Output Redirection in Unix]
 
* [http://www.codecoffee.com/tipsforlinux/articles2/042.html codecoffee.com > Tips for Linux > Input/Output Redirection in Unix]

Verze z 22. 11. 2019, 09:47


„Write programs that do one thing and do it well.
  Write programs to work together.
  Write programs that handle text streams, because that is an universal interface.“

       Douglas McIlroy


Obsah

K čemu je přesměrování vstupů?


Procesy v Unixu a Linuxu

Přesměrování vstupů je vlastně způsob komunikace mezi procesy. Proces si můžeme představit jako černou skříňku s:

Vstup a výstup programů pak můžeme navzájem propojit.


Varianty přesměrování

Přesměrování standardního výstupu do souboru
ls -l > ~/obsah_adresare.txt
echo "Druhy adresar:" >> ~/obsah_adresare.txt
ls druhy -l >> ~/obsah_adresare.txt


Přesměrování chybového výstupu do souboru
cp a b 2> /dev/null
mv archiv.tar.gz zalohy 2> ~/zaloha_chyby.log


Přesměrování standardního vstupu


Propojení programů
ls | sort | head
cat /etc/passwd | cut -d : -f 1 | sort
Poznámka: Funkci použitých příkazů najdete v kapitole #Filtry.
Další příklady
cat /proc/meminfo
cat /proc/meminfo | head
cat /proc/meminfo | head -n 1 > memory.txt
cat /proc/meminfo | grep Free
cat /etc/passwd | grep student

Speciální soubory

Virtuální soubory reprezentující standardní vstup a výstup
Pomocné
cp ~/ahoj.txt /home/student/ahoj.txt 2> /dev/null

Viz také: Významné složky GNU/Linuxu.


Filtry

Jako filtr označujeme program, který čte data ze standardního vstupu a zapisuje výsledky na standardní výstup. Typické unixové programy se tedy chovají jako filtry.

tar --help | less
head -n 1 /proc/meminfo
tail /var/log/apache2/error_log
ls | wc -l
tar -c * | gzip > archiv.tar.gz
tar -czf archiv.tar.gz *
tar -xzf archiv.tar.gz
cat /etc/passwd | cut -d : -f 1,5 | sort
$ date | tee file1 file2   
Thu Jun 10 11:10:34 CEST 2004
$ cat file1   
Thu Jun 10 11:10:34 CEST 2004
Úkoly

Hrátky — filtr cat;)

cat
cat > /dev/stdout
cat > pokus.txt
cat /dev/stdin
cat < /etc/passwd


Filtr grep

Příklady použití
ls | grep a.[0-9]\.jpg
Úkoly

Filtr cut

Parametry
-d :
-f 1,3
Příklad
cut /etc/passwd -d : -f 1,6

Zopakujte si


Vyzkoušejte si


Úkoly

Úkol 1. — Formátovaný výstup
---------------
Adresář:
/home/student
obsahuje soubory:
Desktop
Downloads
a.txt
----------------
Úkol 2. — Špatné filtrování?
echo Eduard; Karásek; karaed@seznam.cz; 48 > data.txt
echo Karel; Seznamicz; karel@seznamicz.cr; 25 >> data.txt
echo Jana; Dolanská; dolanska@centrum.cz; 37 >> data.txt

cat data.txt | grep @seznam.cz


Řešení úkolů

ls > vypis.txt
ls /etc | wc -l
ls /etc | grep w | wc -l


Související stránky


Zdroje

Osobní nástroje
Jmenné prostory
Varianty
Akce
Výuka
Navigace
Nástroje