Miluji Linux – wget

Nebudu to před nikým skrývat – Miluji Linux – a to hlavně, protože se spousta věcí dělá strašně jednoduše – tentokrát stačil wget a find.

Tak třeba včera jsem si chtěl stáhnout všechny materiály, které poskytuje jedna reklamní firma pro komunální volby – zde.

Stačilo použít jen ten vhodný nastroj – v tomhle případě wget. Už dříve jsem něco podobného řešil, takže jsem měl příkaz už trochu připravený.

wget -e robots=off -np -nc -r --follow-tags=a 'http://greta.cz/public/STaN-MANUAL-VOLEBNI-KAMPANE/'

Parametry, kterých je dobré si všimnout jsou:

  • -e robots=off – wget se nebude řídit obsahem souboru robots.txt
  • –follow-tags=a – chtěl jsem stahovat jen odkazované soubory a ne třeba zobrazené obrázky

Po nějakém čase se mi stáhlo, co jsem potřeboval, ale vytvořilo se mi i mnoho index.html souborů, které jsem nepotřeboval – s těmi si poradil příkaz find.

find . -name 'index.html*' -print | xargs rm

„Český překlad“: find v aktuálním adresáři (i podadresářích) soubory index.html; seznam souborů je předán přes xargs příkazu rm (vymazání).

Jednoduché, krásné, funkční – no prostě pohádka 🙂

Napsat komentář

Jméno *
Email *
Webová stránka