Nebudu to před nikým skrývat – Miluji Linux – a to hlavně, protože se spousta věcí dělá strašně jednoduše – tentokrát stačil wget a find.
Tak třeba včera jsem si chtěl stáhnout všechny materiály, které poskytuje jedna reklamní firma pro komunální volby – zde.
Stačilo použít jen ten vhodný nastroj – v tomhle případě wget. Už dříve jsem něco podobného řešil, takže jsem měl příkaz už trochu připravený.
[bash]wget -e robots=off -np -nc -r –follow-tags=a ‚http://greta.cz/public/STaN-MANUAL-VOLEBNI-KAMPANE/'[/bash]
Parametry, kterých je dobré si všimnout jsou:
- -e robots=off – wget se nebude řídit obsahem souboru robots.txt
- –follow-tags=a – chtěl jsem stahovat jen odkazované soubory a ne třeba zobrazené obrázky
Po nějakém čase se mi stáhlo, co jsem potřeboval, ale vytvořilo se mi i mnoho index.html souborů, které jsem nepotřeboval – s těmi si poradil příkaz find.
[bash]find . -name ‚index.html*‘ -print | xargs rm[/bash]
„Český překlad“: find v aktuálním adresáři (i podadresářích) soubory index.html; seznam souborů je předán přes xargs příkazu rm (vymazání).
Jednoduché, krásné, funkční – no prostě pohádka 🙂