Intro
GNU Wget, программа автоматического получения файлов по сети. Использование: wget [КЛЮЧ]... [url]...
В самом деле, действительно очень полезная программа, в некоторых случаях практически незаменимая. Представляет собой консольную "качалку" файлов, можно сказать почти стандартная утилита для загрузки файлов по сети в unix-системах. Но, как часто и бывает, находятся люди, которые не ленятся портировать очередное творение opensource-сообщества в закрытую коммерческую M$ Windows и wget тому не исключение 
В конце данной страницы вы найдете ссылки для загрузки Wget.
В этой крохотной статейке (скорее просто мини обзоре) хотелось бы показать несколько примеров использования программы - да простят меня господа линуксоиды за публикацию очевидного, но есть думаю еще люди, которым это будет интересно и может быть даже ново 
Загрузка одного файла
wget http://www.yourcite.ru/file.zip
Так выглядит самая обычная загрузка одиночного файла. При таком виде запуска команды, файл file.zip будет сохранен в вашем домашнем каталоге.
Как видите, нужно не так ужи много, для одного из популярных применений wget.
Дальше...
Сохраняем весь сайт на свой ПК
У кого возникала необходимость просмотра нужного сайта, или его фрагмента, статьи и т.п. офф-лайн,т.е. без подключения к сети? Правильно - у многих
Ниже показан вариант комбинации ключей, позволяющих "стянуть" из сети весь сайт целиком:
wget -r -np -p http://www.yourcite.ru/files/
* -r - использование рекурсии при загрузке
* -np - не подниматься в родительский каталог
* -p - сохранять все файлы, необходимые для отображения страницы
ps
Также, в ряде подобных (и не только) случаев, бывает весьма полезна опция представления wget - "User Agent", задаваемая ключем -U. Ниже приведена цитата из русского man wget, описывающая предназначение этого флага.
-U agent-string
--user-agent=agent-string
Идентифицироваться, как agent-string при запросе на HTTP сервер.
Протокол HTTP позволяет определять себя использованием заголовка агента. Wget по умолчанию идентифицируется, как Wget/version, где version - это версия Wget.
Некоторые серверы выдают требуемую информацию только для обозревателей, идентифицирующихся как "Mozilla" или Microsoft "Internet Explorer". Этот параметр позволяет обмануть такие серверы.
Пример загрузки с применением "User Agent":
wget -U Mozilla -c -r -np -p http://www.yourcite.ru/files/
Поставили качать - ушли спать... встали утром - нет инета
Очень распространена на просторах нашей необъятной подобная напасть, и с каждым днем все меньше пользователей, которые не сталкивались бы с прерваной загрузкой нужных файлов, программ, игр, альбомов любимой группы и т.д. При, еще на самых дешевых ценах на интернет-траффик, зачастую эта проблема решается очень просто - введение функции дозагрузки в программы "даунлоадеры". Есть это и во wget.
Итак, на следующее утро интернет все таки снова заработал Дабы не терять бесценный траффик, затраченый на начало закачки, делаем следующее:
wget -c -r -np -p http://www.yourcite.ru/files/
как видно из команды, был использован еще один дополнительный ключ: -c
Предназначен он для тех самых случаев, когда нужно продолжить уже начатую загрузку, причем, wget при добавлении "-c", будет действовать примерно по следующей схеме. Зайдет по указанному url и будет сверять файлы, загруженные в предыдущей сессии на диск, с теми, что обнаружит на удаленном сервере. В том случае, если wget найдет на сервере файлы, которые отсутствуют вашем диске, то она загрузит их. Аналогично wget поступит и с файлами, которые были загружены не полностью - будет выполнена докачка частично загруженых ранее, при одном условии - что файлы на сервере, не новее тех, что уже были закачаны на ваш компьютер.
Полагаю коментарии об экономии ваших "мегабайт" тут не нужны
А куда собственно сохранять?
Уже описав часть опций, я забыл упомянуть еще одну - место сохранения файлов. Как и все остальное - задается своим ключем. Запускаете wget c ключем "-P" указав после него полный путь сохранения ваших файлов, чтобы это выглядело например так:
wget -r -np -p -P /home/down http://www.yourcite.ru/files/
Каталог "/home/down" и есть тот самый путь.
Использование wget при работе на очень нестабильном соединении
Если качество вашего соединения с интернет далеко не всегда такое стабильное, как хотелось бы, то предлагаю вам воспользоваться следующими параметрами загрузки, дабы избежать потери впустую и без того пока не дешевого трафика.
wget -c -w 15 -t 100 --retry-connrefused -P /download/directory http://www.yourcite.ru/somefile.zip
где:
* -c - уже упоминалось - докачка загруженной части файла "новой попыткой"
* -w - время между попытками возобновить загрузку в секундах
* -t - максимальное количество попыток (0 - неограниченное кол-во)
* --retry-connrefused - пытаться возобновить если коннект "приказал долго жить" (доступно с версии 1.10)
* -P - "даунлодная" папка, с указанием абсолютного (полного) пути локальной директории
Воспользовавшись подобным набором параметров, вы можете отосительно спокойно закачивать файл хоть за несколько попыток, которые может отделять друг от друга не один день (при условии сохранности файла на сервере и точного повторения команды, а именно пути до загружаемого файла).
Wget - шпион
Вот и гадай, что именно навеяло разработчикам выдумать название для одной из опций wget - "--spider", то ли от просмотра фильмов о "агенте 007", или от просмотра "Человек паук", но суть изложена довольно точно
Ключ --spider позволяет производить проверку наличия того или иного файла на сервере, не загружая его при этом на локальный диск. Для чего это нужно, полагаю каждый может предположить сам, я же нашел на данный момент для себя применение этого "паука" в качестве проверяющего, на наличие обновлений на интересующие меня приложения:
wget --spider ftp://ftp.asplinux.ru/pub/i386/updates/11/SRPMS/gimp*
заветные строчки в выводе:
ftp://ftp.asplinux.ru/pub/i386/updates/ … c4.src.rpm
=> `gimp-2.2.12-1.fc4.src.rpm'
ftp://ftp.asplinux.ru/pub/i386/updates/ … .1.src.rpm
=> `gimp-help-2-0.1.0.10.0.fc4.1.src.rpm'
p.s.
Стоит заметить, что данная опция может не работать на старых версиях wget при работе с ftp-серверами. Нормальная работа ключа --spider в данном режиме проверена на версии GNU Wget 1.10.2 (Red Hat modified).
Конвертер листинга удаленного ftp
Возможно не часто и далеко не у всех, но все же бывает появляется необходимость создания списка файлов в определенной ветке на файловом сервере:
wget ftp://ftp.asplinux.ru/pub/i386/updates/11/SRPMS/
Список всех файлов, находящихся в приведенной ветке, будет сохранен в файле "index.html", в домашней директории.
wget + mplayer
Совместное использование многих утилит и программ, позволяет зачастую получать весьма интересные результаты. В качестве примера такого тандема можно привести запуск загрузки видеофайла wget с выводом потока на mplayer:
wget ftp://ftp.yourcite.ru/file.avi -O - | mplayer -cache 8192 -
При таком запуске, wget "передаст" свой вывод на "вход" mplayer, что позволит смотреть видеофайл непосредственно из сети, с ftp-сервера, обходя необходимость загрузки всего файла, а всего лишь подгружая фрагменты.
Измерение времени загрузки html-страницы с удаленного сервера
Если вам вдруг взбрело в голову проверить скорость (относительную величину) вашего соединения интернет, можете воспользоваться следующей связкой:
time wget http://mail.ru/
Где:
* time - системный секундомер, присутствующий во многих *nix-дистрибутивах
* wget ...
* http://mail.ru/ - адрес удаленного сервера
После полного выполнения команды получите примерно следующий вывод:
$ time wget http://mail.ru/
--20:06:48-- http://mail.ru/
=> `index.html.1'
Распознаётся mail.ru... 194.67.57.26
Устанавливается соединение с mail.ru|194.67.57.26|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: нет информации [text/html]
[ <=> ] 43.800 207.50K/s
20:06:49 (207.25 KB/s) - `index.html.1' сохранён [43800]
real 0m0.631s
user 0m0.000s
sys 0m0.012s
В данном случае нас интересуют значения:
207.25 KB/s - средняя скорость загрузки страницы;
real 0m0.631s - реально затраченное на загрузку время.
Пример использования wget в Windows
Ниже приведен пример запуска порта wget в среде Windows
Загрузка файлов по протоколу http:
C:\>wget\wget -r -np -p http://www.yourcite.ru/files/
В приведенном примере все файлы будут загружены в корневой раздел (C:\) с созданием одноименного (wwwyourcite.ru/files) многоуровнегово каталога. Для загрузки в другую поддиректорию необходимо указать путь до нее.
Для более подробной информации:
C:\>wget\wget --help
Как можете убедиться - синтаксис запуска в windows отличается от linux лишь в указании путей до исполняемого файла wget.exe. Впрочем и это достаточно легко исправить, добавив путь (path) в переменную, для c:\wget\wget.exe
