FreeBSD : wget : игнорирование robots.txt

Когда Вы попробуете скачать сайт у которого robots.txt например вот такого содеражния:
User-aegnt: *
Disallow: /


Wget успешно напишет FINISHED и закончит на этом свою работу, что естественно меня не устраивало.
Чтобы обойти этот моментик, используйте
wget -e robots=off -r ... http://krog.com.ua/


Вы только посетили наш сайт, КОММЕНТИРОВАНИЕ будет доступно через несколько минут.
возможно у Вас отключен javascript, если включен - просто обновите страницу
попередня стаття:   HTML » метатеги