User-aegnt: *
Disallow: /
Disallow: /
Wget успешно напишет FINISHED и закончит на этом свою работу, что естественно меня не устраивало.
Чтобы обойти этот моментик, используйте
wget -e robots=off -r ... http://krog.com.ua/
FreeBSD : wget : игнорирование robots.txt
Когда Вы попробуете скачать сайт у которого robots.txt например вот такого содеражния:
Wget успешно напишет FINISHED и закончит на этом свою работу, что естественно меня не устраивало.
Чтобы обойти этот моментик, используйте
Wget успешно напишет FINISHED и закончит на этом свою работу, что естественно меня не устраивало.
Чтобы обойти этот моментик, используйте
возможно у Вас отключен javascript, если включен - просто обновите страницу