FreeBSD : wget : игнорирование robots.txt Когда Вы попробуете скачать сайт у которого robots.txt например вот такого содеражния:User-aegnt: *Disallow: / Wget успешно напишет FINISHED и закончит на этом свою работу, что естественно меня не устраивало. Чтобы обойти этот моментик, используйте wget -e robots=off -r ... http://krog.com.ua/